[Unity3D/VR] Tilt Brush, Open brush 오픈 소스를 이용하여 3D 페인팅 기능 구현하기

안녕하세요. 'Paint the City(PTC)' 프로젝트를 개발 중인 VRain 팀입니다.
첫 포스팅으로 Unity에서 오픈 브러시의 오픈소스를 이용하여 3D 페인팅 기능을 구현하는 과정을 보여주려고 합니다.
 
프로젝트에 관해 간단히 설명드리자면, PTC는 '3D 페인팅 기반 도시 재생 지원 프로그램'으로, 선정된 도시의 모델을 제공하여 사용자들이 VR 공간에서 그림을 그리게 하고, 실제 도시에서 AR로 작품을 관람할 수 있게 하는 프로그램입니다.
저희 팀은 'VR', 'AR', '도시 모델링'으로 역할을 나누었고 저는 VR을 담당하게 되었습니다.
VR 기기로는 Oculus Quest 2를 사용하기로 했습니다.
 
프로젝트에서 3D 페인팅 기능을 구현하기 위해 '오픈 브러시(Open Brush)'의 오픈소스를 이용하게 되었는데요. 
오픈 브러시는 구글에서 개발한 3D 페인팅 가상 현실 응용 프로그램인 '틸트 브러시(Tilt Brush)'의 오픈 소스를 이용하여 만들어진 프로그램입니다. 저희 프로젝트의 주된 레퍼런스가 틸트 브러시였기 때문에 원래는 틸트 브러시의 오픈소스를 사용할 예정이었습니다.
그런데 틸트 브러시의 유니티 에디터 버전이 2018 버전으로 최신 업데이트 사항들이 반영되어 있지 않아서 2021 버전이 반영된 오픈 브러시를 이용하게 되었습니다.
오픈 브러시의 오픈소스는 현재도 계속 업데이트 되고 있습니다.
 
아래는 틸트 브러시와 오픈 브러시의 사용 영상입니다.
 

https://www.youtube.com/watch?v=TckqNdrdbgk

https://www.youtube.com/watch?v=d5_D3sY8bDc 

 

이렇게 오픈 소스가 있어서 기능 구현이 편리할 거라 생각했지만, 사용 방법에 관한 글은 서칭해보아도 거의 없었습니다.
그리고 오픈소스니까 그냥 바로 사용하면 될 줄 알았으나 많은 문제들이 있었습니다...
자잘한 오류가 정말 많이 발생하는데 원인을 찾기 어려우니, 비슷한 오류가 발생한다면 글을 참고하시길 바랍니다.
그리고 설치, 빌드 시간이 매우 오래 걸립니다. 충분한 시간을 두고 진행해야 합니다.
 
그럼 본격적으로 진행 과정을 적어보겠습니다.

---

진행 과정

GitHib에서 오픈 소스 클론

오픈 브러시 오픈 소스 GitHub 링크에 접속합니다.
https://github.com/icosa-gallery/open-brush

GitHub - icosa-gallery/open-brush: Open Brush is the open source, community led evolution of Tilt Brush!

'fork'를 클릭하여 본인의 레포지토리로 저장합니다.

레포지토리를 clone합니다. 저는 GitKraken을 이용하였고, 다른 방법을 이용해도 됩니다.

 

Unity Hub, Editor 설치

Unity가 설치되어 있지 않다면 참고해주세요.

Unity Hub 설치

https://unity.com/kr/download

다운로드

 

오픈 브러시와 같은 버전인 Unity 2021.3.9f1 에디터를 설치합니다.

https://unity3d.com/unity/qa/lts-releases?version=2021.3 

Unity QA - LTS Releases - Unity

 

Oculus 개발자 모드 설정

먼저 스마트폰 Oculus 앱과 데스크톱 소프트웨어를 설치합니다.
 
Oculus 앱

Oculus 소프트웨어
https://www.meta.com/kr/ko/quest/setup/?utm_source=seongju0007.tistory.com&utm_medium=oculusredirect 

Quest 설정하기: Quest, Quest 2, Link, Rift S 및 Rift | Meta Quest

개발자 등록을 위해 아래 링크에서 organization을 만들어야 합니다.
https://developer.oculus.com/manage/organizations/create/

Oculus Developer Center | Authenticate

로그인 후, '단체 이름' 항목에 원하는 이름을 작성하고 제출합니다.

'Create new app'을 클릭하여 테스트 용 앱을 만듭니다. 저는 'test'로 만들었습니다.

(옵션) Oculus developer hub를 설치하여 앱을 만들 수도 있습니다.
저는 나중에 Oculus 화면 미러링 기능을 이용하기 위해 설치했습니다.

이제 앱에서 개발자 모드를 설정합니다. '기기' 메뉴에서 기기를 연결하면 '헤드셋 설정' 메뉴들을 볼 수 있습니다.
여기서 '개발자 모드'에 들어갑니다.

개발자 모드를 On 상태로 변경합니다.

 

오픈 브러시 프로젝트 설정 및 빌드

 
드디어 프로젝트를 실행할 단계입니다. '열기'를 선택하여 Clone을 완료한 프로젝트의 경로를 선택합니다.
그리고 해당 프로젝트를 선택합니다.

이제 프로젝트를 사용할 수 있게 여러 가지 설정을 해야하는데요.
오픈 브러시 GitHub의 Readme에 자세하게 설명되어 있습니다. 나와있는 대로 진행합니다.
 
먼저, Project 창에서 Assets > Scenes > Main 을 클릭하여 Main 씬을 엽니다.

그럼 이런 창이 뜰 텐데요. 'Import TMP Essentials'를 클릭합니다.
'Import TMP Examples & Extras'는 선택 사항입니다.

만약 위의 창이 뜨지 않았다면 다른 방법으로도 가능합니다.
Windows - TestMeshPro - Import TMP Essential Resources 를 선택합니다.

이제 Oculus Quest에 맞게 프로젝트를 설정해야 합니다.
Edit - Project Settings 를 클릭합니다.

'Player'를 선택하고, Other Settings > Scripting Define Symbols에서 '+'를 클릭해 'OCULUS_SUPPORTED'를 추가합니다.
'Apply'를 클릭해 적용합니다.
'Standalone' 탭과 'Android' 탭 모두에 같은 방식으로 적용해야 합니다!!

이제 빌드를 합니다.
Open Brush > Build 에서 Plugin: Oculus, Platform: Android, Runtime: IL2CPP 로 설정하고 'Do Build'를 선택합니다.

빌드하는 데 오랜 시간이 걸립니다. 빌드가 완료되면, Play 버튼을 눌러 실행 결과를 확인합니다.

---

에러 해결

여기서 바로 실행이 된다면 다행이지만, 에러가 발생할 수 있습니다. 같은 에러가 발생했다면 아래의 방법이 해결에 도움이 되길 바랍니다.
 

프로젝트 열기

프로젝트를 열 때 발생한 오류입니다. 해결 방법은 다음과 같습니다.
1. Git 설치
2. 환경 변수 설정 (아래 링크 참고)
https://learnandcreate.tistory.com/729
3. 컴퓨터 재부팅 후 다시 프로젝트 열기
1~3 진행 후 실패 시 Git 재설치 후 위의 과정 다시 진행

 

Play 버튼을 눌렀을 때 유니티가 종료됨

오큘러스 연결이 제대로 되지 않았을 때 발생하는 것 같습니다. 연결이 제대로 되었는지 확인이 필요합니다.
1. 개발자 모드를 제대로 설정하였는지
2. Oculus가 절전 모드인지 또는 PC와 연결이 끊어졌는지. PC와 연결되어 있을 경우, 데스크탑 모드를 실행해야 합니다.

 

실행 후 컨트롤러가 바닥에 있음

정확히 말하면, 컨트롤러 동작은 잘 되는데 손의 위치가 아래로 매우 멀리 있는 것처럼 인식했습니다.
이건 Camera Offset의 문제였습니다.
1. Hierarchy 창에서 'VrSystem'을 선택합니다.

2. XR Origin 컴포넌트의 'Tracking Origin Mode'를 'Not Specified'로 변경하고, 'Camera Y Offset'을 0으로 변경합니다.

---

 

실행 결과

3D 페인팅 기능

 

도시 3D 모델 추가

과정을 추가해보자면, 도시 모델을 Asset에 import 합니다.
저는 저희 팀의 폴더를 'VRain' 이름으로 따로 만들어서 여기에 추가했습니다.

그리고 Main 씬에 추가합니다. 하이어라키 창으로 모델을 드래그하여 추가합니다. SceneParent > EnvironmentParent 아래에 추가합니다.

실행 후 위치와 크기를 시야에 맞게 조정합니다. 우선은 Position 값을 (19, -275, 910), Scale 값을 (400, 400, 400)으로 조정하였습니다.

그리고 기존의 배경인 'Standard(Clone)'의 Active 상태를 끕니다.

Scene 창은 대략 이런 모습입니다.

---

보완할 점

1. 3D 모델의 화질과 위치를 조정하여 더 현실감 있는 형태로 구현할 예정입니다.
2. 오픈 소스를 분석하여 페인팅 기능만 따로 저희 프로젝트에 가져올 계획입니다.
 
이상으로 포스팅을 마치겠습니다. 오픈 소스의 기능을 분석하는 데에는 꽤 시간이 걸릴 것 같지만, 더 나은 프로젝트로 돌아오겠습니다.