Link către GitHub repo.

Google Cardboard (XR Plugin for Unity) este un SDK ce permite dezvoltatorilor să creeze experințe în realitate virtuală folosind dispozitive mobile (smartphone-uri) în motorul de jocuri Unity. Acest plugin este destinat utilizării împreună cu Google Cardboard (vezi imaginea de mai jos), un dispozitiv de tip holder pentru telefoane, ce permite o variantă low-cost de experimentare a realitații virtuale.

Aceste dispozitive de tip holder se pot achiziționa de la diverse brand-uri – se pot achiziționa, de asemenea, controller-e de tip joystick ce comunică pe Bluetooth cu telefonul, pentru a avea un control sporit în scenele virtuale (de exemplu, se poate implementa movement-ul sau diferite interacțiuni folosind aceste controller-e).

• Compatibilitate: Există suport atât pentru Android cât și pentru iOS
• Integrare seamless: Se folosește de framework-ul de XR din Unity, facilitând astfel dezvoltarea rapidă a aplicațiilor de tip VR
• Feature-uri: Suport pentru head tracking (folosind senzorii giroscopici și accelerometrele găsite în telefoane), randare stereoscopică (un render pentru fiecare ochi – se desenează fiecare render pe jumătate din ecranul dispozitivului), precum și diverse metode implementate în software, precum gaze interaction, ce permite interacțiunea cu diverse obicte prin simpla privire a acestora

În cadrul acestui laborator:

• Prezentăm pe scurt modalitatea de integrare a plugin-ului într-un proiect de Unity
• Testăm demo sample-ul pentru a valida funcționarea corectă a plugin-ului
• Implementăm cateva feature-uri pentru un joc simplu (balloon popper), ce funcționează pe conceptul de gaze interaction

Întrucât pașii pentru integrarea acestui pachet sunt bine descriși în acest acest ghid, vă recomandăm să-l urmați și voi - cel mai probabil veți face acești pași împreună cu asistentul de laborator.

Instalați, pe baza ghidului, sample-ul inclus în pachet.

⚠️ Atenție ⚠️ la build-urile pe Android! S-ar putea ca API-ul grafic Vulkan să nu ruleze deloc pe smartphone-ul vostru. Așadar, când ajungeți la pasul de setup al API-ului grafic:

• Asigurați-vă ca din File → Build Settings este selectată platofrma Android
• Din Player Settings → Other Settings debifați opțiunea Auto Graphics API
• Navigați la Player Settings → Other Settings → Graphics APIs și setați OpenGLES3 ca primul din listă

Îndată ce se încheie instalarea pachetului Google Cardboard XR Plugin, ar trebui să vă apară în toolbar-ul (de sus) din Unity un nou menu item, pe care va trebui să-l folosiți pentru a seta o serie de dependințe ce țin de bibliotecile XR.

În proiectul Unity de VR veți include, pe parcursul laboratoarelor, diverse SDK-uri necesare pentru rezolvarea acestora. Întrucât integrarea tuturor acestora într-un singur proiect poate crea unele probleme, a fost implementat un editor script custom (accesat din acest meniu) care se ocupă de configurarea soluției dependent de laboratorul pentru care doriți să faceți build.

Pentru acest laborator va trebui să setați activă opțiunea Set Cardboard XR Loader. Funcționarea este marcată în felul următor:

• Mesajele de tip info denotă o configurație aplicată cu succes
• Mesajele de tip warning denotă faptul că probabil nu aveți un anume SDK instalat - este normal pentru acest prim laborator de VR!
• Mesajele de tip eroare indică o posibilă problemă

• Mergeți în File > Build Settings și asigurați-vă că platforma pentru care doriți să faceți build este corectă. În caz contrar, faceți switch pe platforma dorită (Android sau iOS)
• Vom testa scena Assets → Samples → Google Cardboard XR Plugin for Unity → <versiune> → Hello Cardboard → Scenes → HelloCardboard.
• Mergeți în File → Build Settings și setați această scenă ca fiind singura activă (folosind checkbox-ul) în panoul de Scenes In Build

• Vom realiza un build acum pe smartphone! Pașii următori sunt specifici unui telefon Android:
  • Conectați-vă telefonul prin cablu la laptop / PC
  • Puneți telefonul în modul de transfer de fișiere

• În continuare, puteți crea un Build pe care să-l testați pe telefon. Pentru a realiza acest build, din acesași panoul (Build Settings), selectați Build sau Build And Run:
  • Build va crea un fișier .apk pe care-l va trebui apoi manual să-l copiați pe telefon și să-l instalați
  • Build And Run va crea un fișier .apk, și-l va instala automat pe telefon

Scena demo sample:

Ierarhia scenei sample:

• CubeRoom reprezinta modelul environment-ului scenei
• Treasure reprezinta un obiect interactibil – daca îl studiați în inspector, veți observa că are atașat un script de tip ObjectController
• Camera are un obiect copil numit CardboardReticlePointer ce reprezintă reticle-ul / crosshair-ul direcției de vizualizare. Script-ul atașat pe acesta interacționează cu script-urile de tip ObjectController, căruia îi transmite mesaje de tip OnPoinerEnter și OnPointerExit, ceea ce denotă acțiunea de gaze (privire) asupra obiectelor

Veți avea de implementat un joculeț în care se spawnează în mod contnuu baloane, care pot fi sparte dacă player-ul le privește pentru un timp îndelungat – așadar, ne folosim de acest concept de gaze interaction. O parte a jocului este deja implementată, voi va trebui sa urmăriți todo-urile din cod pentru rezolva complet laboratorul.

• Importați ultima versiune a pachetului IRVA_L1_VR_GoogleCardboardXR_Skeleton care se găsește în folder-ul UnityPackages din folder-ul root al proiectului
• Folder-ul Assets → L1_VR_GoogleCardboard conține asset-urile suport pentru acest laborator
• Deschideți scena Assets → L1_VR_GoogleCardboard → Scenes → L1_VR_GoogleCardboard_BalloonPopper

• BaloonSpawner este obiectul care va instanția baloanele în scenă. Acesta se află în zona podelei scenei. Are o componentă de tip BoxCollider, în volumul căreia trebuie instanțiate baloanele la locații random
• BaloonController (nu se regăsește în ierarhie, este un script atașat prefab-ului ‘Baloon’) reprezintă obiectul de tip balon – acesta trebuie să fie translatat pe Y și va conține logica de interacțiune cu reticle-ul player-ului
• BalloonPopper are atașat un script ce distruge baloanele dacă există overlap cu collider-ul obiectelor de tip balon. Acesta este definit în zona de tavan a scenei
• ScoreCanvas conține logică pentru scor și poate seta textul unui element de UI definit în world space

1. Realizați un build folosind scena sample din plugin. Validați funcționarea corectă a acestui build:
   • Ar trebui sa aveți un render stereoscopic
   • Ar trebui să se realizeze head tracking-ul
   • Obiectul 'Treasure' din scenă ar trebui să-și schimbe culoarea dacă reticle-ul player-ului interacționează cu aceasta
2. Importați scheletul de laborator
   • Din toolbar-ul editor-ului, Assets → Import Package → Custom Package
   • Selectați ultima versiune a pachetului IRVA_L1_VR_GoogleCardboard_Skeleton care se găsește în folder-ul UnityPackages din folder-ul root al proiectului
3. Instanțiați obiectele de tip balon
   • Instanțiați obiectele din script-ul de spawner la o poziție random in volumul BoxCollider-ului atașat de obiectul spawner
   • Calculați, de asemenea, poziția acestora de instanțiere
4. Realizați translația baloanelor instanțiate
   • În cel mai simplu mod, translatați-le cu o viteză constantă pe axa Y
5. Implementați mecanica de spargere a baloanelor
   • Aveți în script-ul ce controlează baloanele metodele OnPointerEnter și OnPointerExit, care sunt apelate în mod automat atunci când un balon este privit sau când se încheie privirea acestuia
   • Cât timp un balon este targeted, incrementați timer-ul intern
   • În momentul în care un balon nu mai este targeted, restetați timer-ul intern
   • Dacă timer-ul intern depășește valoarea maximă definită (variabila requiredTimeToPop), spargeți balonul
6. Implementați funcționalitatea de scor
   • Un balon spart de jucător va incrementa scorul
   • Un balon spart de tavan (ratat de jucător) va decrementa scorul
   • Folosiți-vă de ScoreController pentru a ține cont de scor și pentru a actualiza componenta text