Dispozitivele dezvoltate de către Meta (în trecut, cunoscute ca și Oculus) sunt soluții `all-in-one` ce permit dezvoltarea aplicațiilor de realitate virtuală și oferă suport pentru cele mai recente funcționalități din acest domeniu, precum hand tracking, realitate mixtă (MR), audio spațializat, eye și body tracking.

În mod curent, în seria Quest, regăsim 3 astfel de dispozitive ce oferă suport activ pentru dezvoltarea aplicațiilor VR, anume:

• Meta Quest 2 (pe care le veți folosi și voi) reprezintă încă o alegere bună pentru dezvoltarea (și consumul de content) VR
• Meta Quest 3 vine cu o serie de îmbunătățiri față de Meta Quest 2 precum o rezoluție mai bună, o nouă generație de chipset (SD XR2 Gen1 vs Gen2) și suport sporit pentru realitate mixtă
• Meta Quest 3S este o variantă mai puțin performantă decât Meta Quest 3, având o rezoluție mai mică și alt tip de lentile
• Meta Quest Pro are un display panel mai bun, un upgrade de memorie RAM, dar avantajele principale sunt reprezentate de suport pentru face și eye tracking, precum și un design mai ergonomic. În plus, Meta Quest 3 și Meta Quest Pro vin cu controller-e ce au suport pentru feedback haptic mai avansat

Pentru dezvoltarea aplicațiilor de VR, există suport pentru OpenXR (aplicații native), sau SDK-uri ce oferă integrare cu game engine-urile standard, precum Unity și Unreal Engine.

Integrarea SDK-ului vine cu suport pentru diverse feature-uri pe care le putem utiliza, în funcție de necesitățile aplicației pe care dorim s-o dezvoltăm:

• Meta XR Core SDK: Funcționalități esențiale precum headset tracking, hand tracking, passthrough, ancore spațiale, etc.
• Meta XR Interaction SDK: Funcționalități de interacțiune cu controller-ele sau mâinile, precum ray, poke, grab, etc. Pe acestea le vom studia în acest laborator!
• Meta XR Audio SDK: Suport pentru sunet spațializat
• Meta XR Haptics SDK: Suport pentru redare haptică avansată
• Meta XR Voice SDK
• Meta XR Platform SDK: Aspecte sociale / networking: Matchmaking, In-App Purchasing (IAP), Cloud Storage, etc.
• Meta XR Simulator

În imaginea de mai jos puteți studia un flow generalizat al dezvoltării aplicațiilor de VR folosind dispozitivele celor de la Meta.

• Dispozitiv Meta Quest 2, 3 sau Pro
• Meta Quest App
• Configurare Quest Link wired sau wireless

• Meta Quest Developer Hub (opțional, download)
• SideQuest (opțional, download page)

Aplicația vă oferă setări adiționale pentru un dispozitiv Quest conectat la calculator. Folosind MQDH puteți să:

• Vizualizați log-uri ale dispozitivului pentru a face debugging
• Screen cast, screen recording
• Instalare/deploy aplicații pe cască

• Dispozitivele Meta rulează pe Android, așadar setați această platformă ca fiind cea activă din build settings

• Din meniul XR Loader Settings selectați activă opțiunea Set Meta XR Loader

Începând cu versiunea 59, pachetul de integrare se folosește de UPM (Unity Package Manager), oferind astfel o modalitate mai ușoară de integrare, realizarea rapidă a upgrade-urilor, iar probabil cel mai important, un management ușor în alegerea pachetelor esențiale de folosit (Core, Integration, Audio, etc.). Versiunea up-to-date la momentul redactării acestui text este 69.0.0.

• Descărcați și importați în proiectul de Unity Meta XR All-in-One SDK de pe Unity Asset Store
  • Aveți linked pașii oficiali pentru importul pachetelor și modalități de update a acestora
• După intergrarea pachetului veți fi rugați să faceți restart la editor

Acest plugin este backend-ul necesare pentru a dezvolta și face build-uri folosind Meta XR.

• Din Package Manager apăsați pe (+), selecați Add package from git URL, introduceți com.unity.xr.oculus

În Unity Editor ar trebui să aveți un buton nou cu iconița companiei Meta în colțul din dreata jos.

De aici puteți deschide Project Setup Tool, care vă permite să vă configurați proiectul de Unity pentru a fi compatibil cu cerințele SDK-ului.

• Treceți prin fiecare platformă și rezolvați problemele descrise

În continuare vom importa câteva scene demo din SDK-ul de interacțiuni pentru a vă prezenta și familiariza cu feature-urile incluse.

Pachetul instalat Meta XR All-in-One SDK nu mai conține scene sample, dar acestea se pot instala de pe pachelete individuale:

• Din Package Manager filtrați după Packages: In Project și căutați Meta XR Interaction SDK
• Instalați (cel puțin) Example Scenes din tab-ul de sample-uri

• Intrați în modul Link pe headset
• În proiectul suport, deschideți și testați scenele (prin Play în editor):
  • Assets → Samples → Meta XR Interaction ​SDK → <versiune> → Example Scenes → HandGrabExamples
  • Assets → Samples → Meta XR Interaction ​SDK → <versiune> → Example Scenes → ComprehensiveRigExample

Sistemul de operare al acestor device-uri se bazează pe Android, așadar, procesul de build al unei aplicații este similar cu cel prezentat în laboratorul de Cardboard XR.

Puteți realiza build-uri în cel mai simplu mod prin opțiunea de Build And Run din meniul de Build Settings din Unity Editor. La finalul build-ului, aplicația este instalată pe headset și pornită în mod automat. Aplicația se poate apoi regăsi în următorul submeniu:

Pentru alte variante de build, în urma creării APK-ului din Unity (așadar Build simplu, nu Build And Run), se pot folosi Meta Quest Developer Hub sau SideQuest pentru instalarea acestor aplicații pe headset (proces cunsocut ca și sideloading).

• Task-ul vostru implică să realizați și să testați un build pentru oricare din scenele demo prezentate anterior

Veți învăța în continuare cum se pot integrare diverse componente ale SDK-ului pentru a integra în aplicația voastră headset-ul virtual, controller-ele, hand tracking-ul, funcționalitatea de passthrough, etc.

SDK-ul a introdus recent o nouă modalitate de setup a acestor elemente printr-un meniu de Building Blocks.

• Acest nou meniu prezintă funcționalități care se pot adăga prin drag-and-drop în oricare scenă
• Pentru a-l deschide aveți două variante
  • De la iconița Meta din dreapta jos a ferestrei de editor
  • Din toolbar, Meta → Tools → Building Blocks

• Înainte de introducerea acestor Building Blocks, elementele necesare ale unui scene trebuiau incluse manual - în esență acest meniu abstractizează procesul de căutare de prefab-uri, adăugare și parentare corectă a acestora în scenă
• Totuși, rețineți că acest meniu nu este comprehensiv, întrucât abtractizează includerea elementelor pe care Meta le consideră cele mai utile; unele funcționalități tot vor necesita setup manual
• Pentru acest laborator ne este suficient acest meniu

În continuare vom configura, explica și o serie de funcționalități ale SDK-ului folosing acest meniu

• Deschideți scena suport a laboratorului. Aceasta momentan nu conține niciun element care permite rularea folosit Quest Link
• Includeți în primul rând în scenă prin drag-and-drop building block-ul Camera Rig
• În scenă ar trebui să vă apară obiectul [BuildingBlock] Camera Rig. Acesta conține toată logica necesară camerei virtuale și head tracking-ului în scenă

De interest (pentru voi pe viitor dacă veți crea aplicații folosing acest SDK) este script-ul atașat OVR Maanger, care conține numeroase setări ce țin de headset, tracking, suport pentru hand, body, eye tracking, etc.

• Conectați-vă headset-ul în modul Link și dați Play din editor - ar trebui să vă puteți roti în scena virtuală, fapt ce indică o funcționare corectă

• Includeți în scenă building block-ul Controller Tracking
• Acesta va include în scenă elementele necesare activării funcționalității de tracking a controller-elor
• Observați cum a fost modificată ierarhia - au fost adăgate obiectele și script-urile necesare în mod automat. În scenă ar trebui să vă apară și câteva modele 3D ce reprezintă controller-ele

• Conectați-vă headset-ul în modul Link și dați Play din editor - ar trebui să vă apară controller-ele în mână, să le puteți roti, etc., fapt ce indică o funcționare corectă

• Includeți în scenă building block-ul Hand Tracking
• Acesta va include în scenă elementele necesare activării funcționalității de tracking a mâinilor
• Observați cum a fost modificată ierarhia

• Conectați-vă headset-ul în modul Link și dați Play din editor - ar trebui să vă apară modele pentru mâini care urmăresc mișcările voastre, fapt ce indică o funcționare corectă

• Includeți în scenă building block-ul Virtual Hands
• Acesta va include în scenă elementele necesare extinderii funcționalității de tracking a mâinilor prin adăugarea unor mâini sintetice
• Observați cum a fost modificată ierarhia

• A fost introdus un nou obiect [BuildingBlock] Interaction, care va fi părintele obiectelor ce vor defini diversele tipuri de interacțiuni posibile. Script-ul atașat acestuia, OVRCameraRigRef realizează o referință către Camera Rig-ul creat anterior
• Obiectele [BuildingBlock] Synthetic Left Hand și [BuildingBlock] Synthetic Right Hand reprezintă noile mâini virtuale / sintetice, un model pentru acestea se poate observa în scenă
• Obiectele LeftHand și RightHand implementează script-ul Hand, o clasă de bază ce se ocupă de prelucrearea datelor de la headset și transformarea acestei informații în date relevante developer-ului
• Observați pentru moment faptul că obiectele HandInteractorsLeft și HandInteractorsRight nu au nici un copil
• Conectați-vă headset-ul în modul Link și dați Play din editor - ar trebui să vă apară mâinile sintetice

• Includeți în scenă building block-ul Grab Interaction
• Acesta va include în scenă:
  • Un nou obiect interactibil (cub). Plasați-l pe masă
  • Intractorii necesari pentru a interacționa cu acest tip de obiect
• Observați elementele noi adăugate în ierarhie

Vom învăța despre acestea în detaliu în următorul laborator, ce este esențial de știut pe moment este:

• Un interactibil (ex. cubul tocmai adăugat) răspunde evenimentelor unui interactor (controller, mâini)
• Interacțiunea reprezintă comunicarea interactor ↔ interactibil
• Există diverse tipuri de interacțiuni: grab, distance grab, touch, etc.

• Observați noii interactori adăgați în scenă (4 în total):
  • Câte un HandGrabInteractor pentru fiecare mână sintentică și câte un GrabInteractor pentru fiecare controller

• Observați script-urile atașate obiectului [BuildingBlock] HandGrab:
  • Grabbable reprezintă o clasă de bază de indică faptul că acest obiect răspunde interacțiunilor de tip grab
  • GrabInteractable indică faptul că aceșta poate răspune unui interactor de tip grab al controller-ului (anume acei interactori GrabInteractor menționați anterior)
  • HandGrabInteractable indică faptul că aceșta poate răspune unui interactor de tip grab al mâinii (anume acei interactori HandGrabInteractor menționați anterior)

În GIF-ul următor se prezintă acese funcționalități. Pentru a face switch între controller-e și hand tracking, pur și simplu lăsați din mână controller-ele, îintindeți mâinile în fața headset-ului și așteptați câteva secunde.

1. Realizați pașii necesari setup-ului: Download repo (sau configurare proiect propriu cu SDK-ul necesar + samples), instalare software adițional, pairing prin Quest Link, testare scenă demo
2. În urma testării cu succes a scenei demo folosind Quest Link, realizați un build pe headset cu aceasta. În mod ideal, testați multiple variante de deployment (Build And Run, sideloading folosind MQDH sau SideQuest)
3. Creați-vă o scenă nouă (organizați-vă fișierele cum doriți în proiect, vă recomandăm să aveți un folder separat pentru ce lucrați custom) și urmăriți pașii din acest tutorial de tip Hello World – săriți peste pașii care sunt deja configurați, extrageți informația din etapele relavante din tutorial. În final, testați aplicația atât pe Quest Link cât și într-un build

• Studiați documentația relevantă a celor de la Meta (porniți de la link-ul de la pasul 3) și integrați în scena de la pasul 3 suport pentru controller-e; este sufficient dacă acestea apar în mediul virtual și sunt tracked în mod corect – setări avansate / hand tracking / gathering de input facem în următorul laborator