Differences
This shows you the differences between two versions of the page.
|
irva:laboratoare:07 [2022/12/20 16:12] andrei.lapusteanu |
irva:laboratoare:07 [2023/12/06 18:22] (current) andrei.lapusteanu |
||
|---|---|---|---|
| Line 1: | Line 1: | ||
| - | ===== Laboratorul 07. Google Cardboard ===== | + | ===== Laboratorul 07. HTC Vive ===== |
| - | <note important> Unity hates me si nu am reusit portarea in proiectul nostru inca :)</note> | + | <note important>Pentru laboratoarele de VR va trebui să descărcați acest repo: https://github.com/Andrei-Lapusteanu/IRVA_VR. **We strongly recommend** să vă clonați repo-ul (nu download .zip) întrucât vor exsita update-uri la acesta!</note> |
| + | |||
| + | **HTC Vive** este unul dintre cele mai populare sisteme de realitate virtuală. Este considerat un standard al realității virtuale. Acesta asigură tracking cât mai exact atât al HMD-ului (head mounted display) și al controllerelor, cât și al multiplelor accesorii care pot fi adăugate în plus, precum trackere. | ||
| + | |||
| + | ===== Hardware ===== | ||
| + | Pentru a fi funcțional, HTC Vive presupune o serie de componente de bază: | ||
| + | * HMD | ||
| + | * 2 x controller | ||
| + | * 2 x base station (stații care emit raze infraroșu pentru a detecta casca VR și controllerele aferente) | ||
| + | |||
| + | {{ :irva:laboratoare:htcvive.png?700 |}} | ||
| + | În plus, sistemului îi pot fi adăugate o serie de accesorii, în funcție de aplicație: | ||
| + | * Trackers | ||
| + | * Tracker facial | ||
| + | * Tracker pentru încheietură | ||
| + | * Adaptor wireless | ||
| + | |||
| + | {{ :irva:laboratoare:htcviveaccessories.png?700 |}} | ||
| + | ===== Software ===== | ||
| + | ==== SteamVR ==== | ||
| + | Pentru a putea dezvolta aplicații pentru HTC Vive, folosind Unity, putem folosi **SteamVR**. [[https://store.steampowered.com/app/250820/SteamVR/|SteamVR]] este o aplicație propietară Steam, care este folosită atât de utilizatorii obișnuiți care doresc să se joace jocuri VR, cât și de dezvoltatori în dezvoltarea acestor jocuri. SteamVR oferă suport pentru multiple HMD-uri, precum Valve Index, HTC Vive, Oculus Rift sau Windows Mixed Reality. | ||
| + | |||
| + | Pentru a putea folosi SteamVR, este necesar să avem un cont pe [[https://store.steampowered.com/|Steam]] și să aveam Steam instalat pe calculator. Pe urmă, putem instala SteamVR. | ||
| + | |||
| + | {{ :irva:laboratoare:steamvrdetection.png?300 |}} | ||
| + | ==== Setup Unity ==== | ||
| + | Odată instalat SteamVR, putem să ne jucăm orice joc VR. Cu toate astea, ca să putem crea propriile aplicații, este nevoie și de un plugin pentru Unity. Din **Unity Asset Store** trebuie să importăm [[https://assetstore.unity.com/packages/tools/integration/steamvr-plugin-32647|SteamVR Plugin]]. | ||
| + | |||
| + | Odată instalat pluginul, acceptăm setările default pentru SteamVR. Pe urmă, setăm proiectul pentru un proiect VR, nu AR: **Edit -> Project Settings -> XR Plug-in Management -> PC -> OpenVR Loader**. | ||
| + | |||
| + | {{ :irva:laboratoare:openvr.png?600 |}} | ||
| + | |||
| + | Ultimul pas în configurarea proiectului este să generăm acțiunile specifice pentru input-ul VR:**Window -> SteamVR Input**. Acceptăm setările default și le salvăm (**Save and Generate**). | ||
| + | |||
| + | {{ :irva:laboratoare:steamvrinput.png?600 |}} | ||
| + | |||
| + | ==== Player. Camera ==== | ||
| + | Pentru a putea avea control asupra HMD-ului si a controllerelelor, trebuie să adăugăm în scena default Unity prefab-ul **Player**. Acesta conține printre altele, componentele specifice mâinilor (controllerelelor) și ale HMD-ului. Cum orice joc VR este first person, jucătorul are o cameră asociată. Drept urmare, camera default din Unity nu este necesară. Aceasta trebuie ștearsă. Odată adăugat prefab-ul, putem testa aplicația. Observăm cum jucătorul din VR se mișcă în funcție de mișcările noastre. | ||
| + | |||
| + | {{ :irva:laboratoare:htcviveplayer.png?400 |}} | ||
| + | |||
| + | ==== Deplasare în VR ==== | ||
| + | O problemă importantă în aplicațiile VR este deplasarea. Pe de o parte, dacă în lumea reală ne deplasăm, ne deplasăm automat și în VR. Pe de altă parte, de obicei este indicat să nu facem acest lucru mai mult de câțiva pași, deoarece este foarte ușor să ne rănim. Drept urmare, deplasarea în VR pe distanțe mai mari trebuie făcută din cod. | ||
| + | |||
| + | Dacă am implementa deplasarea în mod clasic, ca în orice joc pe calculator (cât timp țin apăsat pe tasta W merg înainte), utilizatorul ar suferi de rău de mișcare (corpul nu se mișcă; cu toate astea ochii percep mișcare). Așadar, această soluție nu este fezabilă. În schimb, în aplicațiile VR s-a încetățenit ideea de teleportare pentru a parcurge distanțe mari. | ||
| + | |||
| + | Pentru a implementa teleportarea, în primul rând este necesar să adăugăm prefab-ul **Teleporting**. Acest prefab conține toată logica din spatele conceptului de teleportare. Cu toate acestea, dacă testăm acum aplicația, o să vedem că încă nu ne putem teleporta. Asta pentru că, pentru a ne putea teleporta, avem nevoie să definim zonele în care avem voie să mergem. Acest lucru se poate face în 2 moduri: | ||
| + | - Teleport Points | ||
| + | - Teleport Area | ||
| + | |||
| + | Un **teleport point** este un punct în spațiul 3D în care ne putem teleporta. Jucătorul este limitat strict la coordonatele acelui punct. Pentru a implementa mișcarea folosind astfel de puncte de teleportare, adăugăm în scenă prefab-ul **TeleportingPoint** de câte ori avem nevoie. Pe urmă, poziționăm fiecare instanță la poziția la care jucătorul se poate teleporta. | ||
| + | |||
| + | {{ :irva:laboratoare:htcviveteleportpoint.png?400 |}} | ||
| + | |||
| + | Un **teleport area** este o suprafață în care jucătorul se poate teleporta. De data aceasta, jucătorul nu mai este limitat să se teleporteze într-un singur punct, ci se poate teleporta oriunde pe acea suprafață. Pentru a adăuga o astfel de zonă de teleportare, mai întâi trebuie să adaăugam un plan simplu în scenă, căruia îi setăm ce poziție și dimensiune dorim. Pe urmă, pe acest plan, adăugăm scriptul **Teleport Area**, care va transforma întregul plan într-o zonă de teleportare. | ||
| + | |||
| + | {{ :irva:laboratoare:htcviveteleportarea.png?400 |}} | ||
| + | |||
| + | ==== Interacțiunea cu Obiectele în VR ==== | ||
| + | Pentru a interacționa cu obiectele în VR (să le luăm în mână de exemplu), este suficient să atașăm scriptul **Interactable** pe ele. Mai mult, dacă vrem să aplicăm legile fizice pe aceste obiecte sau dacă vrem să le putem arunca, putem atașa și scriptul **Throwable**, care automat atașează obiectului un **RigidBody**. | ||
| + | ==== Adăugarea unui Tracker ==== | ||
| + | Dacă dorim să folosim și accesorii HTC Vive, este suficient să le facem pair din SteamVR. Odată setate, avem acces la oricând la ele în Unity. Ca să le putem vizualiza în aplicație, trebuie să atașăm scriptul **Steam VR_Tracked Object** pe obiectul 3D care va reprezenta tracker-ul (de exemplu, un cub). Odată atașat, trebuie specificat ce device vrem să reprezinte obiectul 3D. Astfel, vom modifica parametrul **Index** al scriptului. | ||
| + | |||
| + | {{ :irva:laboratoare:htcvivetrackerscript.png?500 |}} | ||
| + | |||
| + | Pentru a știi ce valoare dăm acestui index, ne uităm la device-urile conectate din SteamVR. Primul device, este HMD-ul în sine, deci acestuia îi va corespunde index-ul 1; al doilea device este un controller, deci indexul 2 este pentru unul din controollere; etc. Astfel, observăm că pentru tracker, trebuie să setăm index-ul 5. | ||
| + | |||
| + | {{ :irva:laboratoare:htcvivetrackerindex.png?300 |}} | ||
| + | ===== Tasks ===== | ||
| + | <note important>Setup-ul pentru SteamVR in Unity a fost deja facut in proiectul suport (https://github.com/Andrei-Lapusteanu/IRVA_VR). Nu uitati sa luati ultimele update-uri!</note> | ||
| + | - Realizați setup-ul necesar rularii proiectului in VR: Update repository, instalare SteamVR (pachet in Unity), conexiune hardware intre casca si calculator. Veti avea de implementat cateva functionalitati in scena **Assets -> L7_HTCVive -> Scenes -> HTCViveLab** | ||
| + | - Adaugati in scena prefab-ul **Player**. Testati head tracking-ul si controller-ele prin rularea proiectului (play din Unity Editor) | ||
| + | - Adaugati cateva zone de teleportare pentru a putea urca treptele. Plasati ultima zona de teleportare intre mesele de pe platforma superioara. Nu uitati sa va adaugati prefab-ul **Teleporting** pentru a putea folosi functia de teleportare intre obiectele **TeleportPoint** | ||
| + | - Adaugati mai multe obiecte de tip **throwable** (optional, testati diferite scale-uri, setari de rigidbody, etc. pentru acestea) | ||
| + | |||
| + | Bonus: | ||
| + | |||
| + | * Folosind oricare dintre cele doua butoane portocalii de pe mese puteti instantia un proiectil care este lansat in directia voastra. Implementati si adaugati in scena un obiect (baseball bat, o paleta, etc.) pe care o puteti tine (ancora) de mana, cu ajutorul careia sa loviti proiectilul. Puteti studia diverse obiecte interactibile in scena **Assets -> SteamVR -> InteractionSystem - > Samples -> Interactions_Example** pentru a vedea pentru ce tipuri de obiecte exista suport. | ||
| + | |||
| + | <hidden> | ||
| + | <note tip>În acest laborator, pe lângă HTC Vive, vom folosi și funcția de tracking a telefonului mobil pe care o pune la dispoziție ARCore. Astfel, vom avea 2 aplicații: | ||
| + | * Phone Movement - aplicație mobile în care vom calcula poziția telefonului. | ||
| + | * HTC Vive - aplicație VR în care vom vedea real time traiectoria telefonului și o vom compara cu HTC Vive. De asemenea, vom implementa și funcționalități de bază HTC VIVE. | ||
| + | Cele două aplicații vor comunica între ele prin UDP. Scheletul de cod poate fi descărcat de [[https://github.com/Maria-Anca-Balutoiu/IRVA.git|aici]]. Scripturile necesare pentru rezolvarea laboratorului se află în **Assets->Scripts**: **UDPSend.cs** și **UDPReceive.cs**. | ||
| + | </note> | ||
| + | - Realizați toate setările pentru a putea vizualiza scena în VR. | ||
| + | - Adăugați cel puțin 3 puncte de teleportare și o zonă de teleportare. | ||
| + | - Adăugați cel puțin un cub, pe care să îl puteți arunca. | ||
| + | - Adăugați o reprezentare vizuală a tracker-ului HTC Vive. Observați cum se mișcă în scenă. | ||
| + | -------- | ||
| + | - Realizați conexiunea UDP dintre aplicația VR și aplicația AR. | ||
| + | - Reprezentați axele obiectului din aplicația Desktop care reprezintă dispozitivul mobil. | ||
| + | - Trimiteți poziția și orientarea camerei de la telefon mobil la calculator. | ||
| + | - Afișați datele primite de la telefonul mobil, dar și poziția și orientarea tracker-ului pe ecran în aplicația Desktop. | ||
| + | - Pe aplicația Desktop, modificați poziția și orientarea obiectului care reprezintă telefonul mobil. | ||
| + | </hidden> | ||
| + | |||
| + | <hidden> | ||
| + | <note important>Nu s-a reușit portarea în întregime a feature-urilor ce țin de Google Cardboard în proiectul nostru încă :). Pagina are caracter temporar.</note> | ||
| Link catre proiect VR (de portat): https://github.com/Andrei-Lapusteanu/3D-UPB-2021-XR-Workshop | Link catre proiect VR (de portat): https://github.com/Andrei-Lapusteanu/3D-UPB-2021-XR-Workshop | ||
| Line 11: | Line 109: | ||
| Totuși, puteți vizuaiza work in progress-ul pentru portare aici: https://github.com/Maria-Anca-Balutoiu/IRVA/tree/L7-VR-GoogleCardboard, (branch "**L7-VR-GoogleCardboard**") | Totuși, puteți vizuaiza work in progress-ul pentru portare aici: https://github.com/Maria-Anca-Balutoiu/IRVA/tree/L7-VR-GoogleCardboard, (branch "**L7-VR-GoogleCardboard**") | ||
| - | <note> Din link-ul de explicații nu funcționează încă realizarea build-ului (adică fară secțiunile 8 și 9)</note> | + | <note> Din link-ul de explicații nu funcționează încă realizarea cu succes a build-ului pe telefon (așadar secțiunile 8 și 9)</note> |
| + | </hidden> | ||
