Laboratorul 02. AR Foundation. Measuring Distances App

ARCore. AR Foundation

ARCore este un SDK de realitate augmentată dezvoltat de Google. Este o tehnologie relativ recent apărută pe piață, fiind pentru prima dată publicată pe 1 martie 2018. ARCore este folosit pentru a crea aplicații de realitate augmentată atât pentru Android, cât și pentru iOS. Are suport pentru multiple platforme de development pentru telefon, precum Unity, Unreal, Android Studio, Xcode.

ARCore funcționează pe baza a trei principii:

  • Motion tracking (poziția telefonului este constant calculată relativ la spațiul lume)
  • Înțelegerea mediului înconjurător (dimensiunea și poziția aproximativ tuturor tipurilor de suprafețe este constant detectată)
  • Light estimation (condițiile de iluminare sunt calculate constant)

În documentația ARCore, ultimele versiuni de ARCore în combinație cu Unity sunt marcate ca fiind deprecated. În schimb, tot în documentație se recomandă utilizarea AR Foundation.

AR Foundation este un API pentru multiple platforme din Unity. AR Foundation NU implementează niciun feature AR. Pentru a putea folosi AR Foundation, este nevoie să importăm în proiect și pachetele necesare pentru platforma pentru care dezvoltăm aplicația (ARKit pentru iOS, ARCore pentru Android).

Setup ARCore. Setup AR Foundation

Pentru a crea un proiect nou cu suport pentru AR Foundation, urmăriți pașii de aici. AR Foundation vine cu o serie de feature-uri mai puține decât ARCore. Pentru a putea avea acces la toate feature-urile ARCore (cum ar fi ancorele cloud), este necesar să importăm și o serie de extensii pentru AR Foundation. Urmați pașii de aici.

AR Foundation 5.0 a înlocuit componenta AR Session Origin cu XR Origin. ARCore nu a făcut încă această modficare în interfața oferită de ARCore Extensions for AR Foundation; deci, în AR Foundation 5.0 nu avem încă toate feature-urile ARCore. De aceea, la laborator folosim Unity 2021.3.31f1 (care folosește AR Foundation 4.2) în loc de ultima versiune Unity LTS.

Structura unui Proiect ARCore/AR Foundation

Orice proiect AR Foundation, are o serie de componente de bază. Fără aceste componente, proiectul nu este funcțional. Acestea sunt:

  • AR Session controlează ciclul de viață al aplicației AR
  • XR Origin (începând cu AR Foundation 5.0) / AR Session Origin (orice altă versiune AR Foundation) transformă poziția, scalarea și orientarea feature-urilor trackable (precum suprafețe planare și puncte caracteristice) în sistemul de coordonate Unity.

O sesiune se referă la o instanță AR. În timp ce alte componente precum detecția de plane pot fi activate/dezactivate în mod independent, sesiunea controlează ciclul de viață al întregii aplicații AR, deci controlează toate componentele. Când dezactivăm componenta AR Session, sistemul nu mai urmărește caracteristicile din mediul înconjurător. Apoi, dacă reactivăm ulterior componenta, sistemul încearcă să recupereze și să păstreze caracteristicile detectate anterior.

Componenta XROrigin transformă obiectele trackable dintr-un “spațiu al sesiunii” al dispozitivului AR (un spațiu nescalat relativ momentului începerii sesiunii AR) în world space-ul Unity. De exemplu, coordonatele (0, 0, 0) din spațiul sesiune se referă la poziția la care a fost creată sesiunea AR și corespunde poziției componentei XR Origin în world space. Acest concept este similar diferenței dintre local space și world space.

  • AR Plane Manager crează câte un GameObject pentru fiecare plan detectat în mediul înconjurător. Un plan este o suprafață plată reprezentată printr-o poziție, orientare, dimensiuni și puncte limită. Planele pot fi adăugate, modificate și șterse de la un frame la altul. Un plan își mărește dimensiunea în timp pe măsură ce dispozitivul AR descoperă mai multe din mediul înconjurător.

Pentru a vizualiza plane este nevoie să folosim componenta AR Default Plane, pe care să o transformăm în prefab.

Plasarea de Obiecte în Scenă. Ancore

Pentru a adăuga obiecte în scenă folosind inputul utilizatorului, va trebui să verificăm la fiecare frame dacă utilizatorul a apăsat pe ecran. Funcția Frame.Raycast() implementează un raycast în funcție de poziția de pe ecran apăsată de utilizator pentru a detecta dacă utilizatorul a apăsat pe un plan sau pe un feature point detectat în imagine.

Funcția Physics.Raycast este în general folosită atunci când avem nevoie de un raycast în aplicațiile Unity. Cu toate acestea, în cazul realității augmentate trebuie să facem un raycast în lumea reală, folosind camera telefonului. În acest sens, AR Foundation/ARCore oferă funcția Frame.Raycast().

if (m_RaycastManager.Raycast(touchPosition, s_Hits, TrackableType.PlaneWithinPolygon))
{
    // Raycast hits are sorted by distance, so the first one will be the closest hit.
    var hitPose = s_Hits[0].pose;
 
    // Instantiate prefab at the hit pose.
    var gameObject = Instantiate(prefab, hit.Pose.position, hit.Pose.rotation);
 
    // Compensate for the hitPose rotation facing away from the raycast (i.e.
    // camera).
    gameObject.transform.Rotate(0, _prefabRotation, 0, Space.self);
 
    // Attach an anchor to allow AR Foundation to track the hitpoint as understanding of
    // the physical world evolves.
    gameObject.AddComponent<ARAnchor>();
}

Dacă în urma raycast-ului, utilizatorul a nimerit un plan sau un feature point, atunci un obiect 3D este instanțiat la poziția TrackableHit pe care a nimerit-o utilizatorul.

var gameObject = Instantiate(prefab, hit.Pose.position, hit.Pose.rotation);

Poziția punctului nimerit este folosit pentru a crea o ancoră. Ancora este un obiect specific ARCore care menține obiectul fix la o anumită poziție relativ cu lumea reală. Pe măsură ce ARCore învață mediul înconjurător, ARCore își poate schimba sistemul de coordonate global. Automat, un obiect fără o ancoră atașată și-ar schimba poziția în funcție de noul sistem de coordonate global. Cu ajutorul unei ancore, obiectul rămâne însă relativ fix în lumea reală, nu în sistemul ARCore. Când nu mai avem nevoie de o ancoră (sunt foarte costisitoare din punct de vedere al timpului de execuție), o putem distruge, folosind funcția Destroy.

gameObject.AddComponent<ARAnchor>();

WorldToScreenPoint

Dacă dorim să poziționăm anumite elemente de interfață grafică să urmărească anumite obiecte (deci să nu fie fixe într-o anumită zonă a ecranului, ci să urmărească un anumit obiect) putem folosi funcția WorldToScreenPoint, care primește ca parametru poziția din spațiul global pe care dorim să îl urmărim. Folosind această funcție, poziția este convertită la spațiul camerei.

Camera.main.WorldToScreenPoint(new Vector3(0, 0, 0));

Tasks

În acest laborator, vom lucra la o aplicație care măsoară distanțe, folosind camera telefonului mobil. Utilizatorul va putea adăuga puncte apăsând pe ecran. Aplicația va calcula distanța dintre ultimele două puncte adăugate, și o va afișa pe ecran în dreptul celor două puncte. Acest text va rămâne la aceiași poziție în spațiul lume. În același timp, în spațiul camerei se va afișa și distanța totală dintre toate punctele adăugate pe ecran.

Vom folosi scena Measure Distances din scheletul de laborator. Acesta poate fi descărcat de aici. Scriptul necesar pentru rezolvarea laboratorului se află în Assets→Scripts: MeasureDistances.cs.

  1. Afișați o linie care să lege ultimele două puncte adăugate pe ecran.
  2. Afișați pe ecran distanța dintre ultimele două puncte adăugate în dreptul liniei adăugate.
  3. Afișați pe ecran distanța totală măsurată.
  4. Bonus: Adăugați posibilitatea de a reselecta un cub adăugat anterior pe ecran. Odată ce cubul este selectat, îl veți putea muta la altă poziție, iar distanțele vor fi recalculate.

Vă puteți folosi de acest tutorial pentru bonus.

Rezultat final:

irva/laboratoare/02.txt · Last modified: 2023/10/23 12:48 by maria_anca.balutoiu
CC Attribution-Share Alike 3.0 Unported
www.chimeric.de Valid CSS Driven by DokuWiki do yourself a favour and use a real browser - get firefox!! Recent changes RSS feed Valid XHTML 1.0