Odată cu creșterea popularității seturilor de ochelari Mixed Reality, accesul la camerele ochelarilor a devenit una dintre cele mai solicitate caracteristici pentru dezvoltatori. Într-un interviu recent, CTO-ul Meta a sugerat posibilitatea de a include această caracteristică în viitor.
Cu siguranță dețineți un smartphone. Dar v-ați dat seama că camerele acestuia sunt disponibile pentru dezvoltatori? Cu alte cuvinte - unele aplicații pot vedea exact ceea ce văd camerele foto ale telefonului dvs. Desigur, atunci când deschideți o aplicație care utilizează camerele, vi se va cere permisiunea, astfel încât dezvoltatorii nu o pot accesa oricând doresc. Acesta este un lucru bun, deoarece oamenii sunt în mod natural precauți cu privire la accesul la cameră din cauza preocupărilor legate de confidențialitate. Cu toate acestea, aceasta este o problemă care a fost rezolvată în mare parte în smartphone-uri.
Smartphone-urile au propria lor versiune de realitate augmentată, dar cele mai recente ochelari de realitate mixtă (și viitoarele ochelari) oferă o experiență mult mai bună decât ceea ce este posibil pe telefoane - puteți interacționa cu conținutul virtual folosind mâinile sau controllerele și îl puteți vedea în 6-DoF în spațiul dvs. În ciuda acestui avantaj semnificativ față de AR pe smartphone-uri, este în prezent imposibil pentru dezvoltatori să exploateze întregul său potențial din cauza lipsei de acces la camerele de pe ochelari.
W interviu între Matthew Ball și Andrew Bosworth (CTO al Meta), Bosworth a sugerat că accesul la cameră ar putea apărea în cele din urmă în ochelarii Quest. Acesta și-a exprimat entuziasmul cu privire la posibilitățile pe care această caracteristică le-ar deschide pentru dezvoltatori, dar a menționat că Meta a adoptat o abordare conservatoare cu privire la accesul la cameră din cauza preocupărilor legate de confidențialitate. Având în vedere istoricul Meta cu scandaluri legate de confidențialitate, această precauție este de înțeles. Cu toate acestea, pe măsură ce industria realității mixte se dezvoltă și cu Apple care permite deja accesul la cameră pentru dezvoltatorii corporativi pe visionOS 2 (ceea ce sugerează că ar putea fi disponibil în cele din urmă pentru dezvoltatorii obișnuiți), Meta ar putea fi nevoit să urmeze exemplul.
Mai jos sunt prezentate mai multe exemple de aplicații de realitate mixtă / augmentată care utilizează accesul la cameră. Unele sunt doar idei, în timp ce altele sunt proiecte finalizate care funcționează prin soluții (uneori incomode) fără acces direct la cameră. Includerea acestui acces ar putea face aceste aplicații mult mai ușor de utilizat.
Câștigătorul Meta AR Hackathon - "Flaivor"
Flaivor este un asistent de gătit cu AI care, pe baza fotografiilor cu produsele din frigider (sau a oricărei alte fotografii cu alimente disponibile), oferă rețete care includ ingredientele fotografiate. De asemenea, are o funcție de setare a cronometrului și un asistent AI pentru a oferi ajutor și îndrumare.
Stați, aplicația cere utilizatorului să facă o fotografie? Aceasta este o modalitate inteligentă (deși nu ideală) de a ocoli lipsa accesului la cameră, care ar face experiența mult mai simplă. Imaginați-vă că tot ce trebuie să faceți este să vă uitați la frigider și să vă concentrați pe anumite ingrediente pe care o singură fotografie le-ar putea omite - acest lucru ar fi posibil cu accesul la cameră.
Aspirarea spațiului!
Această aplicație concept este realizată doar pentru distracție, dar oferă o idee interesantă pentru a face munca casnică mai interesantă și mai puțin monotonă. Aplicația include caracteristici precum obținerea de monede pentru fiecare loc neaspirat și utilizarea unor culori diferite ale podelei pentru a indica părțile care nu au fost încă curățate, după cum se arată în videoclip. Dezvoltatorul a realizat acest lucru prin montarea controlerului Meta Touch Pro, văzut pe scurt în videoclip.
Având acces la camere, ar fi posibil să se urmărească aspiratorul fără a fi nevoie de controlori. Deoarece dezvoltatorii au deja la dispoziție date despre podea și spațiu, accesul la camere este singurul ingredient care lipsește.
Aplicație de realitate mixtă pe Quest 3 - "Creion"
Această aplicație este deosebit de interesantă. De fapt, am avut ocazia să o încerc chiar eu! Am desenat unul dintre desenele disponibile și... ei bine, nu a fost o capodoperă. Dar hei, a arătat mult mai bine când am folosit această aplicație decât atunci când am făcut-o fără ea. (Și nu, nu am de gând să arăt acel desen).
Această aplicație învață să deseneze, exact așa cum se arată în videoclipul de pe Twitter. Ceea ce face este simplu: urmărește o foaie de hârtie A4 cu un controler deasupra și adaugă un strat pentru a ajuta utilizatorul să o alinieze cu foaia de hârtie reală. Având acces la o cameră, dezvoltatorii ar putea urmări chiar foaia de hârtie, făcând procesul mult mai ușor. În prezent, controlerul se poate mișca, ceea ce face ca foaia de hârtie virtuală să se deplaseze, putând provoca o nepotrivire între desenul real și cel virtual. Accesul la cameră ar elimina această problemă.
"World Skins" - Transformă-ți lumea cu AI și AR
Ceea ce este intrigant la acest exemplu este modul în care utilizează inteligența artificială și accesul la cameră pentru a transforma întreaga lume din jurul tău. Deși este doar un concept în acest moment, este ceva extrem de interesant. Am putea discuta aici despre riscurile potențiale - cum ar fi ce s-ar întâmpla dacă cineva nu ar fi atent, dar mai importantă este posibilitatea de a crea așa ceva. Pentru o experiență mai sigură, dar la fel de impresionantă, imaginați-vă că aplicați același concept propriei locuințe: transformați-o pentru a semăna cu o junglă sau cu o navă spațială, cu vedere la spațiu prin ferestre.
Care este avantajul de a utiliza acest lucru în locul realității virtuale? Ei bine, un avantaj ar putea fi capacitatea de a vedea mobila sau oamenii care se mișcă în jurul tău. Un alt beneficiu este potențialul de a o utiliza în aer liber, de exemplu în grădină - o zonă care rămâne ferită de pericole precum mașinile, dar care ar putea fi îmbunătățită considerabil prin utilizarea inteligenței artificiale.
Asistent AI
Modelele lingvistice mari (LLM) se îmbunătățesc rapid. De exemplu, cel prezentat în GPT-4o vă poate "înțelege" mediul și contextul, oferind astfel asistență extrem de utilă atunci când este necesar.
Dacă ochelarii de realitate mixtă și ochelarii AR ar avea acces la camere pentru dezvoltatori, aceștia ar putea folosi modelele lor instruite pentru a ajuta. De exemplu, atunci când întâmpinați o problemă cu un robinet și aveți nevoie de ajutorul unui instalator, ați putea, eventual, să vă ocupați singur de problemă. Cum? Pur și simplu uitându-vă la instalație și cerând ajutorul AI. Având acces la o cameră, AI ar avea acces imediat la ceea ce vedeți, sporindu-și considerabil capacitatea de a înțelege situația și de a oferi un sprijin eficient.
Exemplele de acest gen sunt nenumărate, iar multe dintre ele nici măcar nu au fost inventate încă. Ele ar putea deveni realitate dacă dezvoltatorii ar avea acces la camerele din ochelarii VR/AR.
Fascinant proiect de cercetare AR Meta Reality Lab
Aceasta este o demonstrație foarte interesantă de la Meta Reality Labs. Acesta permite utilizatorului să manipuleze realitatea, nu numai adăugând elemente virtuale, ci și modificându-le pe cele existente. De exemplu, puteți muta obiecte în lumea reală, iar ochelarii schimbă textura și culorile peretelui din spatele lor, creând un perete virtual care este menit să imite peretele real din spatele obiectului mutat.
Acest perete virtual este o aproximare, deci nu este identic cu cel real, dar aici există mult loc pentru îmbunătățiri. Dezvoltatorul din spatele proiectului a menționat că pentru demonstrație a fost necesară scanarea atentă și planificarea prealabilă a fiecărui obiect. Cu toate acestea, având acces la camere și modele AI avansate, ne putem imagina redarea tuturor acestor lucruri în timp real, ceea ce ar ridica gradul de utilizare a realității mixte la un nivel cu totul nou.
Schimbarea dinamică a lumii din jurul tău - Aldiffusion API
Prototipul prezentat aici este o demonstrație a posibilităților bazate pe inteligența artificială. Nu sunt prea multe de descris - atingeți ceva din camera dvs. și mâinile (sau corpul) dvs. se schimbă pentru a se potrivi cu ceea ce ați atins. Este un gadget? Da, cu siguranță. Cu toate acestea, idei ca acestea ar putea evolua în ceva mai mare și mult mai util!
AR pentru ambalaje
Ce s-ar întâmpla dacă, în viitor, ați intra într-un magazin cu ochelarii AR și fiecare produs pe care îl vedeți ar avea o animație creativă? Ar putea fi copleșitor și nu-mi pot imagina că cineva s-ar bucura să vadă sute de produse pe rafturi care se mișcă. Dar dacă ai putea să te concentrezi pe un produs, să apeși pe degete și să vezi o animație care să îți arate cum să îl folosești sau să îți arate potențiale rețete care îl folosesc (în funcție de faptul dacă este un produs alimentar sau altceva), ar fi uimitor.
Fără îndoială, există beneficii considerabile care pot fi observate. Desigur, pentru a funcționa, ar fi necesar accesul la camere.
Soluția de realitate augmentată "Try-On" de la Gucci
Un alt exemplu interesant de utilizare a RA care necesită acces la cameră este funcția "try-on". Puteți face deja acest lucru pe telefon, dar nu este bine susținut. Având deja pe cap un dispozitiv capabil să modifice realitatea într-un mod util, dezvoltatorii ar putea extinde funcții precum aceasta. Personal, aș folosi cu siguranță acest lucru pentru a vedea cum arată pantofii pe picioarele mele înainte de a-i cumpăra, fără a fi nevoit să merg la magazin!
Același lucru se poate aplica și privirii în oglindă atunci când ochelarii sau ochelarii vă văd corpul. Ai putea verifica dacă anumite haine îți vin bine. Există deja aplicații care fac așa ceva, dar nimic nu este mai bun decât să vezi imaginea direct din punctul tău de vedere pe ochelari sau ochelari.
Există mult mai multe exemple ca cele de mai sus, dar cred că cel pe care l-am dat oferă o imagine bună a ceea ce este posibil. Met și Apple se îndreaptă încet spre a oferi dezvoltatorilor acces la camerele din ochelarii lor. Se poate prezice că, dacă acest lucru se întâmplă, va fi momentul în care vor apărea o mulțime de aplicații inovatoare, creative și utile pentru realitatea mixtă.
