Ricerca
Accesso alla telecamera Meta Quest 3

Come l'accesso degli sviluppatori alle telecamere negli occhiali VR/AR potrebbe cambiare un intero settore

Con l'aumento della popolarità dei kit di occhiali per la Mixed Reality, l'accesso alle telecamere degli occhiali è diventato una delle funzionalità più richieste dagli sviluppatori. In una recente intervista, il CTO di Meta ha suggerito la possibilità di includere questa funzione in futuro.

Sicuramente possedete uno smartphone. Ma vi siete resi conto che le sue fotocamere sono a disposizione degli sviluppatori? In altre parole, alcune app possono vedere esattamente ciò che vedono le fotocamere del telefono. Naturalmente, quando aprite un'app che utilizza la fotocamera, vi verrà chiesta l'autorizzazione, quindi gli sviluppatori non possono accedervi quando vogliono. Questo è un aspetto positivo, poiché le persone sono naturalmente diffidenti nei confronti dell'accesso alla fotocamera per motivi di privacy. Tuttavia, questo problema è stato ampiamente risolto negli smartphone.

Gli smartphone hanno la loro versione di realtà aumentata, ma i più recenti occhiali per la Mixed Reality (e quelli futuri) offrono un'esperienza molto migliore di quella possibile sui telefoni: è possibile interagire con i contenuti virtuali usando le mani o i controller e vederli in 6-DoF nel proprio spazio. Nonostante questo vantaggio significativo rispetto all'AR su smartphone, è attualmente impossibile per gli sviluppatori sfruttarne appieno il potenziale a causa della mancanza di accesso alle telecamere degli occhiali.

Tuttavia, questo è un problema che è stato ampiamente risolto negli smartphone. Gli smartphone hanno la loro versione di realtà aumentata, ma le cuffie di Mixed Reality (e i futuri occhiali) offrono un'esperienza migliore. È possibile interagire con i contenuti virtuali usando le mani o i controller e vederli in 6-DoF nel proprio spazio. Si tratta di un'esperienza divertente e promettente. Tuttavia, al momento gli sviluppatori non possono sfruttare appieno il potenziale della Mixed Reality a causa della mancanza di accesso alla telecamera. Se attualmente si vuole creare un'applicazione di Mixed Reality su Meta Quest, si può fare ben poco per far sì che l'applicazione risponda dinamicamente all'ambiente. Non è possibile vedere ciò che vede l'utente. Quest 3 ha una funzione di scansione della stanza in cui l'utente scansiona manualmente lo spazio e gli occhiali creano una griglia. Tuttavia, questa funzione non risolve completamente il problema, in quanto non consente funzioni come il tracciamento degli oggetti.
 

W intervista tra Matthew Ball e Andrew Bosworth (CTO di Meta), Bosworth ha suggerito che l'accesso alla telecamera potrebbe comparire negli occhiali Quest. Ha espresso entusiasmo per le possibilità che questa funzione aprirebbe agli sviluppatori, ma ha fatto notare che Meta ha adottato un approccio conservativo nei confronti dell'accesso alla telecamera a causa di problemi di privacy. Visti i precedenti di Meta con gli scandali sulla privacy, questa cautela è comprensibile. Tuttavia, con la crescita dell'industria della Mixed Reality e con Apple che ha già consentito l'accesso alla telecamera agli sviluppatori aziendali sul sistema di navigazione satellitare. visionOS 2 (il che suggerisce che alla fine potrebbe essere disponibile per i normali sviluppatori), Meta potrebbe dover seguire l'esempio.

Di seguito sono riportati diversi esempi di applicazioni di realtà mista/aumentata che utilizzano l'accesso alla fotocamera. Alcune sono solo idee, mentre altre sono progetti già completati che funzionano con soluzioni (a volte scomode) senza l'accesso diretto alla fotocamera. L'inclusione di questo accesso potrebbe rendere queste applicazioni molto più facili da usare.


Vincitore dell'hackathon Meta AR - "Flaivor"

Flaivor è un assistente di cucina dotato di intelligenza artificiale che, in base alle foto dei prodotti presenti nel frigorifero (o a qualsiasi altra foto di alimenti disponibili), fornisce ricette che includono gli ingredienti fotografati. Ha anche una funzione di impostazione del timer e un assistente AI che fornisce aiuto e guida.

Aspetta, l'app richiede all'utente di scattare una foto? È un modo intelligente (anche se non ideale) per ovviare alla mancanza di accesso alla fotocamera, che renderebbe l'esperienza molto più semplice. Immaginate se tutto ciò che dovete fare è guardare il vostro frigorifero e concentrarvi su ingredienti specifici che potrebbero sfuggire a una singola foto: questo sarebbe possibile con l'accesso alla fotocamera.

Aspirazione spaziale!

Questa applicazione è stata realizzata per puro divertimento, ma offre un'idea interessante per rendere i lavori domestici più interessanti e meno monotoni. Include funzioni come l'assegnazione di monete per ogni punto non passato con l'aspirapolvere e l'utilizzo di diversi colori del pavimento per indicare quali parti non sono ancora state pulite, come mostrato nel video. Lo sviluppatore ha ottenuto questo risultato montando il controller Meta Touch Pro, che si vede brevemente nel video.

Con l'accesso alle telecamere, sarebbe possibile seguire l'aspirapolvere senza bisogno di controllori. Poiché i dati relativi al pavimento e allo spazio sono già disponibili per gli sviluppatori, l'accesso alle telecamere è l'unico ingrediente mancante.

Applicazione per la realtà mista su Quest 3 - "Pencil"

Questa applicazione è particolarmente interessante. In effetti, ho avuto l'opportunità di provarla personalmente! Ho fatto uno dei disegni disponibili e... beh, non era un capolavoro. Ma, ehi, è venuto molto meglio quando ho usato questa applicazione rispetto a quando l'ho fatto senza. (E no, non mostrerò il disegno).

Questa app insegna a disegnare, proprio come mostrato nel video su Twitter. Il funzionamento è semplice: traccia un foglio di carta A4 con un controller sopra e aggiunge un livello per aiutare l'utente ad allinearlo con il foglio di carta reale. Con l'accesso a una fotocamera, gli sviluppatori potrebbero tracciare il foglio stesso, rendendo il processo molto più semplice. Attualmente, il controller può muoversi, facendo spostare il foglio di carta virtuale e causando potenzialmente una mancata corrispondenza tra il disegno reale e quello virtuale. L'accesso alla telecamera eliminerebbe questo problema.

"World Skins" - Trasforma il tuo mondo con AI e AR

L'aspetto intrigante di questo esempio è il modo in cui utilizza l'intelligenza artificiale e l'accesso alla fotocamera per trasformare l'intero mondo circostante. Anche se al momento è solo un'idea, si tratta di qualcosa di estremamente interessante. Potremmo discutere dei potenziali rischi, come ad esempio cosa succederebbe se qualcuno non facesse attenzione, ma la cosa più importante è la pura possibilità di creare qualcosa di simile. Per un'esperienza più sicura, ma ugualmente impressionante, immaginate di applicare lo stesso concetto alla vostra casa, trasformandola in una giungla o in un'astronave, con tanto di vista sullo spazio attraverso le finestre.

Quali sono i vantaggi di questo sistema rispetto alla Realtà Virtuale? Un vantaggio potrebbe essere la possibilità di vedere i mobili o le persone che si muovono intorno a noi. Un altro vantaggio è la possibilità di utilizzarla all'aperto, ad esempio in giardino, un'area che rimane al sicuro da pericoli come le automobili, ma che potrebbe essere notevolmente migliorata dall'utilizzo dell'intelligenza artificiale.

Assistente AI

I modelli linguistici di grandi dimensioni (LLM) stanno migliorando rapidamente. Ad esempio, quello mostrato in GPT-4o è in grado di "capire" l'ambiente e il contesto in cui ci si trova, fornendo così un'assistenza estremamente utile in caso di necessità.

Se i Mixed Reality Goggles e gli occhiali AR avessero accesso alle telecamere per gli sviluppatori, questi potrebbero utilizzare i loro modelli addestrati per aiutare. Ad esempio, quando si incontra un problema con un rubinetto e si ha bisogno dell'aiuto di un idraulico, si potrebbe potenzialmente affrontare il problema da soli. Come? Semplicemente guardando l'impianto e chiedendo aiuto all'intelligenza artificiale. Con l'accesso a una telecamera, l'IA avrebbe accesso immediato a ciò che vedete, aumentando notevolmente la sua capacità di comprendere la situazione e fornire un supporto efficace.

Esempi come questi sono infiniti e molti non sono ancora stati inventati. Potrebbero diventare realtà se gli sviluppatori avessero accesso alle telecamere degli occhiali VR/AR.

Affascinante progetto di ricerca AR Meta Reality Lab

Questa è una dimostrazione molto interessante di Meta Reality Labs. Permette all'utente di manipolare la realtà, non solo aggiungendo elementi virtuali ma anche modificando quelli esistenti. Ad esempio, è possibile spostare gli oggetti nel mondo reale e l'occhialino cambia la texture e i colori del muro dietro di essi, creando un muro virtuale che intende imitare il muro reale dietro l'oggetto spostato.

Questo muro virtuale è un'approssimazione, quindi non è identico a quello reale, ma c'è molto margine di miglioramento. Lo sviluppatore del progetto ha detto che per la dimostrazione è stata necessaria un'attenta scansione e una pre-pianificazione di ogni oggetto. Tuttavia, con l'accesso a telecamere e modelli avanzati di intelligenza artificiale, possiamo immaginare di renderizzare tutto questo in tempo reale, il che porterebbe l'usabilità della Mixed Reality a un livello completamente nuovo.

Cambiare il mondo intorno a voi in modo dinamico - Aldiffusion API

Il prototipo mostrato qui è una dimostrazione delle possibilità offerte dall'intelligenza artificiale. Non c'è molto da descrivere: si tocca qualcosa nella propria stanza e le mani (o il corpo) cambiano per adattarsi a ciò che si è toccato. È un gadget? Sì, decisamente. Tuttavia, idee come queste potrebbero evolvere in qualcosa di più grande e molto più utile!

AR per l'imballaggio

Cosa succederebbe se in futuro si entrasse in un negozio con gli occhiali AR e ogni prodotto che si vede avesse un'animazione creativa? Potrebbe essere travolgente e non credo che a qualcuno piacerebbe vedere centinaia di prodotti sugli scaffali che si muovono. Ma se si potesse concentrarsi su un prodotto, fare clic con le dita e vedere un'animazione che mostra come usarlo o che mostra potenziali ricette che lo utilizzano (a seconda che si tratti di un prodotto alimentare o di altro), sarebbe fantastico.

I vantaggi sono indubbiamente notevoli. Naturalmente, per funzionare, è necessario avere accesso alle telecamere.

La soluzione di realtà aumentata "Try-On" di Gucci

Un altro esempio interessante di utilizzo dell'AR che richiede l'accesso alla fotocamera è la funzione "prova". È già possibile farlo sul telefono, ma non è ben supportato. Con un dispositivo in grado di alterare la realtà in modo utile già in testa, gli sviluppatori potrebbero estendere funzioni come questa. Personalmente, lo userei sicuramente per vedere come stanno le scarpe ai miei piedi prima di acquistarle, senza dover andare in negozio!

Lo stesso vale per chi si guarda allo specchio con gli occhiali o con gli occhialini per vedere il proprio corpo. Potreste verificare se certi vestiti vi stanno bene. Esistono già applicazioni che fanno qualcosa del genere, ma non c'è niente di meglio che vedere l'immagine direttamente dal proprio punto di vista sugli occhiali.

Ci sono molti altri esempi come quelli sopra citati, ma credo che quello che ho riportato dia una buona immagine di ciò che è possibile fare. Met e Apple si stanno lentamente muovendo per dare agli sviluppatori l'accesso alle telecamere dei loro occhiali. Si può prevedere che se questo accadrà, sarà il momento in cui emergerà una massa di applicazioni innovative, creative e utili per la Mixed Reality.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *