Avec la montée en popularité des kits de lunettes de réalité mixte, l'accès aux caméras des lunettes est devenu l'une des fonctionnalités les plus demandées par les développeurs. Dans une récente interview, le directeur technique de Meta a suggéré la possibilité d'inclure cette fonctionnalité à l'avenir.
Vous possédez certainement un smartphone. Mais saviez-vous que ses caméras sont à la disposition des développeurs ? En d'autres termes, certaines applications peuvent voir exactement ce que les caméras de votre téléphone voient. Bien entendu, lorsque vous ouvrez une application qui utilise les caméras, une autorisation vous est demandée, de sorte que les développeurs ne peuvent pas y accéder à leur guise. C'est une bonne chose, car les gens se méfient naturellement de l'accès aux caméras pour des raisons de protection de la vie privée. Il s'agit toutefois d'un problème qui a été largement résolu dans les smartphones.
Les smartphones ont leur propre version de la réalité augmentée, mais les dernières lunettes de réalité mixte (et les futures lunettes) offrent une expérience bien meilleure que ce qui est possible sur les téléphones. Vous pouvez interagir avec un contenu virtuel à l'aide de vos mains ou de contrôleurs et le voir en 6-DoF dans votre espace. Malgré cet avantage considérable par rapport à la réalité augmentée sur les smartphones, il est actuellement impossible pour les développeurs d'en exploiter tout le potentiel en raison du manque d'accès aux caméras sur les lunettes.
W entretien Lors d'une réunion entre Matthew Ball et Andrew Bosworth (directeur technique de Meta), ce dernier a laissé entendre que l'accès à la caméra pourrait éventuellement apparaître dans les lunettes Quest. Il s'est montré enthousiaste quant aux possibilités que cette fonctionnalité offrirait aux développeurs, mais a fait remarquer que Meta avait adopté une approche prudente en ce qui concerne l'accès à la caméra en raison de préoccupations liées à la protection de la vie privée. Compte tenu de l'histoire de Meta en matière de scandales liés à la protection de la vie privée, cette prudence est compréhensible. Cependant, à mesure que l'industrie de la réalité mixte se développe et qu'Apple autorise déjà l'accès à la caméra pour les développeurs d'entreprise sur la plate-forme visionOS 2 (ce qui laisse supposer qu'il pourrait éventuellement être mis à la disposition des développeurs ordinaires), Meta pourrait devoir suivre le mouvement.
Vous trouverez ci-dessous plusieurs exemples d'applications de réalité mixte/augmentée utilisant l'accès à la caméra. Certaines ne sont que des idées, tandis que d'autres sont des projets achevés qui fonctionnent grâce à des solutions de contournement (parfois peu pratiques) sans accès direct à la caméra. L'inclusion de cet accès pourrait rendre ces applications beaucoup plus conviviales.
Gagnant du Meta AR Hackathon - "Flaivor" (en anglais)
Flaivor est un assistant culinaire doté d'une intelligence artificielle qui, à partir de photos des aliments présents dans votre réfrigérateur (ou de toute autre photo d'aliments disponibles), vous propose des recettes incluant les ingrédients photographiés. Il dispose également d'une fonction de réglage de la minuterie et d'un assistant IA pour vous aider et vous guider.
Attendez, l'application exige que l'utilisateur prenne une photo ? C'est une façon intelligente (mais pas idéale) de contourner l'absence d'accès à l'appareil photo, qui rendrait l'expérience beaucoup plus simple. Imaginez qu'il vous suffise de regarder votre réfrigérateur et de vous concentrer sur des ingrédients spécifiques qu'une simple photo pourrait omettre - ce serait possible avec l'accès à l'appareil photo.
L'aspirateur de l'espace !
Cette application conceptuelle a été conçue uniquement pour le plaisir, mais elle offre une idée intéressante pour rendre les tâches ménagères plus intéressantes et moins monotones. Elle comprend des fonctions telles que l'attribution de pièces pour chaque endroit non aspiré et l'utilisation de différentes couleurs de sol pour indiquer les parties qui n'ont pas encore été nettoyées, comme le montre la vidéo. Le développeur est parvenu à ce résultat en montant le contrôleur Meta Touch Pro, que l'on voit brièvement dans la vidéo.
Avec l'accès aux caméras, il serait possible de suivre l'aspirateur sans avoir besoin de contrôleurs. Comme les développeurs disposent déjà de données sur les sols et les espaces, l'accès aux caméras est le seul ingrédient manquant.
Application de réalité mixte sur Quest 3 - "Pencil" (crayon)
Cette application est particulièrement intéressante. J'ai d'ailleurs eu l'occasion de l'essayer moi-même ! J'ai dessiné l'un des dessins proposés et... bon, ce n'était pas un chef-d'œuvre. Mais bon, il était bien plus beau quand j'ai utilisé cette application que quand je l'ai fait sans. (Et non, je ne vais pas montrer ce dessin).
Cette application permet d'apprendre à dessiner, comme le montre la vidéo sur Twitter. Son fonctionnement est simple : elle suit une feuille de papier A4 sur laquelle se trouve un contrôleur et ajoute une couche pour aider l'utilisateur à l'aligner sur la vraie feuille de papier. S'ils avaient accès à une caméra, les développeurs pourraient suivre la feuille de papier elle-même, ce qui faciliterait grandement le processus. Actuellement, le contrôleur peut se déplacer, ce qui entraîne un décalage de la feuille de papier virtuelle, susceptible de provoquer un décalage entre le dessin réel et le dessin virtuel. L'accès à une caméra éliminerait ce problème.
"World Skins" - Transformez votre monde avec l'IA et l'AR
Ce qui intrigue dans cet exemple, c'est la façon dont il utilise l'IA et l'accès aux caméras pour transformer le monde entier autour de vous. Bien qu'il ne s'agisse pour l'instant que d'un concept, c'est quelque chose d'extrêmement intéressant. Nous pourrions discuter des risques potentiels, comme ce qui se passerait si quelqu'un n'était pas prudent, mais ce qui est plus important, c'est la possibilité même de créer quelque chose comme ça. Pour une expérience plus sûre, mais tout aussi impressionnante, imaginez que vous appliquiez le même concept à votre propre maison : la transformer pour qu'elle ressemble à une jungle ou à un vaisseau spatial, avec une vue sur l'espace à travers vos fenêtres.
Quel est l'avantage de cette technologie par rapport à la réalité virtuelle ? L'un des avantages pourrait être la possibilité de voir vos meubles ou les personnes qui se déplacent autour de vous. Un autre avantage est la possibilité de l'utiliser à l'extérieur, par exemple dans le jardin - une zone qui reste à l'abri des dangers tels que les voitures, mais qui pourrait être grandement améliorée par l'utilisation de l'IA.
Assistant IA
Les grands modèles linguistiques (LLM) s'améliorent rapidement. Par exemple, celui présenté dans le GPT-4o peut "comprendre" votre environnement et votre contexte, fournissant ainsi une assistance très utile en cas de besoin.
Si les développeurs donnaient accès aux caméras aux lunettes de réalité mixte et aux lunettes de réalité augmentée, ils pourraient utiliser leurs modèles formés pour les aider. Par exemple, lorsque vous rencontrez un problème avec un robinet et que vous avez besoin de l'aide d'un plombier, vous pourriez potentiellement régler le problème vous-même. Comment ? Tout simplement en regardant l'installation et en demandant à l'IA de vous aider. Avec l'accès à une caméra, l'IA aurait un accès immédiat à ce que vous voyez, ce qui augmenterait considérablement sa capacité à comprendre la situation et à fournir une aide efficace.
Les exemples de ce type sont innombrables, et nombre d'entre eux n'ont même pas encore été inventés. Ils pourraient devenir réalité si les développeurs avaient accès aux caméras des lunettes VR/AR.
Fascinant projet de recherche AR Meta Reality Lab
Il s'agit d'une démonstration très intéressante de Meta Reality Labs. Elle permet à l'utilisateur de manipuler la réalité, non seulement en ajoutant des éléments virtuels, mais aussi en modifiant les éléments existants. Par exemple, vous pouvez déplacer des objets dans le monde réel et les lunettes modifient la texture et les couleurs du mur derrière eux, créant ainsi un mur virtuel censé imiter le mur réel derrière l'objet déplacé.
Ce mur virtuel est une approximation, il n'est donc pas identique au mur réel, mais il y a beaucoup de place pour l'amélioration. Le développeur à l'origine du projet a indiqué qu'une numérisation minutieuse et une planification préalable de chaque objet ont été nécessaires pour la démonstration. Cependant, avec l'accès aux caméras et aux modèles d'IA avancés, nous pouvons imaginer le rendu de tout cela en temps réel, ce qui élèverait la convivialité de la réalité mixte à un tout autre niveau.
Changer dynamiquement le monde qui vous entoure - Aldiffusion API
Le prototype présenté ici est une démonstration des possibilités offertes par l'IA. Il n'y a pas grand-chose à décrire : vous touchez quelque chose dans votre chambre et vos mains (ou votre corps) se transforment pour correspondre à ce que vous avez touché. Est-ce un gadget ? Oui, sans aucun doute. Cependant, des idées comme celles-ci pourraient évoluer vers quelque chose de plus grand et de beaucoup plus utile !
AR pour l'emballage
Et si, à l'avenir, vous entriez dans un magasin avec vos lunettes AR et que chaque produit que vous voyiez était animé de manière créative ? Cela pourrait être accablant, et je ne peux pas imaginer que quelqu'un apprécierait de voir des centaines de produits sur des étagères qui bougent. Mais si vous pouviez vous concentrer sur un produit, cliquer sur vos doigts et voir une animation montrant comment l'utiliser ou des recettes potentielles (selon qu'il s'agit d'un produit alimentaire ou d'autre chose), ce serait formidable.
Il y a sans doute des avantages considérables à en tirer. Bien sûr, pour fonctionner, il faudrait avoir accès à des caméras.
La solution de réalité augmentée "Try-On" de Gucci
Un autre exemple intéressant d'utilisation de la RA nécessitant l'accès à l'appareil photo est la fonction d'essayage. Vous pouvez déjà le faire sur votre téléphone, mais il n'est pas très bien pris en charge. Avec un appareil capable de modifier la réalité de manière utile, les développeurs pourraient étendre des fonctions comme celle-ci. Personnellement, je l'utiliserais certainement pour voir à quoi ressemblent les chaussures à mes pieds avant de les acheter, sans avoir à me rendre au magasin !
Il en va de même lorsque vous vous regardez dans le miroir et que des lunettes vous permettent de voir votre corps. Vous pourriez ainsi vérifier si certains vêtements vous vont bien. Il existe déjà des applications qui font quelque chose de ce genre, mais rien ne vaut le fait de voir l'image directement de votre point de vue sur vos lunettes ou vos goggles.
Il existe de nombreux autres exemples comme ceux cités ci-dessus, mais je pense que celui que j'ai donné donne une bonne image de ce qui est possible. The Met et Apple s'apprêtent lentement à donner aux développeurs l'accès aux caméras de leurs lunettes. On peut prédire que si cela se produit, ce sera le moment où une masse d'applications innovantes, créatives et utiles pour la réalité mixte émergeront.
