Con el aumento de la popularidad de los kits de gafas de Realidad Mixta, el acceso a las cámaras de las gafas se ha convertido en una de las funciones más solicitadas por los desarrolladores. En una entrevista reciente, el CTO de Meta sugirió la posibilidad de incluir esta función en el futuro.
Seguro que tienes un smartphone. Pero, ¿sabías que sus cámaras están a disposición de los desarrolladores? En otras palabras: algunas aplicaciones pueden ver exactamente lo que ven las cámaras de tu teléfono. Por supuesto, cuando abras una aplicación que utilice cámaras, se te pedirá permiso, así que los desarrolladores no pueden acceder a ellas cuando quieran. Esto es bueno, ya que la gente desconfía del acceso a la cámara por cuestiones de privacidad. Sin embargo, este es un problema que se ha resuelto en gran medida en los smartphones.
Los teléfonos inteligentes tienen su propia versión de la realidad aumentada, pero las últimas gafas de realidad mixta (y las futuras) ofrecen una experiencia mucho mejor que la que es posible en los teléfonos: puedes interactuar con contenidos virtuales utilizando tus manos o mandos y verlos en 6-DoF completos en tu espacio. A pesar de esta importante ventaja sobre la RA en los smartphones, actualmente es imposible que los desarrolladores exploten todo su potencial debido a la falta de acceso a las cámaras de las gafas.
W entrevista entre Matthew Ball y Andrew Bosworth (director de tecnología de Meta), Bosworth sugirió que el acceso a la cámara podría acabar apareciendo en las gafas Quest. Expresó su entusiasmo por las posibilidades que esta función abriría a los desarrolladores, pero señaló que Meta ha adoptado un enfoque conservador con respecto al acceso a la cámara por motivos de privacidad. Dada la historia de Meta con los escándalos de privacidad, esta cautela es comprensible. Sin embargo, a medida que crece el sector de la Realidad Mixta y con Apple permitiendo ya el acceso a la cámara a los desarrolladores corporativos en la visionOS 2 (lo que sugiere que podría llegar a estar disponible para los desarrolladores ordinarios), Meta podría tener que seguir su ejemplo.
A continuación se muestran varios ejemplos de aplicaciones de Realidad Mixta/Aumentada que utilizan el acceso a la cámara. Algunas son solo ideas, mientras que otras son proyectos terminados que funcionan mediante soluciones (a veces incómodas) sin acceso directo a la cámara. Incluir este acceso podría hacer que estas aplicaciones fueran mucho más fáciles de usar.
Ganador del Meta AR Hackathon - "Flaivor"
Flaivor es un asistente de cocina basado en inteligencia artificial que, a partir de fotos de los alimentos de la nevera (o de cualquier otra foto de alimentos disponibles), ofrece recetas que incluyen los ingredientes fotografiados. También cuenta con una función de temporizador y un asistente de IA que proporciona ayuda y orientación.
Espera, ¿la aplicación requiere que el usuario haga una foto? Es una forma inteligente (aunque no ideal) de sortear la falta de acceso a la cámara, lo que simplificaría mucho la experiencia. Imagina que todo lo que tuvieras que hacer fuera mirar tu nevera y centrarte en ingredientes específicos que una simple foto podría pasar por alto: esto sería posible con acceso a la cámara.
Aspiración espacial
Esta aplicación conceptual está pensada para divertirse, pero ofrece una idea interesante para hacer las tareas domésticas más interesantes y menos monótonas. Incluye funciones como anotar monedas por cada lugar no aspirado y utilizar diferentes colores de suelo para indicar qué partes aún no se han limpiado, como se muestra en el vídeo. El desarrollador lo ha conseguido montando el mando Meta Touch Pro, que se ve brevemente en el vídeo.
Con acceso a las cámaras, sería posible seguir la aspiradora sin necesidad de controladores. Como los desarrolladores ya disponen de datos sobre el suelo y el espacio, el acceso a las cámaras es el único ingrediente que falta.
Aplicación de Realidad Mixta en Quest 3 - "Lápiz"
Esta aplicación es especialmente interesante. De hecho, ¡yo mismo tuve la oportunidad de probarla! Hice uno de los dibujos disponibles y... bueno, no era una obra maestra. Pero oye, quedó mucho mejor cuando usé esta aplicación que cuando lo hice sin ella. (Y no, no voy a enseñar ese dibujo).
Esta app enseña a dibujar, tal y como se muestra en el vídeo de Twitter. Lo que hace es sencillo: rastrea una hoja de papel A4 con un controlador encima y añade una capa para ayudar al usuario a alinearla con la hoja de papel real. Con acceso a una cámara, los desarrolladores podrían rastrear la propia hoja de papel, lo que facilitaría mucho el proceso. En la actualidad, el controlador puede moverse y hacer que la hoja de papel virtual se desplace, lo que podría provocar un desajuste entre el dibujo real y el virtual. El acceso a una cámara eliminaría este problema.
"World Skins" - Transforma tu mundo con IA y RA
Lo intrigante de este ejemplo es cómo utiliza la IA y el acceso a la cámara para transformar todo el mundo que te rodea. Aunque de momento es sólo un concepto, se trata de algo sumamente interesante. Podríamos hablar de los riesgos potenciales, como lo que ocurriría si alguien no tuviera cuidado, pero lo más importante es la posibilidad de crear algo así. Para una experiencia más segura, pero igualmente impresionante, imagina aplicar el mismo concepto a tu propia casa: transformarla para que parezca una selva o una nave espacial, con vistas al espacio a través de las ventanas.
¿Cuál es la ventaja de utilizar esto en lugar de la realidad virtual? Una de ellas podría ser la posibilidad de ver los muebles o las personas que se mueven a nuestro alrededor. Otra ventaja es la posibilidad de utilizarlo en el exterior, por ejemplo en el jardín, una zona que sigue estando a salvo de peligros como los coches, pero que podría mejorarse enormemente con el uso de la IA.
Asistente de IA
Los grandes modelos lingüísticos (LLM) están mejorando rápidamente. Por ejemplo, el que se muestra en GPT-4o puede "entender" su entorno y contexto, proporcionando así una ayuda muy útil cuando se necesita.
Si las gafas de realidad mixta y las gafas de realidad aumentada tuvieran acceso a cámaras para desarrolladores, podrían utilizar sus modelos entrenados para ayudar. Por ejemplo, cuando te encuentres con un problema en un grifo y necesites la ayuda de un fontanero, podrías solucionar el problema tú mismo. ¿Cómo? Simplemente mirando la instalación y pidiendo ayuda a la IA. Con acceso a una cámara, la IA tendría acceso inmediato a lo que ves, lo que aumentaría enormemente su capacidad para comprender la situación y prestar una ayuda eficaz.
Los ejemplos de este tipo son infinitos, y muchos ni siquiera se han inventado todavía. Podrían hacerse realidad si los desarrolladores tuvieran acceso a las cámaras de las gafas VR/AR.
Fascinante proyecto de investigación AR Meta Reality Lab
Esta es una demostración muy chula de Meta Reality Labs. Permite al usuario manipular la realidad, no sólo añadiendo elementos virtuales sino también cambiando los existentes. Por ejemplo, se pueden mover objetos en el mundo real y las gafas cambian la textura y los colores de la pared que hay detrás, creando una pared virtual que pretende imitar la pared real que hay detrás del objeto movido.
Esta pared virtual es una aproximación, por lo que no es idéntica a la real, pero aquí hay mucho margen de mejora. El desarrollador del proyecto mencionó que para la demostración fue necesario escanear cuidadosamente y planificar previamente cada objeto. Sin embargo, con el acceso a cámaras y modelos avanzados de IA, podemos imaginar la representación de todo esto en tiempo real, lo que elevaría la usabilidad de la Realidad Mixta a un nivel completamente nuevo.
Cambiar dinámicamente el mundo que le rodea - API Aldiffusion
El prototipo que se muestra aquí es una demostración de las posibilidades de la inteligencia artificial. No hay mucho que describir: tocas algo en tu habitación y tus manos (o tu cuerpo) cambian para adaptarse a lo que has tocado. ¿Es un gadget? Sí, sin duda. Sin embargo, ideas como ésta podrían convertirse en algo más grande y mucho más útil.
AR para envases
¿Y si, en el futuro, entraras en una tienda con tus gafas de realidad aumentada y cada producto que vieras tuviera una animación creativa? Podría ser abrumador, y no me imagino a nadie disfrutando viendo cientos de productos en estanterías que se mueven. Pero si pudieras centrarte en un producto, chasquear los dedos y ver una animación que mostrara cómo usarlo o mostrara posibles recetas usándolo (dependiendo de si es un producto alimenticio o algo más), sería increíble.
No cabe duda de que las ventajas son considerables. Por supuesto, haría falta tener acceso a las cámaras para que funcionara.
Solución de realidad aumentada "Try-On" de Gucci
Otro ejemplo interesante de uso de la realidad aumentada que requiere acceso a la cámara es la función "probarse". Esto ya se puede hacer en el teléfono, pero no está bien soportado. Con un dispositivo capaz de alterar la realidad de forma útil ya en la cabeza, los desarrolladores podrían ampliar funciones como ésta. Personalmente, lo utilizaría para ver cómo me quedan los zapatos en los pies antes de comprarlos, ¡sin tener que ir a la tienda!
Lo mismo podría aplicarse a mirarse en el espejo con gafas o anteojos para ver su cuerpo. Podrías comprobar si determinada ropa te sienta bien. Ya hay apps que hacen algo parecido, pero nada mejor que ver la imagen directamente desde tu punto de vista en las gafas o anteojos.
Hay muchos más ejemplos como los anteriores, pero creo que el que he dado da una buena idea de lo que es posible. El Met y Apple están avanzando lentamente hacia la concesión a los desarrolladores de acceso a las cámaras de sus gafas. Se puede predecir que, si esto ocurre, será el momento en que surja una masa de aplicaciones innovadoras, creativas y útiles para la Realidad Mixta.
