С нарастването на популярността на комплектите очила за смесена реалност достъпът до камерите на очилата се превърна в една от най-търсените от разработчиците функции. В неотдавнашно интервю главният технически директор на Meta предложи възможността за включване на тази функция в бъдеще.
Със сигурност притежавате смартфон. Но знаете ли, че камерите му са достъпни за разработчици? С други думи - някои приложения могат да виждат точно това, което виждат камерите на телефона ви. Разбира се, когато отворите приложение, което използва камери, ще ви бъде поискано разрешение, така че разработчиците не могат да имат достъп до тях, когато пожелаят. Това е добре, тъй като хората естествено са предпазливи по отношение на достъпа до камерата поради опасения за неприкосновеността на личния живот. Това обаче е проблем, който до голяма степен е решен при смартфоните.
Смартфоните имат собствена версия на разширената реалност, но най-новите очила за смесена реалност (и бъдещите очила) предлагат много по-добро изживяване от това, което е възможно на телефоните - можете да взаимодействате с виртуално съдържание с помощта на ръцете си или контролери и да го виждате в пълен 6-DoF размер във вашето пространство. Въпреки това значително предимство пред AR на смартфоните, понастоящем за разработчиците е невъзможно да използват пълния му потенциал поради липсата на достъп до камерите на очилата.
W интервю между Матю Бол и Андрю Босуърт (главен технически директор на Meta), Босуърт предполага, че достъпът до камерата може да се появи в очилата Quest. Той изрази въодушевление от възможностите, които тази функция ще открие пред разработчиците, но отбеляза, че Meta е възприела консервативен подход към достъпа до камерата поради опасения за неприкосновеността на личния живот. Като се има предвид историята на Meta със скандали, свързани с поверителността, тази предпазливост е разбираема. Въпреки това, с разрастването на индустрията за смесена реалност и след като Apple вече позволява достъп до камерата за корпоративни разработчици на VisionOS 2 (което подсказва, че в крайна сметка може да бъде на разположение на обикновените разработчици), може да се наложи Meta да последва примера им.
По-долу са дадени няколко примера за приложения за смесена/разширена реалност, които използват достъп до камерата. Някои от тях са само идеи, а други са завършени проекти, които функционират чрез (понякога неудобни) обходни пътища без пряк достъп до камерата. Включването на този достъп може да направи тези приложения много по-удобни за ползване.
Победител в хакатона Meta AR - "Flaivor"
Flaivor е асистент за готвене с изкуствен интелект, който въз основа на снимки на продукти в хладилника ви (или на всяка друга снимка на налична храна) предлага рецепти, включващи заснетите съставки. Той също така има функция за задаване на таймер и асистент с изкуствен интелект, който предоставя помощ и насоки.
Чакайте, приложението изисква от потребителя да направи снимка? Това е умен (макар и не идеален) начин да се заобиколи липсата на достъп до камерата, което би направило работата много по-проста. Представете си, че всичко, което трябва да направите, е да погледнете хладилника си и да се съсредоточите върху конкретни съставки, които една снимка може да пропусне - това би било възможно с достъп до камерата.
Вакуумиране на пространството!
Това концептуално приложение е създадено единствено за забавление, но предлага интересна идея за превръщане на домакинската работа в по-интересна и по-малко монотонна. То включва функции като събиране на монети за всяко неизчистено с прахосмукачка място и използване на различни цветове на пода, за да се посочи кои части все още не са почистени, както е показано във видеото. Разработчикът е постигнал това чрез монтиране на контролера Meta Touch Pro, който се вижда за кратко във видеото.
С достъп до камери ще бъде възможно да се проследява прахосмукачката, без да са необходими контролери. Тъй като данните за пода и пространството вече са на разположение на разработчиците, достъпът до камерата е единствената липсваща съставка.
Приложение за смесена реалност в Quest 3 - "Молив"
Това приложение е особено интересно. Всъщност имах възможност да го изпробвам сам! Нарисувах една от наличните рисунки и... е, не беше шедьовър. Но хей, изглеждаше много по-добре, когато използвах това приложение, отколкото когато го направих без него. (И не, няма да покажа тази рисунка.)
Това приложение учи на рисуване, точно както е показано във видеоклипа в Twitter. Това, което прави, е просто: проследява лист хартия А4 с контролер отгоре и добавя слой, за да помогне на потребителя да го подравни с истинския лист хартия. С достъп до камера разработчиците биха могли да проследят самия лист хартия, което би улеснило процеса. Понастоящем контролерът може да се движи, което води до изместване на виртуалния лист хартия, което може да доведе до несъответствие между реалния и виртуалния чертеж. Достъпът до камерата би премахнал този проблем.
"Кожи на света" - преобразете света си с помощта на AI и AR
Интригуващото в този пример е как той използва изкуствен интелект и достъп до камерата, за да преобрази целия свят около вас. Въпреки че в момента е само концепция, това е нещо изключително интересно. Можем да обсъдим потенциалните рискове тук - например какво би се случило, ако някой не внимава, но по-важна е самата възможност за създаване на нещо подобно. За по-безопасно, но също толкова впечатляващо изживяване, представете си да приложите същата концепция към собствения си дом: да го трансформирате така, че да прилича на джунгла или космически кораб, с гледка към космоса през прозорците.
Какви са предимствата на тази технология пред виртуалната реалност? Е, едно от предимствата може да бъде възможността да виждате мебелите или хората, които се движат около вас. Друга полза е възможността да се използва на открито, например в градината - област, която остава защитена от опасности като автомобили, но може да бъде значително подобрена чрез използване на изкуствен интелект.
AI асистент
Големите езикови модели (LLM) бързо се усъвършенстват. Например този, показан в GPT-4o, може да "разбере" вашата среда и контекст, като по този начин предоставя изключително полезна помощ, когато е необходимо.
Ако очилата за смесена реалност и очилата за разширена реалност получат достъп до камери за разработчиците, те биха могли да използват своите обучени модели, за да помогнат. Например, когато се сблъскате с проблем с кран и имате нужда от помощта на водопроводчик, потенциално бихте могли да се справите с проблема сами. Как? Просто като погледнете инсталацията и помолите изкуствения интелект да ви помогне. С достъп до камера ИИ ще има незабавен достъп до това, което виждате, което значително увеличава способността му да разбере ситуацията и да осигури ефективна помощ.
Подобни примери са безкрайни, а много от тях дори още не са измислени. Те биха могли да се превърнат в реалност, ако разработчиците имат достъп до камерите в очилата за VR/AR.
Завладяващ изследователски проект на лабораторията за метареалност AR
Това е много интересна демонстрация от Meta Reality Labs. Тя позволява на потребителя да манипулира реалността, като не само добавя виртуални елементи, но и променя съществуващите. Например можете да премествате обекти в реалния свят и очилата променят текстурата и цветовете на стената зад тях, създавайки виртуална стена, която има за цел да имитира реалната стена зад преместения обект.
Тази виртуална стена е приблизителна, така че не е идентична с истинската, но тук има много възможности за подобрение. Разработчикът, който стои зад проекта, споменава, че за демонстрацията е било необходимо внимателно сканиране и предварително планиране на всеки обект. С достъпа до камери и усъвършенствани модели с изкуствен интелект обаче можем да си представим визуализирането на всичко това в реално време, което би издигнало използваемостта на смесената реалност на съвсем ново ниво.
Динамична промяна на света около вас - Aldiffusion API
Показаният тук прототип е демонстрация на възможностите, задвижвана от изкуствен интелект. Не е нужно много да се описва - докосвате нещо в стаята си и ръцете (или тялото) ви се променят в съответствие с това, което сте докоснали. Дали това е джаджа? Да, определено. Подобни идеи обаче могат да се развият в нещо по-голямо и много по-полезно!
AR за опаковки
Какво ще стане, ако в бъдеще влезете в магазин с очилата си за разширена реалност и всеки продукт, който видите, има креативна анимация? Това може да бъде зашеметяващо и не мога да си представя, че на някого би му харесало да вижда стотици продукти по рафтовете, които се движат. Но ако можехте да се фокусирате върху даден продукт, да щракнете с пръсти и да видите анимация, показваща как да го използвате или да покажете потенциални рецепти с него (в зависимост от това дали е хранителен продукт или нещо друго), това би било невероятно.
Несъмнено са налице значителни ползи. Разбира се, за да работи, е необходим достъп до камери.
Решение за добавена реалност "Try-On" от Gucci
Друг интересен пример за използване на AR, който изисква достъп до камерата, е функцията "проба". Вече можете да направите това на телефона си, но не се поддържа добре. С устройство, способно да променя реалността по полезен начин, което вече е на главата ви, разработчиците биха могли да разширят подобни функции. Лично аз определено бих използвал това, за да видя как изглеждат обувките на краката ми, преди да ги купя, без да се налага да ходя до магазина!
Същото може да се отнася и за гледането в огледалото, когато очилата ви виждат тялото ви. Бихте могли да проверите дали определени дрехи ви стоят добре. Вече има приложения, които правят нещо подобно, но нищо не може да се сравни с това да виждате изображението директно от вашата гледна точка върху очилата или очилата.
Има още много примери като тези по-горе, но мисля, че този, който дадох, дава добра представа за това какво е възможно. Метрополитен и Apple бавно се насочват към предоставяне на достъп на разработчиците до камерите в техните очила. Можем да прогнозираме, че ако това се случи, ще настъпи моментът, в който ще се появят маса иновативни, креативни и полезни приложения за Mixed Reality.
