S rostoucí popularitou sad pro smíšenou realitu se přístup ke kamerám brýlí stal jednou z nejžádanějších funkcí pro vývojáře. V nedávném rozhovoru technický ředitel společnosti Meta naznačil možnost zahrnutí této funkce v budoucnu.
Určitě vlastníte chytrý telefon. Ale uvědomili jste si, že jeho fotoaparáty jsou k dispozici vývojářům? Jinými slovy - některé aplikace mohou vidět přesně to, co vidí fotoaparáty vašeho telefonu. Samozřejmě, že když otevřete aplikaci, která používá fotoaparáty, budete požádáni o povolení, takže vývojáři k nim nemohou přistupovat, kdykoli se jim zachce. To je dobře, protože lidé se přirozeně obávají přístupu k fotoaparátům kvůli obavám o soukromí. Tento problém je však u chytrých telefonů z velké části vyřešen.
Chytré telefony mají svou vlastní verzi rozšířené reality, ale nejnovější brýle pro smíšenou realitu (a budoucí brýle) nabízejí mnohem lepší zážitek, než jaký je možný na telefonech - s virtuálním obsahem můžete interagovat pomocí rukou nebo ovladačů a vidět ho v plném rozsahu 6-DoF ve svém prostoru. Navzdory této významné výhodě oproti rozšířené realitě v chytrých telefonech nemohou vývojáři v současné době využít její plný potenciál kvůli nedostatečnému přístupu ke kamerám na brýlích.
W rozhovor mezi Matthewem Ballem a Andrewem Bosworthem (technickým ředitelem společnosti Meta), Bosworth navrhl, že by se přístup ke kameře mohl časem objevit v brýlích Quest. Vyjádřil nadšení nad možnostmi, které by tato funkce vývojářům otevřela, ale poznamenal, že společnost Meta zaujala k přístupu ke kameře konzervativní přístup kvůli obavám o soukromí. Vzhledem k historii společnosti Meta, která se potýkala se skandály v oblasti ochrany soukromí, je tato opatrnost pochopitelná. Nicméně s tím, jak se odvětví smíšené reality rozrůstá a jak Apple již umožnil přístup ke kameře firemním vývojářům na visionOS 2 (což naznačuje, že bude nakonec k dispozici i pro běžné vývojáře), bude Meta možná muset následovat tento příklad.
Níže je uvedeno několik příkladů aplikací smíšené/rozšířené reality využívajících přístup ke kameře. Některé z nich jsou jen nápady, jiné jsou dokončené projekty, které fungují pomocí (někdy nepohodlných) řešení bez přímého přístupu ke kameře. Zahrnutí tohoto přístupu by mohlo tyto aplikace učinit mnohem uživatelsky přívětivějšími.
Vítěz hackathonu Meta AR - "Flaivor"
Flaivor je asistent pro vaření s umělou inteligencí, který na základě fotografií položek v lednici (nebo jakékoli jiné fotografie dostupných potravin) poskytuje recepty, které obsahují vyfotografované ingredience. Má také funkci nastavení časovače a asistenta AI, který poskytuje pomoc a rady.
Počkat, aplikace vyžaduje, aby uživatel pořídil fotografii? To je chytrý (i když ne ideální) způsob, jak obejít chybějící přístup k fotoaparátu, což by značně zjednodušilo používání. Představte si, že by se stačilo podívat na ledničku a zaměřit se na konkrétní ingredience, které by na jediné fotografii mohly chybět - to by bylo možné díky přístupu k fotoaparátu.
Vysávání vesmíru!
Tato koncepční aplikace je vytvořena čistě pro zábavu, ale nabízí zajímavý nápad, jak učinit domácí práce zajímavějšími a méně monotónními. Obsahuje funkce, jako je bodování mincí za každé nevysáté místo a použití různých barev podlahy k označení, které části ještě nebyly uklizeny, jak je ukázáno ve videu. Vývojář toho dosáhl montáží ovladače Meta Touch Pro, který je krátce vidět ve videu.
Díky přístupu ke kamerám by bylo možné vysavač sledovat bez nutnosti použití ovladačů. Vzhledem k tomu, že vývojáři již mají k dispozici údaje o podlaze a prostoru, chybí už jen přístup ke kamerám.
Aplikace pro smíšenou realitu v zařízení Quest 3 - "Pencil"
Tato aplikace je obzvláště zajímavá. Vlastně jsem měl možnost ji sám vyzkoušet! Nakreslil jsem jednu z dostupných kreseb a... no, nebylo to žádné mistrovské dílo. Ale co, vypadalo to mnohem lépe, když jsem použil tuto aplikaci, než když jsem to udělal bez ní. (A ne, tu kresbu neukážu.)
Tato aplikace učí kreslení, přesně jak je ukázáno ve videu na Twitteru. Její funkce je jednoduchá: sleduje list papíru A4 s ovladačem nahoře a přidává vrstvu, která uživateli pomáhá zarovnat jej se skutečným listem papíru. S přístupem ke kameře by vývojáři mohli sledovat samotný list papíru, což by celý proces značně usnadnilo. V současné době se ovladač může pohybovat, což způsobuje posun virtuálního listu papíru a potenciální nesoulad mezi skutečnou a virtuální kresbou. Přístup kamery by tento problém odstranil.
"World Skins" - Přeměň svůj svět pomocí umělé inteligence a rozšířené reality
Na tomto příkladu je zajímavé, jak využívá umělou inteligenci a přístup ke kameře k přeměně celého světa kolem vás. Ačkoli se v tuto chvíli jedná pouze o koncept, je to něco nesmírně zajímavého. Mohli bychom zde diskutovat o potenciálních rizicích - například o tom, co by se stalo, kdyby si někdo nedal pozor, ale důležitější je samotná možnost něco takového vytvořit. Pro bezpečnější, ale stejně působivý zážitek si představte, že byste stejný koncept aplikovali na svůj vlastní domov: přeměnili byste ho tak, aby připomínal džungli nebo vesmírnou loď, doplněný o výhled do vesmíru skrze okna.
Jaká je výhoda použití této technologie oproti virtuální realitě? Jednou z výhod může být možnost vidět nábytek nebo lidi, kteří se kolem vás pohybují. Další výhodou je možnost použití venku, například na zahradě - v oblasti, která zůstává bezpečná před nebezpečím, jako jsou auta, ale pomocí umělé inteligence by mohla být výrazně vylepšena.
Asistent s umělou inteligencí
Velké jazykové modely (LLM) se rychle zdokonalují. Například ten, který je zobrazen v GPT-4o, dokáže "porozumět" prostředí a kontextu, a tak v případě potřeby poskytnout velmi užitečnou pomoc.
Pokud by brýle pro smíšenou realitu a brýle pro rozšířenou realitu získaly přístup ke kamerám pro vývojáře, mohli by využít své vyškolené modely. Například když narazíte na problém s vodovodním kohoutkem a potřebujete pomoc instalatéra, mohli byste si s problémem potenciálně poradit sami. Jak? Jednoduše tím, že se podíváte na instalaci a požádáte umělou inteligenci o pomoc. Díky přístupu ke kameře by AI měla okamžitý přístup k tomu, co vidíte, což by výrazně zvýšilo její schopnost porozumět situaci a poskytnout účinnou podporu.
Takových příkladů je nekonečně mnoho a mnohé z nich ještě ani nebyly vynalezeny. Mohly by se stát realitou, kdyby vývojáři měli přístup ke kamerám v brýlích VR/AR.
Fascinující výzkumný projekt AR Meta Reality Lab
Toto je velmi zajímavá ukázka od společnosti Meta Reality Labs. Umožňuje uživateli manipulovat s realitou, nejen přidávat virtuální prvky, ale také měnit ty stávající. Můžete například pohybovat objekty v reálném světě a brýle změní texturu a barvy zdi za nimi, čímž vytvoří virtuální zeď, která má napodobovat skutečnou zeď za přesunutým objektem.
Tato virtuální zeď je přibližná, takže není totožná s tou skutečnou, ale je zde velký prostor pro zlepšení. Vývojář, který za projektem stojí, zmínil, že pro demonstraci bylo nutné pečlivé skenování a předběžné plánování každého objektu. S přístupem ke kamerám a pokročilým modelům umělé inteligence si však dokážeme představit vykreslování všeho v reálném čase, což by použitelnost Mixed Reality pozvedlo na zcela novou úroveň.
Dynamická změna světa kolem vás - Aldiffusion API
Zde uvedený prototyp je ukázkou možností, které nabízí umělá inteligence. Není moc co popisovat - dotknete se něčeho v místnosti a vaše ruce (nebo tělo) se změní podle toho, čeho jste se dotkli. Je to gadget? Ano, určitě. Podobné nápady by se však mohly vyvinout v něco většího a mnohem užitečnějšího!
AR pro balení
Co kdybyste v budoucnu vešli do obchodu s brýlemi rozšířené reality a každý výrobek, který uvidíte, měl kreativní animaci? Mohlo by to být ohromující a nedokážu si představit, že by někoho bavilo vidět stovky výrobků na regálech, které se pohybují. Ale kdybyste se mohli zaměřit na výrobek, kliknout prsty a zobrazit animaci ukazující, jak ho používat, nebo ukázat potenciální recepty s jeho použitím (podle toho, zda jde o potravinářský výrobek nebo něco jiného), bylo by to úžasné.
Nepochybně je to značný přínos. Samozřejmě, aby to fungovalo, je třeba mít přístup ke kamerám.
Řešení rozšířené reality "Try-On" od společnosti Gucci
Dalším zajímavým příkladem použití rozšířené reality, které vyžaduje přístup ke kameře, je funkce "vyzkoušení". Tu můžete provádět již v telefonu, ale není dobře podporována. Se zařízením schopným měnit realitu užitečným způsobem, které už máte na hlavě, by vývojáři mohli podobné funkce rozšířit. Osobně bych to určitě využil, abych se před koupí bot podíval, jak vypadají na nohou, aniž bych musel jít do obchodu!
Totéž by mohlo platit i pro pohled do zrcadla, kdy brýle nebo brýle vidí vaše tělo. Mohli byste si ověřit, zda vám určité oblečení dobře padne. Existují již aplikace, které něco takového umí, ale nic se nevyrovná tomu, když vidíte obraz přímo z vašeho pohledu na brýlích nebo v brýlích.
Podobných příkladů je mnohem více, ale myslím, že ten, který jsem uvedl, poskytuje dobrou představu o tom, co je možné. Met a Apple pomalu směřují k tomu, aby vývojáři získali přístup ke kamerám ve svých brýlích. Dá se předpokládat, že pokud se tak stane, bude to okamžik, kdy se objeví masa inovativních, kreativních a užitečných aplikací pro smíšenou realitu.
