Wraz ze wzrostem popularności zestawów gogli Mieszanej Rzeczywistości, dostęp do kamer w goglach stał się jedną z najbardziej pożądanych funkcji dla deweloperów. W ostatnim wywiadzie, CTO firmy Meta zasugerował możliwość włączenia tej funkcji w przyszłości.
Na pewno posiadasz smartfon. Ale czy zdajesz sobie sprawę, że jego kamery są dostępne dla deweloperów? Innymi słowy – niektóre aplikacje mogą widzieć dokładnie to co widzą kamery w twoim telefonie. Oczywiście, kiedy otwierasz aplikację korzystającą z kamer, zostaniesz poproszony o pozwolenie, więc deweloperzy nie mogą uzyskać do niej dostępu kiedy tylko chcą. To dobrze, ponieważ ludzie są naturalnie ostrożni w kwestii dostępu do kamer ze względu na obawy o prywatność. Jednakże, jest to problem, który został w dużej mierze rozwiązany w smartfonach.
Smartfony mają swoją wersję rozszerzonej rzeczywistości, ale najnowsze gogle Mieszanej Rzeczywistości (i przyszłe okulary) oferują znacznie lepsze doświadczenie niż to co jest możliwe na telefonach – Możesz wchodzić w interakcję z wirtualną zawartością za pomocą rąk lub kontrolerów i widzieć ją w pełnym 6-DoF w swojej przestrzeni. Mimo tej znacznej przewagi nad AR w smartfonach, obecnie deweloperzy nie mogą wykorzystać jej pełnego potencjału z powodu braku dostępu do kamer na goglach.
W wywiadzie między Matthew Ballem a Andrew Bosworthem (CTO firmy Meta), Bosworth zasugerował, że dostęp do kamer może ostatecznie pojawić się w goglach Quest. Wyraził ekscytację możliwościami, jakie ta funkcja otworzyłaby dla deweloperów, ale zauważył, że Meta przyjęła konserwatywne podejście do dostępu do kamer ze względu na obawy o prywatność. Biorąc pod uwagę historię Mety ze skandalami dotyczącymi prywatności, ta ostrożność jest zrozumiała. Jednakże, w miarę jak branża Mixed Reality rośnie i z Apple już pozwalającym na dostęp do kamery dla deweloperów korporacyjnych na visionOS 2 (co sugeruje, że może to ostatecznie być dostępne dla zwykłych deweloperów), Meta może być zmuszona pójść w ich ślady.
Poniżej znajduje się kilka przykładów aplikacji Mieszanej/Rozszerzonej Rzeczywistości wykorzystujących dostęp do kamery. Niektóre są tylko pomysłami, podczas gdy inne to ukończone projekty, które funkcjonują dzięki (czasem niewygodnym) obejściom bez bezpośredniego dostępu do kamer. Włączenie tego dostępu mogłoby uczynić te aplikacje znacznie bardziej przyjazne dla użytkownika.
Zwycięzca Meta AR Hackathon – „Flaivor”
Flaivor to asystent kulinarny napędzany sztuczną inteligencją, który na podstawie zdjęć przedmiotów w twojej lodówce (lub dowolnego innego zdjęcia dostępnych produktów spożywczych) podaje przepisy zawierające sfotografowane składniki. Ma także funkcję ustawiania minutników i asystenta AI, który zapewnia pomoc i wskazówki.
Chwila, aplikacja wymaga od użytkownika zrobienie zdjęcia? To sprytny (choć nie idealny) sposób na obejście braku dostępu do kamer, co znacznie uprościłoby doświadczenie. Wyobraź sobie, że wystarczyłoby spojrzeć na swoją lodówkę i skupić się na konkretnych składnikach, które pojedyncze zdjęcie może przeoczyć — to byłoby możliwe dzięki dostępowi do kamer.
Przestrzenne Odkurzanie!
Ta koncepcyjna aplikacja jest stworzona wyłącznie dla zabawy, ale oferuje interesujący pomysł na uatrakcyjnienie prac domowych i uczynienie ich mniej monotonnymi. Zawiera funkcje takie jak zdobywanie monet w każdym nieodkurzonym miejscu i używanie różnych kolorów podłóg, aby wskazać, które części jeszcze nie zostały wyczyszczone, jak pokazano na nagraniu. Twórca osiągnął to, montując kontroler Meta Touch Pro, krótko widoczny na wideo.
Z dostępem do kamer możliwe byłoby śledzenie odkurzacza bez potrzeby używania kontrolerów. Ponieważ dane o podłodze i przestrzeni są już dostępne dla deweloperów, dostęp do kamer jest jedynym brakującym składnikiem.
Aplikacja Mixed Reality na Quest 3 – „Pencil”
Ta aplikacja jest szczególnie interesująca. Ba, miałem okazję sam ją wypróbować! Narysowałem jeden z dostępnych rysunków, i… no, arcydzieło to nie było. Ale hej, wyglądał znacznie lepiej, gdy używałem tej aplikacji niż gdy robiłem to bez niej. (I nie, nie pokażę tego rysunku.)
Ta aplikacja uczy rysowania, właśnie tak, jak pokazano na wideo na Twitterze. To, co robi, jest proste: śledzi kartkę papieru formatu A4 z kontrolerem na górze i dodaje warstwę, która pomaga użytkownikowi wyrównać ją z prawdziwą kartką papieru. Z dostępem do kamery deweloperzy mogliby śledzić samą kartkę papieru, co znacznie ułatwiłoby proces. Obecnie kontroler może się przesunąć, powodując przesunięcie się wirtualnej kartki papieru, co potencjalnie może spowodować niezgodność rzeczywistego i wirtualnego rysunku. Dostęp do kamery wyeliminowałby ten problem.
„World Skins” – Transformuj swój świat dzięki AI i AR
Intrygujące w tym przykładzie jest to jak wykorzystuje ona AI i dostęp do kamery do transformacji całego świata wokół ciebie. Chociaż obecnie jest to tylko koncepcja, jest to coś niezmiernie interesującego. Moglibyśmy dyskutować tu o potencjalnych ryzykach – Jak na przykład co by się stało gdyby ktoś nie był ostrożny, ale ważniejszy jest sam fakt możliwośći stworzenai czegoś takiego. Dla bezpieczniejszego, ale równie imponującego doświadczenia, wyobraź sobie zastosowanie tego samego konceptu w swoim własnym domu: przekształcanie go tak, aby przypominał dżunglę lub statek kosmiczny wraz z widokiem na kosmos przez twoje okna.
Jaka jest korzyść z używania tego nad Wirtualną Rzeczywistością? Cóż, jedną z zalet może być możliwość zobaczenia swoich mebli lub osób poruszających się wokół ciebie. Inną korzyścią jest potencjał do używania go na zewnątrz, na przykład w ogrodzie – obszarze, który pozostaje bezpieczny przed zagrożeniami, takimi jak samochody, ale mógłby być znacznie wzbogacony dzięki użyciu AI.
Asystent AI
Duże Modele Językowe (LLM) szybko się poprawiają. Na przykład ten pokazany w GPT-4o może „rozumieć” twoje otoczenie i kontekst, tym samym zapewniając wysoce użyteczną pomoc, gdy jest to potrzebne.
Gdyby gogle Mieszanej Rzeczywistości i okulary AR otrzymały dostęp do kamer dla deweloperów, mogłyby wykorzystać swoje wyszkolone modele do pomocy. Na przykład, gdy napotkasz problem z kranem i potrzebujesz pomocy hydraulika, mogłbyś potencjalnie poradzić sobie z problemem samodzielnie. Jak? Wystarczy spojrzeć na instalację i poprosić AI o pomoc. Z dostępem do kamery, AI miałoby natychmiastowy dostęp do tego, co widzisz, znacznie zwiększając jego zdolność do zrozumienia sytuacji i zapewnienia skutecznego wsparcia.
Przykłady takie jak te są nieograniczone, a wiele z nich nawet jeszcze nie zostało wymyślonych. Mogłyby stać się rzeczywistością, gdyby deweloperzy mieli dostęp do kamer w goglach VR/AR.
Fascynujący projekt badawczy AR Meta Reality Lab
To bardzo fajna demonstracja z Meta Reality Labs. Pozwala użytkownikowi manipulować rzeczywistością, nie tylko dodając wirtualne elementy, ale także zmieniając istniejące. Na przykład możesz przesuwać obiekty w rzeczywistym świecie, a gogle zmienia teksturę i kolory ściany za nimi, tworząc wirtualną ściane która ma imitować prawdziwą ścianę za przesuniętym obiektem.
Ta wirtualna ściana to przybliżenie, więc nie jest identyczna z rzeczywistą, ale jest tu spore pole do popisu jeżeli chodzi o poprawę. Deweloper stojący za projektem wspomniał, że staranne skanowanie i wstępne planowanie każdego obiektu były konieczne dla demonstracji. Jednakże, z dostępem do kamer i zaawansowanymi modelami AI, możemy wyobrazić sobie renderowanie tego wszystkiego w czasie rzeczywistym, co podniosłoby użyteczność Mieszanej Rzeczywistości na zupełnie nowy poziom.
Zmienianie dynamicznie świata wokół ciebie – Aldiffusion API
Prototyp pokazany tutaj to demonstracja możliwości napędzana przez AI. Nie ma zbyt wiele do opisania – dotykasz czegoś w swoim pokoju, a twoje ręce (lub ciało) zmieniają się, aby pasować do tego, czego dotknąłeś. Czy to gadżet? Tak, zdecydowanie. Natomiast pomysły takie jak te mogą ewoluować w coś większego i znacznie bardziej użytecznego!
AR dla opakowań
Co by było, gdybyś w przyszłości wszedł do sklepu ze swoimi okularami AR, a każdy produkt, który widzisz, miałby kreatywną animację? To mogłoby być przytłaczające, i nie wyobrażam sobie, że komuś podobałoby się widzenie setek produktów na półkach, które się poruszają. Ale gdybyś mógł skupić się na produkcie, kliknąć palcami i zobaczyć animację pokazującą, jak go używać lub pokazać potencjalne przepisy z jego użyciem (w zależności od tego, czy jest to produkt spożywczy czy coś innego), to byłoby niesamowite.
Bezsprzecznie widać spore korzyści płynące z tego. Oczywiście, wymagałoby to dostępu do kamer, aby działać.
Rozwiązanie „Try-On” w rozszerzonej rzeczywistości od Gucci
Kolejny interesujący przykład użycia AR wymagający dostępu do kamery to funkcja „przymierzania”. Możesz już to robić na swoim telefonie, ale nie jest to dobrze wspierane. Z urządzeniem zdolnym do zmiany rzeczywistości w użyteczny sposób już na twojej głowie, deweloperzy mogliby rozszerzyć funkcje tego typu. Osobiście na pewno używałbym tego, aby zobaczyć, jak buty wyglądają na moich stopach przed ich zakupem, bez potrzeby udawania się do sklepu!
To samo mogłoby dotyczyć patrzenia w lustro, gdy gogle lub okulary widzą twoje ciało. Mógłbyś sprawdzić, czy pewne ubrania dobrze na tobie leżą. Już istnieją aplikacje, które coś takiego robią, ale nic nie przebije bezpośredniego widzenia obrazu z twojego punktu widzenia na okularach lub goglach.
Istnieje jeszcze wiele więcej przykładów, takich jak te powyżej, ale sądzę, że te która podałem dają dobry obraz tego, co jest możliwe. Meta i Apple powoli zmierzają do umożliwienia deweloperom dostępu do kamer w swoich goglach. Można przewidzieć, że jeśli to nastąpi, będzie to moment, gdy pojawi się masa innowacyjnych, kreatywnych i użytecznych aplikacji dla Mieszanej Rzeczywistości.
