Mixed Reality -lasisarjojen suosion kasvaessa lasien kameroiden käyttömahdollisuudesta on tullut yksi kehittäjien eniten toivomista ominaisuuksista. Äskettäisessä haastattelussa Metan teknologiajohtaja ehdotti, että tämä ominaisuus voitaisiin ottaa mukaan tulevaisuudessa.
Sinulla on varmasti älypuhelin. Mutta tiesitkö, että sen kamerat ovat kehittäjien käytettävissä? Toisin sanoen - jotkut sovellukset näkevät juuri sen, mitä puhelimesi kamerat näkevät. Kun avaat kameroita käyttävän sovelluksen, sinulta kysytään tietysti lupa, joten kehittäjät eivät voi käyttää kameroita milloin haluavat. Tämä on hyvä asia, sillä ihmiset ovat luonnollisesti varovaisia kameroiden käytön suhteen yksityisyyden suojaan liittyvien huolenaiheiden vuoksi. Tämä on kuitenkin ongelma, joka on suurelta osin ratkaistu älypuhelimissa.
Älypuhelimilla on oma versionsa lisätystä todellisuudesta, mutta uusimmat Mixed Reality -lasit (ja tulevat lasit) tarjoavat paljon paremman kokemuksen kuin mitä puhelimilla on mahdollista - voit olla vuorovaikutuksessa virtuaalisen sisällön kanssa käyttämällä käsiäsi tai ohjaimia ja nähdä sen täydessä 6-DoF-tilassa tilassasi. Huolimatta tästä merkittävästä edusta älypuhelimissa olevaan AR:ään verrattuna kehittäjien on tällä hetkellä mahdotonta hyödyntää koko potentiaalia, koska silmälasien kamerat eivät ole käytettävissä.
W haastattelu Matthew Ballin ja Andrew Bosworthin (Metan teknologiajohtaja) välisessä keskustelussa Bosworth ehdotti, että kameran käyttömahdollisuus voisi lopulta tulla Quest-laseihin. Hän ilmaisi olevansa innoissaan mahdollisuuksista, joita tämä ominaisuus avaisi kehittäjille, mutta totesi, että Meta on suhtautunut kameran käyttöön varovaisesti yksityisyyden suojaan liittyvien huolenaiheiden vuoksi. Kun otetaan huomioon Metan historia yksityisyysskandaaleissa, tämä varovaisuus on ymmärrettävää. Mixed Reality -teollisuuden kasvaessa ja Applen jo salliessa kameran käytön yrityskehittäjille, on kuitenkin mahdollista, että kameraa voidaan käyttää visionOS 2 (mikä viittaa siihen, että se saattaa lopulta olla tavallisten kehittäjien saatavilla), Meta saattaa joutua seuraamaan esimerkkiä.
Alla on useita esimerkkejä kameran käyttöä hyödyntävistä seka- ja lisätyn todellisuuden sovelluksista. Jotkut ovat vain ideoita, kun taas toiset ovat valmiita projekteja, jotka toimivat (joskus hankalien) kiertotapojen avulla ilman suoraa kamerayhteyttä. Kameran käyttömahdollisuus voisi tehdä näistä sovelluksista paljon käyttäjäystävällisempiä.
Meta AR Hackathonin voittaja - "Flaivor"
Flaivor on tekoälyavusteinen ruoanlaittoavustaja, joka tarjoaa jääkaapissasi olevien tavaroiden valokuvien (tai minkä tahansa muun saatavilla olevan ruoan kuvan) perusteella reseptejä, jotka sisältävät kuvatut ainesosat. Siinä on myös ajastimen asetustoiminto ja tekoälyavustaja, joka antaa apua ja opastusta.
Hetkinen, sovellus vaatii käyttäjää ottamaan valokuvan? Se on nokkela (vaikkakaan ei ihanteellinen) tapa kiertää kameran puuttuminen, mikä tekisi käyttökokemuksesta paljon yksinkertaisemman. Kuvittele, että sinun tarvitsisi vain katsoa jääkaappiasi ja keskittyä tiettyihin ainesosiin, jotka yksittäinen valokuva saattaisi jäädä huomaamatta - tämä olisi mahdollista, jos sinulla olisi pääsy kameraan.
Avaruuden imurointi!
Tämä konseptisovellus on tehty puhtaasti huvin vuoksi, mutta se tarjoaa mielenkiintoisen idean tehdä kotitöistä mielenkiintoisempia ja vähemmän yksitoikkoisia. Se sisältää ominaisuuksia, kuten kolikoiden kerääminen jokaisesta imuroimatta jääneestä kohdasta ja eri lattian värien käyttäminen osoittamaan, mitä osia ei ole vielä siivottu, kuten videolla näytetään. Kehittäjä saavutti tämän kiinnittämällä Meta Touch Pro -ohjaimen, joka näkyy lyhyesti videolla.
Kameroiden avulla olisi mahdollista seurata imuria ilman ohjaimia. Koska lattia- ja tilatiedot ovat jo nyt kehittäjien saatavilla, kameran käyttöoikeus on ainoa puuttuva osatekijä.
Mixed Reality -sovellus Quest 3:lla - "Pencil" (Kynä)
Tämä sovellus on erityisen mielenkiintoinen. Itse asiassa minulla oli tilaisuus kokeilla sitä itse! Piirsin yhden tarjolla olevista piirroksista, ja... no, ei se mikään mestariteos ollut. Mutta hei, se näytti paljon paremmalta, kun käytin tätä sovellusta, kuin kun tein sen ilman sitä. (Ja ei, en aio näyttää sitä piirrosta.)
Tämä sovellus opettaa piirtämistä, aivan kuten Twitterin videolla näytetään. Se on yksinkertainen: se seuraa A4-paperiarkkia, jonka päällä on ohjain, ja lisää kerroksen, joka auttaa käyttäjää kohdistamaan sen oikeaan paperiarkkiin. Jos käytössä olisi kamera, kehittäjät voisivat seurata itse paperiarkkia, mikä helpottaisi prosessia huomattavasti. Tällä hetkellä ohjain voi liikkua, jolloin virtuaalinen paperiarkki siirtyy, mikä voi aiheuttaa epäsuhtaa todellisen ja virtuaalisen piirroksen välillä. Kameran käyttö poistaisi tämän ongelman.
"World Skins" - Muunna maailmasi tekoälyn ja AR:n avulla.
Tässä esimerkissä kiehtovaa on se, miten se käyttää tekoälyä ja kameran käyttöoikeuksia muuttaakseen koko ympäröivän maailman. Vaikka tämä on tällä hetkellä vain konsepti, se on äärimmäisen mielenkiintoinen. Voisimme keskustella mahdollisista riskeistä - esimerkiksi siitä, mitä tapahtuisi, jos joku ei olisi varovainen, mutta tärkeämpää on pelkkä mahdollisuus luoda jotain tällaista. Turvallisempi, mutta yhtä vaikuttava kokemus olisi, jos voisit kuvitella soveltavansa samaa konseptia omaan kotiisi: muuttaisit sen viidakkoa tai avaruusalusta muistuttavaksi ja näkisit ikkunoistasi avaruuteen.
Mitä hyötyä tästä on virtuaalitodellisuuteen verrattuna? Yksi hyöty voisi olla mahdollisuus nähdä huonekalujen tai ihmisten liikkuvan ympärilläsi. Toinen hyöty on mahdollisuus käyttää sitä ulkona, esimerkiksi puutarhassa - alueella, joka on turvallinen autojen kaltaisilta vaaroilta, mutta jota tekoälyn käyttö voisi parantaa huomattavasti.
Tekoälyavustaja
Suuret kielimallit (LLM) kehittyvät nopeasti. Esimerkiksi GPT-4o-kuvassa esitetty malli "ymmärtää" ympäristöä ja asiayhteyttä ja tarjoaa siten erittäin hyödyllistä apua tarvittaessa.
Jos Mixed Reality Goggles ja AR-lasit saisivat kehittäjille pääsyn kameroihin, he voisivat käyttää koulutettuja mallejaan apuna. Kun esimerkiksi kohtaat ongelman hanan kanssa ja tarvitset putkimiehen apua, voisit mahdollisesti hoitaa ongelman itse. Miten? Yksinkertaisesti katsomalla asennusta ja pyytämällä tekoälyä auttamaan. Kun tekoälyllä on pääsy kameraan, se näkee välittömästi, mitä näet, mikä lisää huomattavasti sen kykyä ymmärtää tilannetta ja tarjota tehokasta tukea.
Tällaisia esimerkkejä on loputtomasti, eikä monia niistä ole vielä edes keksitty. Niistä voisi tulla todellisuutta, jos kehittäjät saisivat käyttöönsä VR/AR-lasien kamerat.
Kiehtova AR Meta Reality Lab -tutkimushanke
Tämä on erittäin hieno esittely Meta Reality Labsilta. Sen avulla käyttäjä voi manipuloida todellisuutta, ei vain lisätä virtuaalisia elementtejä vaan myös muuttaa olemassa olevia. Voit esimerkiksi siirtää esineitä todellisessa maailmassa, ja silmälasit muuttavat niiden takana olevan seinän tekstuuria ja värejä, jolloin syntyy virtuaalinen seinä, jonka on tarkoitus jäljitellä siirrettävän esineen takana olevaa todellista seinää.
Tämä virtuaalinen seinä on likimääräinen, joten se ei ole identtinen todellisen seinän kanssa, mutta tässä on paljon parantamisen varaa. Projektin takana oleva kehittäjä mainitsi, että esittelyyn tarvittiin huolellista skannausta ja jokaisen kohteen ennakkosuunnittelua. Kameroiden ja kehittyneiden tekoälymallien avulla voimme kuitenkin kuvitella, että kaikki tämä renderöidään reaaliajassa, mikä nostaisi Mixed Realityn käytettävyyden aivan uudelle tasolle.
Muuttamalla ympäröivää maailmaa dynaamisesti - Aldiffusion API
Kuvassa näkyvä prototyyppi on tekoälyllä toimiva esittely mahdollisuuksista. Sitä ei tarvitse kuvailla kovinkaan paljon - kosketat jotain huoneessasi, ja kätesi (tai kehosi) muuttuu koskettamasi kohteen mukaiseksi. Onko se vekotin? Kyllä, ehdottomasti. Tällaiset ideat voivat kuitenkin kehittyä joksikin suuremmaksi ja paljon hyödyllisemmäksi!
AR pakkauksia varten
Entä jos tulevaisuudessa kävelisit kauppaan AR-lasien kanssa, ja jokaisella näkemälläsi tuotteella olisi luova animaatio? Se voisi olla ylivoimaista, enkä voi kuvitella kenenkään nauttivan satojen liikkuvien tuotteiden näkemisestä hyllyissä. Mutta jos voisit keskittyä tuotteeseen, napsauttaa sormia ja nähdä animaation, jossa näytetään, miten sitä käytetään, tai mahdollisia reseptejä, joissa sitä käytetään (riippuen siitä, onko kyseessä ruokatuote vai jokin muu tuote), se olisi mahtavaa.
Tästä on epäilemättä huomattavia hyötyjä. Toiminta edellyttäisi tietysti kameroiden käyttöä.
Guccin 'Try-On' lisätyn todellisuuden ratkaisu
Toinen mielenkiintoinen esimerkki AR-käytöstä, joka edellyttää pääsyä kameraan, on kokeileva toiminto. Voit tehdä sen jo puhelimellasi, mutta se ei ole hyvin tuettu. Kehittäjät voisivat laajentaa tällaisia toimintoja, kun päähäsi on jo asennettu laite, joka pystyy muuttamaan todellisuutta hyödyllisellä tavalla. Itse käyttäisin tätä ehdottomasti nähdäkseni, miltä kengät näyttävät jalassani ennen niiden ostamista, ilman että minun tarvitsee mennä kauppaan!
Sama voisi koskea peiliin katsomista, kun suojalasit tai silmälasit näkevät kehosi. Voisit tarkistaa, sopivatko tietyt vaatteet sinulle hyvin. On jo olemassa sovelluksia, jotka tekevät jotain tällaista, mutta mikään ei voita sitä, että näet kuvan suoraan omasta näkökulmastasi laseilla tai suojalaseilla.
Edellä mainittujen esimerkkien kaltaisia esimerkkejä on paljon enemmänkin, mutta luulen, että antamani esimerkki antaa hyvän kuvan siitä, mikä on mahdollista. Met ja Apple ovat hitaasti siirtymässä siihen, että kehittäjät pääsevät käyttämään silmälasiensa kameroita. Voidaan ennustaa, että jos näin tapahtuu, se on hetki, jolloin syntyy joukko innovatiivisia, luovia ja hyödyllisiä sovelluksia Mixed Realitylle.
