Με την αύξηση της δημοτικότητας των κιτ γυαλιών Mixed Reality, η πρόσβαση στις κάμερες των γυαλιών έχει γίνει ένα από τα πιο ζητούμενα χαρακτηριστικά για τους προγραμματιστές. Σε μια πρόσφατη συνέντευξη, ο CTO της Meta πρότεινε την πιθανότητα να συμπεριληφθεί αυτή η λειτουργία στο μέλλον.
Σίγουρα έχετε smartphone. Γνωρίζετε όμως ότι οι κάμερές του είναι διαθέσιμες στους προγραμματιστές; Με άλλα λόγια - ορισμένες εφαρμογές μπορούν να δουν ακριβώς αυτό που βλέπουν οι κάμερες του τηλεφώνου σας. Φυσικά, όταν ανοίγετε μια εφαρμογή που χρησιμοποιεί κάμερες, θα σας ζητηθεί άδεια, οπότε οι προγραμματιστές δεν μπορούν να έχουν πρόσβαση όποτε θέλουν. Αυτό είναι καλό, καθώς οι άνθρωποι είναι φυσικά επιφυλακτικοί με την πρόσβαση στην κάμερα λόγω ανησυχιών για την προστασία της ιδιωτικής ζωής. Ωστόσο, αυτό είναι ένα πρόβλημα που έχει επιλυθεί σε μεγάλο βαθμό στα smartphones.
Τα smartphones έχουν τη δική τους εκδοχή της επαυξημένης πραγματικότητας, αλλά τα τελευταία γυαλιά μικτής πραγματικότητας (και τα μελλοντικά γυαλιά) προσφέρουν μια πολύ καλύτερη εμπειρία από αυτή που είναι δυνατή στα τηλέφωνα - Μπορείτε να αλληλεπιδράσετε με εικονικό περιεχόμενο χρησιμοποιώντας τα χέρια σας ή τα χειριστήρια και να το δείτε σε πλήρη 6-DoF στο χώρο σας. Παρά αυτό το σημαντικό πλεονέκτημα σε σχέση με το AR στα smartphones, είναι προς το παρόν αδύνατο για τους προγραμματιστές να αξιοποιήσουν πλήρως τις δυνατότητές του λόγω της έλλειψης πρόσβασης σε κάμερες στα γυαλιά.
W συνέντευξη μεταξύ του Matthew Ball και του Andrew Bosworth (CTO της Meta), ο Bosworth πρότεινε ότι η πρόσβαση στην κάμερα θα μπορούσε τελικά να εμφανιστεί στα γυαλιά Quest. Εξέφρασε ενθουσιασμό για τις δυνατότητες που θα ανοίξει αυτή η λειτουργία για τους προγραμματιστές, αλλά σημείωσε ότι η Meta έχει υιοθετήσει μια συντηρητική προσέγγιση για την πρόσβαση στην κάμερα λόγω ανησυχιών για την προστασία της ιδιωτικής ζωής. Δεδομένης της ιστορίας της Meta με σκάνδαλα προστασίας της ιδιωτικής ζωής, αυτή η επιφυλακτικότητα είναι κατανοητή. Ωστόσο, καθώς ο κλάδος της Μικτής Πραγματικότητας αναπτύσσεται και με την Apple να επιτρέπει ήδη την πρόσβαση στην κάμερα για εταιρικούς προγραμματιστές στο visionOS 2 (γεγονός που υποδηλώνει ότι μπορεί τελικά να είναι διαθέσιμο στους απλούς προγραμματιστές), η Meta ίσως χρειαστεί να ακολουθήσει το παράδειγμά της.
Ακολουθούν διάφορα παραδείγματα εφαρμογών μικτής/επαυξημένης πραγματικότητας που χρησιμοποιούν πρόσβαση στην κάμερα. Ορισμένα είναι απλώς ιδέες, ενώ άλλα είναι ολοκληρωμένα έργα που λειτουργούν μέσω (μερικές φορές άβολων) παρακάμψεων χωρίς άμεση πρόσβαση στην κάμερα. Η συμπερίληψη αυτής της πρόσβασης θα μπορούσε να κάνει αυτές τις εφαρμογές πολύ πιο φιλικές προς το χρήστη.
Νικητής του Meta AR Hackathon - "Flaivor"
Το Flaivor είναι ένας βοηθός μαγειρικής με τεχνητή νοημοσύνη που, με βάση φωτογραφίες των αντικειμένων στο ψυγείο σας (ή οποιαδήποτε άλλη φωτογραφία διαθέσιμων τροφίμων), παρέχει συνταγές που περιλαμβάνουν τα φωτογραφημένα συστατικά. Διαθέτει επίσης λειτουργία ρύθμισης χρονοδιακόπτη και έναν βοηθό AI για να παρέχει βοήθεια και καθοδήγηση.
Περιμένετε, η εφαρμογή απαιτεί από τον χρήστη να τραβήξει μια φωτογραφία; Αυτός είναι ένας έξυπνος (αν και όχι ιδανικός) τρόπος για να παρακάμψετε την έλλειψη πρόσβασης στην κάμερα, η οποία θα έκανε την εμπειρία πολύ πιο απλή. Φανταστείτε αν το μόνο που είχατε να κάνετε ήταν να κοιτάξετε το ψυγείο σας και να εστιάσετε σε συγκεκριμένα συστατικά που μπορεί να λείπουν από μια απλή φωτογραφία - αυτό θα ήταν εφικτό με πρόσβαση στην κάμερα.
Space Vacuuming!
Αυτή η εννοιολογική εφαρμογή είναι φτιαγμένη καθαρά για διασκέδαση, αλλά προσφέρει μια ενδιαφέρουσα ιδέα για να κάνετε τις δουλειές του σπιτιού πιο ενδιαφέρουσες και λιγότερο μονότονες. Περιλαμβάνει χαρακτηριστικά όπως η βαθμολόγηση κερμάτων για κάθε σημείο που δεν έχει καθαριστεί με ηλεκτρική σκούπα και η χρήση διαφορετικών χρωμάτων δαπέδου για να υποδείξει ποια σημεία δεν έχουν καθαριστεί ακόμα, όπως φαίνεται στο βίντεο. Ο προγραμματιστής το πέτυχε αυτό με την τοποθέτηση του χειριστηρίου Meta Touch Pro, που φαίνεται εν συντομία στο βίντεο.
Με πρόσβαση σε κάμερες, θα ήταν δυνατή η παρακολούθηση της σκούπας χωρίς την ανάγκη ελεγκτών. Καθώς τα δεδομένα δαπέδου και χώρου είναι ήδη διαθέσιμα στους προγραμματιστές, η πρόσβαση στις κάμερες είναι το μόνο συστατικό που λείπει.
Εφαρμογή μικτής πραγματικότητας στο Quest 3 - "Pencil"
Αυτή η εφαρμογή είναι ιδιαίτερα ενδιαφέρουσα. Μάλιστα, είχα την ευκαιρία να τη δοκιμάσω ο ίδιος! Ζωγράφισα ένα από τα διαθέσιμα σχέδια και... λοιπόν, δεν ήταν αριστούργημα. Αλλά ε, φαινόταν πολύ καλύτερο όταν χρησιμοποίησα αυτή την εφαρμογή από ό,τι όταν το έκανα χωρίς αυτήν. (Και όχι, δεν πρόκειται να δείξω αυτό το σχέδιο.)
Αυτή η εφαρμογή διδάσκει ζωγραφική, όπως ακριβώς φαίνεται στο βίντεο στο Twitter. Αυτό που κάνει είναι απλό: παρακολουθεί ένα φύλλο χαρτιού Α4 με ένα χειριστήριο από πάνω και προσθέτει ένα επίπεδο για να βοηθήσει τον χρήστη να το ευθυγραμμίσει με το πραγματικό φύλλο χαρτιού. Με πρόσβαση σε μια κάμερα, οι προγραμματιστές θα μπορούσαν να παρακολουθούν το ίδιο το φύλλο χαρτιού, κάνοντας τη διαδικασία πολύ πιο εύκολη. Επί του παρόντος, το χειριστήριο μπορεί να μετακινηθεί, προκαλώντας τη μετατόπιση του εικονικού φύλλου χαρτιού, προκαλώντας ενδεχομένως αναντιστοιχία μεταξύ του πραγματικού και του εικονικού σχεδίου. Η πρόσβαση με κάμερα θα εξαλείψει αυτό το πρόβλημα.
"World Skins" - Μεταμορφώστε τον κόσμο σας με AI και AR
Αυτό που είναι ενδιαφέρον σε αυτό το παράδειγμα είναι ο τρόπος με τον οποίο χρησιμοποιεί την τεχνητή νοημοσύνη και την πρόσβαση στην κάμερα για να μεταμορφώσει ολόκληρο τον κόσμο γύρω σας. Αν και προς το παρόν είναι μόνο μια ιδέα, αυτό είναι κάτι εξαιρετικά ενδιαφέρον. Θα μπορούσαμε να συζητήσουμε τους πιθανούς κινδύνους εδώ - όπως το τι θα συνέβαινε αν κάποιος δεν ήταν προσεκτικός, αλλά το πιο σημαντικό είναι η απόλυτη δυνατότητα δημιουργίας κάτι τέτοιου. Για μια ασφαλέστερη, αλλά εξίσου εντυπωσιακή εμπειρία, φανταστείτε να εφαρμόσετε την ίδια ιδέα στο δικό σας σπίτι: να το μετατρέψετε ώστε να μοιάζει με ζούγκλα ή διαστημόπλοιο, με θέα στο διάστημα μέσα από τα παράθυρά σας.
Ποιο είναι το πλεονέκτημα της χρήσης αυτής έναντι της Εικονικής Πραγματικότητας; Λοιπόν, ένα πλεονέκτημα θα μπορούσε να είναι η δυνατότητα να βλέπετε τα έπιπλά σας ή τους ανθρώπους να κινούνται γύρω σας. Ένα άλλο πλεονέκτημα είναι η δυνατότητα χρήσης της σε εξωτερικούς χώρους, για παράδειγμα στον κήπο - μια περιοχή που παραμένει ασφαλής από κινδύνους όπως τα αυτοκίνητα, αλλά θα μπορούσε να βελτιωθεί σημαντικά με τη χρήση τεχνητής νοημοσύνης.
Βοηθός AI
Τα μεγάλα γλωσσικά μοντέλα (LLM) βελτιώνονται ραγδαία. Για παράδειγμα, αυτό που παρουσιάζεται στο GPT-4o μπορεί να "καταλάβει" το περιβάλλον και το πλαίσιο, παρέχοντας έτσι εξαιρετικά χρήσιμη βοήθεια όταν χρειάζεται.
Αν τα γυαλιά Mixed Reality Goggles και τα γυαλιά AR είχαν πρόσβαση σε κάμερες για τους προγραμματιστές, θα μπορούσαν να χρησιμοποιήσουν τα εκπαιδευμένα μοντέλα τους για να βοηθήσουν. Για παράδειγμα, όταν αντιμετωπίζετε ένα πρόβλημα με μια βρύση και χρειάζεστε τη βοήθεια ενός υδραυλικού, θα μπορούσατε ενδεχομένως να αντιμετωπίσετε το πρόβλημα μόνοι σας. Πώς; Απλά κοιτάζοντας την εγκατάσταση και ζητώντας από την τεχνητή νοημοσύνη να βοηθήσει. Με πρόσβαση σε μια κάμερα, η ΤΝ θα έχει άμεση πρόσβαση σε αυτό που βλέπετε, αυξάνοντας σημαντικά την ικανότητά της να κατανοεί την κατάσταση και να παρέχει αποτελεσματική υποστήριξη.
Τέτοια παραδείγματα είναι ατελείωτα και πολλά από αυτά δεν έχουν καν εφευρεθεί ακόμη. Θα μπορούσαν να γίνουν πραγματικότητα αν οι προγραμματιστές είχαν πρόσβαση στις κάμερες των γυαλιών VR/AR.
Συναρπαστικό ερευνητικό έργο AR Meta Reality Lab
Αυτή είναι μια πολύ ωραία επίδειξη από τα Meta Reality Labs. Επιτρέπει στο χρήστη να χειρίζεται την πραγματικότητα, όχι μόνο προσθέτοντας εικονικά στοιχεία αλλά και αλλάζοντας τα υπάρχοντα. Για παράδειγμα, μπορείτε να μετακινήσετε αντικείμενα στον πραγματικό κόσμο και το γυαλί αλλάζει την υφή και τα χρώματα του τοίχου πίσω από αυτά, δημιουργώντας έναν εικονικό τοίχο που έχει σκοπό να μιμηθεί τον πραγματικό τοίχο πίσω από το μετακινούμενο αντικείμενο.
Αυτός ο εικονικός τοίχος είναι μια προσέγγιση, επομένως δεν είναι πανομοιότυπος με τον πραγματικό, αλλά υπάρχουν πολλά περιθώρια βελτίωσης εδώ. Ο προγραμματιστής πίσω από το έργο ανέφερε ότι για την επίδειξη ήταν απαραίτητη η προσεκτική σάρωση και ο προσχεδιασμός κάθε αντικειμένου. Ωστόσο, με πρόσβαση σε κάμερες και προηγμένα μοντέλα τεχνητής νοημοσύνης, μπορούμε να φανταστούμε την απόδοση όλων αυτών σε πραγματικό χρόνο, γεγονός που θα ανέβαζε τη χρηστικότητα της Μικτής Πραγματικότητας σε ένα εντελώς νέο επίπεδο.
Αλλάζοντας δυναμικά τον κόσμο γύρω σας - Aldiffusion API
Το πρωτότυπο που παρουσιάζεται εδώ είναι μια επίδειξη των δυνατοτήτων που προσφέρει η τεχνητή νοημοσύνη. Δεν χρειάζεται να περιγράψει κανείς πολλά - αγγίζετε κάτι στο δωμάτιό σας και τα χέρια σας (ή το σώμα σας) αλλάζουν ανάλογα με αυτό που αγγίξατε. Είναι ένα gadget; Ναι, σίγουρα. Ωστόσο, ιδέες όπως αυτές θα μπορούσαν να εξελιχθούν σε κάτι μεγαλύτερο και πολύ πιο χρήσιμο!
AR για συσκευασία
Τι θα γινόταν αν, στο μέλλον, μπαίνατε σε ένα κατάστημα με τα AR γυαλιά σας και κάθε προϊόν που βλέπατε είχε ένα δημιουργικό animation; Θα μπορούσε να είναι συγκλονιστικό, και δεν μπορώ να φανταστώ ότι κάποιος θα απολάμβανε να βλέπει εκατοντάδες προϊόντα στα ράφια που κινούνται. Αλλά αν μπορούσατε να εστιάσετε σε ένα προϊόν, να κάνετε κλικ με τα δάχτυλά σας και να δείτε ένα animation που να δείχνει πώς να το χρησιμοποιήσετε ή να δείχνει πιθανές συνταγές με τη χρήση του (ανάλογα με το αν πρόκειται για τρόφιμο ή κάτι άλλο), αυτό θα ήταν καταπληκτικό.
Υπάρχουν αναμφίβολα σημαντικά οφέλη. Φυσικά, για να λειτουργήσει θα πρέπει να υπάρχει πρόσβαση σε κάμερες.
'Try-On' λύση επαυξημένης πραγματικότητας από την Gucci
Ένα άλλο ενδιαφέρον παράδειγμα χρήσης της AR που απαιτεί πρόσβαση στην κάμερα είναι η λειτουργία "try-on". Μπορείτε ήδη να το κάνετε αυτό στο τηλέφωνό σας, αλλά δεν υποστηρίζεται καλά. Με μια συσκευή ικανή να μεταβάλλει την πραγματικότητα με χρήσιμο τρόπο που βρίσκεται ήδη στο κεφάλι σας, οι προγραμματιστές θα μπορούσαν να επεκτείνουν λειτουργίες όπως αυτή. Προσωπικά, θα το χρησιμοποιούσα σίγουρα για να δω πώς φαίνονται τα παπούτσια στα πόδια μου πριν τα αγοράσω, χωρίς να χρειαστεί να πάω στο κατάστημα!
Το ίδιο θα μπορούσε να ισχύει και για το κοίταγμα στον καθρέφτη όταν τα γυαλιά ή τα γυαλιά βλέπουν το σώμα σας. Θα μπορούσατε να ελέγξετε αν ορισμένα ρούχα σας ταιριάζουν καλά. Υπάρχουν ήδη εφαρμογές που κάνουν κάτι τέτοιο, αλλά τίποτα δεν είναι καλύτερο από το να βλέπετε την εικόνα απευθείας από τη δική σας οπτική γωνία στα γυαλιά ή τα γυαλιά σας.
Υπάρχουν πολλά ακόμη παραδείγματα όπως τα παραπάνω, αλλά νομίζω ότι το παράδειγμα που έδωσα δίνει μια καλή εικόνα του τι είναι δυνατό. Η Met και η Apple κινούνται σιγά σιγά προς την κατεύθυνση να δώσουν στους προγραμματιστές πρόσβαση στις κάμερες των γυαλιών τους. Μπορεί κανείς να προβλέψει ότι αν αυτό συμβεί, θα είναι η στιγμή που θα προκύψει μια μάζα καινοτόμων, δημιουργικών και χρήσιμων εφαρμογών για τη Μικτή Πραγματικότητα.
