Οι ερευνητές ανακατασκευάζουν τρισδιάστατα περιβάλλοντα από τις αντανακλάσεις των ματιών

Ερευνητές στο Πανεπιστήμιο του Μέριλαντ έχουν μετατρέψει τις αντανακλάσεις των ματιών σε (κάπως ευδιάκριτες) τρισδιάστατες σκηνές. Η εργασία βασίζεται στα Neural Radiance Fields (NeRF), μια τεχνολογία AI που μπορεί να ανακατασκευάσει περιβάλλοντα από φωτογραφίες 2D. Αν και η προσέγγιση της αντανάκλασης των ματιών έχει πολύ δρόμο να διανύσει μέχρι να γεννήσει πρακτικές εφαρμογές, η

μελέτη

(πρώτα

αναφέρθηκε από


Tech Xplore

) παρέχει μια συναρπαστική ματιά σε μια τεχνολογία που θα μπορούσε τελικά να αποκαλύψει ένα περιβάλλον από μια σειρά απλών φωτογραφιών πορτρέτου.

Η ομάδα χρησιμοποίησε ανεπαίσθητες αντανακλάσεις φωτός που καταγράφηκαν στα ανθρώπινα μάτια (χρησιμοποιώντας διαδοχικές εικόνες που τραβήχτηκαν από έναν μόνο αισθητήρα) για να προσπαθήσει να διακρίνει το άμεσο περιβάλλον του ατόμου. Ξεκίνησαν με πολλές εικόνες υψηλής ανάλυσης από μια σταθερή θέση κάμερας, απαθανατίζοντας ένα κινούμενο άτομο που κοιτάζει προς την κάμερα. Στη συνέχεια έκαναν μεγέθυνση στις ανταύγειες, απομονώνοντάς τις και υπολογίζοντας πού κοιτούσαν τα μάτια στις φωτογραφίες.

Τα αποτελέσματα (εδώ είναι το

ολόκληρο το σετ κινούμενα

) δείχνουν μια αξιοπρεπώς ευδιάκριτη περιβαλλοντική ανακατασκευή από τα ανθρώπινα μάτια σε ένα ελεγχόμενο περιβάλλον. Μια σκηνή που καταγράφηκε χρησιμοποιώντας ένα συνθετικό μάτι (κάτω) παρήγαγε μια πιο εντυπωσιακή ονειρική σκηνή. Ωστόσο, μια προσπάθεια να μοντελοποιηθούν οι αντανακλάσεις των ματιών από τα μουσικά βίντεο της

Miley Cyrus

και της Lady Gaga παρήγαγαν μόνο ασαφείς σταγόνες που οι ερευνητές μπορούσαν μόνο να μαντέψουν ότι ήταν ένα πλέγμα LED και μια κάμερα σε ένα τρίποδο – που δείχνει πόσο απέχει η τεχνολογία από την πραγματική χρήση.

Η ομάδα ξεπέρασε σημαντικά εμπόδια για να ανακατασκευάσει ακόμη και ωμές και ασαφείς σκηνές. Για παράδειγμα, ο κερατοειδής εισάγει «εγγενή θόρυβο» που καθιστά δύσκολο τον διαχωρισμό του ανακλώμενου φωτός από τις πολύπλοκες υφές της ίριδας των ανθρώπων. Για να αντιμετωπιστεί αυτό, εισήγαγαν τη βελτιστοποίηση της στάσης του κερατοειδούς (εκτίμηση της θέσης και του προσανατολισμού του κερατοειδούς) και την αποσύνθεση της υφής της ίριδας (εξαγωγή χαρακτηριστικών μοναδικών για την ίριδα ενός ατόμου) κατά τη διάρκεια της προπόνησης. Τέλος, η ακτινική απώλεια τακτοποίησης υφής (μια τεχνική μηχανικής μάθησης που προσομοιώνει πιο λείες υφές από το αρχικό υλικό) βοήθησε στην περαιτέρω απομόνωση και βελτίωση του σκηνικού που ανακλάται.

Παρά την πρόοδο και τις έξυπνες λύσεις, εξακολουθούν να υπάρχουν σημαντικά εμπόδια. «Τα τρέχοντα αποτελέσματα του πραγματικού μας κόσμου προέρχονται από μια «εργαστηριακή ρύθμιση», όπως η λήψη με ζουμ του προσώπου ενός ατόμου, τα φώτα περιοχής για να φωτίσουν τη σκηνή και η σκόπιμη κίνηση του ατόμου», έγραψαν οι συγγραφείς. «Πιστεύουμε ότι πιο απεριόριστες ρυθμίσεις παραμένουν προκλητικές (π.χ. βιντεοδιάσκεψη με φυσική κίνηση του κεφαλιού) λόγω της χαμηλότερης ανάλυσης του αισθητήρα, του δυναμικού εύρους και του θολώματος κίνησης». Επιπλέον, η ομάδα σημειώνει ότι οι καθολικές της υποθέσεις σχετικά με την υφή της ίριδας μπορεί να είναι πολύ απλοϊκές για να εφαρμοστούν ευρέως, ειδικά όταν τα μάτια συνήθως περιστρέφονται ευρύτερα από ό,τι σε αυτό το είδος ελεγχόμενης ρύθμισης.

Ωστόσο, η ομάδα βλέπει την πρόοδό της ως ορόσημο που μπορεί να δώσει ώθηση σε μελλοντικές ανακαλύψεις. «Με αυτό το έργο, ελπίζουμε να εμπνεύσουμε μελλοντικές εξερευνήσεις που αξιοποιούν απροσδόκητα, τυχαία οπτικά σήματα για να αποκαλύψουν πληροφορίες για τον κόσμο γύρω μας, διευρύνοντας τους ορίζοντες της ανακατασκευής 3D σκηνής». Αν και πιο ώριμες εκδόσεις αυτού του έργου θα μπορούσαν να προκαλέσουν κάποιες ανατριχιαστικές και ανεπιθύμητες εισβολές στην ιδιωτική ζωή, τουλάχιστον μπορείτε να είστε ήσυχοι γνωρίζοντας ότι η σημερινή έκδοση μπορεί να διακρίνει αόριστα μια κούκλα Kirby ακόμη και κάτω από τις πιο ιδανικές συνθήκες.