Η πράσινη οθόνη του Netflix με τη βοήθεια τεχνητής νοημοσύνης λούζει τους ηθοποιούς με εντυπωσιακό ματζέντα

Η διαδικασία σύνθεσης ή τοποθέτησης ηθοποιών μπροστά σε ένα φόντο που στην πραγματικότητα δεν υπάρχει, είναι τόσο παλιά όσο και η ίδια η δημιουργία ταινιών — και ήταν πάντα ένας πόνος. Το

Netflix

έχει μια νέα τεχνική που βασίζεται στη μηχανική μάθηση για να κάνει λίγη από τη σκληρή δουλειά, αλλά απαιτεί φωτισμούς ηθοποιών σε μια φανταχτερή ματζέντα.

Για δεκαετίες η απλούστερη μέθοδος σύνθεσης ήταν το chroma keying, στο οποίο οι ηθοποιοί στέκονται σε ένα έντονα χρωματισμένο φόντο (αρχικά μπλε, αργότερα πράσινο) που μπορεί εύκολα να αναγνωριστεί και να αντικατασταθεί με οτιδήποτε, από έναν χάρτη καιρού μέχρι μια μάχη με τον Thanos. Το προσκήνιο λέγεται ότι είναι “ματ” και το φόντο είναι ένα διαφανές “άλφα” κανάλι που χειρίζεται μαζί με τα κόκκινα, πράσινα και μπλε κανάλια.

Είναι εύκολο και φθηνό, αλλά υπάρχουν μερικά μειονεκτήματα σε αυτό, μεταξύ των οποίων προβλήματα με διαφανή αντικείμενα, λεπτές λεπτομέρειες όπως τα μαλλιά και, φυσικά, οτιδήποτε άλλο έχει παρόμοιο χρώμα με το φόντο. Είναι συνήθως αρκετά καλό, ωστόσο, που οι προσπάθειες αντικατάστασής του με πιο εξελιγμένες και ακριβές μεθόδους (όπως μια κάμερα φωτός πεδίου) έχουν μαραζώσει.

Ωστόσο, οι ερευνητές του Netflix προσπαθούν να το δοκιμάσουν, με έναν συνδυασμό παλιού και νέου που θα μπορούσε να κάνει μια απλή, άψογη σύνθεση – με κόστος μια κολασμένη ρύθμιση φωτισμού στο πλατό.

Όπως περιγράφεται σε ένα έγγραφο που δημοσιεύτηκε πρόσφατα

, το «Magenta Green

Screen

» τους παράγει εντυπωσιακά αποτελέσματα βάζοντας, ουσιαστικά, τους ηθοποιούς σε ένα σάντουιτς φωτισμού. Πίσω τους, φωτεινό πράσινο (ενεργά φωτισμένο, όχι σκηνικό). μπροστά, ένας συνδυασμός κόκκινου και μπλε, δημιουργώντας μια δραματική αντίθεση χρωμάτων.

Η προκύπτουσα εμφάνιση στο πλατό πιθανότατα κάνει ακόμη και τον πιο έμπειρο καλλιτέχνη μετά την παραγωγή να διστάζει. Συνήθως θέλετε να φωτίζετε τους ηθοποιούς σας έντονα με ένα αρκετά φυσικό φως, οπότε παρόλο που μπορεί να απαιτούν λίγη γροθιά που και που, η εμφάνισή τους στην κάμερα είναι σχετικά φυσιολογική. Αλλά αν ανάβουν αποκλειστικά με κόκκινο και μπλε φως, παραμορφώνει εντελώς αυτή την εμφάνιση, αφού φυσικά το κανονικό φως δεν έχει ένα τεράστιο κομμάτι του φάσματος του κομμένο.

Αλλά η τεχνική είναι επίσης έξυπνη στο ότι κάνοντας το πρώτο πλάνο μόνο κόκκινο/μπλε και το φόντο μόνο πράσινο, απλοποιεί τη διαδικασία διαχωρισμού των δύο. Μια κανονική κάμερα που κανονικά θα απαθανάτιζε αυτά τα χρώματα αντί να καταγράφει κόκκινο, μπλε και άλφα. Αυτό καθιστά τα προκύπτοντα ματ εξαιρετικά ακριβή, χωρίς τα τεχνουργήματα που προέρχονται από τον διαχωρισμό μιας εισόδου πλήρους φάσματος από ένα φόντο κλειδιού περιορισμένου φάσματος.

Φυσικά φαίνεται να έχουν απλώς αντικαταστήσει τη μια δυσκολία με μια άλλη: Η διαδικασία σύνθεσης είναι πλέον εύκολη, αλλά η επαναφορά του πράσινου καναλιού στα θέματα που φωτίζονται με ματζέντα είναι δύσκολη.

Πρέπει να γίνεται συστηματικά και προσαρμοστικά, καθώς τα θέματα και οι συνθέσεις διαφέρουν, αλλά μια «αφελής» γραμμική προσέγγιση για την έγχυση πράσινου έχει ως αποτέλεσμα μια ξεπλυμένη, κιτρινωπή εμφάνιση. Πώς μπορεί να αυτοματοποιηθεί; AI στη διάσωση!

Η ομάδα εκπαίδευσε ένα μοντέλο μηχανικής μάθησης σε δεδομένα προπόνησης δικών της, ουσιαστικά «πρόβα» παρόμοιων σκηνών, αλλά φωτισμένα κανονικά. Στο συνελικτικό νευρωνικό δίκτυο δίνονται μπαλώματα της εικόνας πλήρους φάσματος για σύγκριση με εκείνα που φωτίζονται με ματζέντα και αναπτύσσει μια διαδικασία για γρήγορη αποκατάσταση του πράσινου καναλιού που λείπει με πιο έξυπνο τρόπο από έναν απλό αλγόριθμο.

Ένας απλός αλγόριθμος οδηγεί σε κακά αποτελέσματα (κορυφή) ενώ ένα πιο εξελιγμένο μοντέλο ML παράγει χρώματα πολύ παρόμοια με την αλήθεια.

Συντελεστές εικόνας:

Netflix

Έτσι, το χρώμα μπορεί να αποκατασταθεί εκπληκτικά καλά στο post («σχεδόν δεν διακρίνεται» από μια αλήθεια εδάφους εντός της κάμερας) — αλλά εξακολουθεί να υπάρχει το πρόβλημα των ηθοποιών και του σκηνικού που πρέπει να φωτιστούν με αυτόν τον φρικτό τρόπο. Πολλοί ηθοποιοί ήδη παραπονιούνται για το πόσο αφύσικο είναι να εργάζεσαι μπροστά σε μια πράσινη οθόνη — φανταστείτε να το κάνετε ενώ φωτίζεται σε ένα σκληρό, απάνθρωπο φως.

Η δημοσίευση το αντιμετωπίζει, ωστόσο, με τη δυνατότητα «χρονικής πολυπλεξίας» του φωτισμού, ενεργοποιώντας και απενεργοποιώντας ουσιαστικά τον ματζέντα/πράσινο φωτισμό πολλές φορές ανά δευτερόλεπτο. Αυτό αποσπά την προσοχή (ακόμα και επικίνδυνο) να το κάνεις 24 φορές το δευτερόλεπτο (δηλαδή ο ρυθμός καρέ που γυρίζονται οι περισσότερες ταινίες και η τηλεόραση), αλλά αν ανάβουν το φως πιο γρήγορα – 144 φορές το δευτερόλεπτο – φαίνεται “σχεδόν σταθερό”.

Ωστόσο, αυτό απαιτεί έναν περίπλοκο συγχρονισμό με την κάμερα, ο οποίος πρέπει να συλλαμβάνει φως μόνο κατά τις σύντομες στιγμές που η σκηνή είναι ματζέντα. Και πρέπει να λογοδοτούν και για τα καρέ που λείπουν για την κίνηση…

Όπως μπορείτε να πείτε, αυτό είναι ακόμα πολύ πειραματικό. Αλλά είναι επίσης ένας ενδιαφέρον τρόπος για να αντιμετωπίσουμε ένα παλιό πρόβλημα στην παραγωγή μέσων με μια φρέσκια, υψηλής τεχνολογίας προσέγγιση. Αυτό δεν θα ήταν δυνατό πριν από πέντε χρόνια, και παρόλο που μπορεί να υιοθετηθεί ή να μην υιοθετηθεί στα γυρίσματα, αξίζει σαφώς να το δοκιμάσετε.