Οι καλλιτέχνες του VFX δείχνουν ότι το Χόλιγουντ μπορεί να χρησιμοποιήσει την τεχνητή νοημοσύνη για να δημιουργήσει, όχι να εκμεταλλευτεί

Το Χόλιγουντ μπορεί να έχει εμπλακεί

σε συνεχείς εργα

τι

κές διαφορές που αφορούν την τεχνητή νοημοσύνη, αλλά η τεχνολογία διείσδυσε στον κινηματογράφο και την τηλεόραση εδώ και πολύ καιρό. Στο

SIGGRAPH

στο Λος Άντζελες, αλγοριθμικά και παραγωγικά εργαλεία εμφανίζονταν σε αμέτρητες συνομιλίες και ανακοινώσεις. Μπορεί να μην γνωρίζουμε ακόμα πού ταιριάζουν τα GPT-4 και το Stable Diffusion, αλλά η δημιουργική πλευρά της παραγωγής είναι έτοιμη να τα αγκαλιάσει —

αν

μπορεί να γίνει με τρόπο που να αυξάνει παρά να αντικαθιστά τους καλλιτέχνες.

Το SIGGRAPH δεν είναι ένα συνέδριο παραγωγής ταινιών και τηλεόρασης, αλλά ένα συνέδριο για τα γραφικά και τα οπτικά εφέ υπολογιστή (εδώ και 50 χρόνια!), και φυσικά τα θέματα επικαλύπτονται όλο και περισσότερο τα τελευταία χρόνια.

Φέτος, ο ελέφαντας στην αίθουσα ήταν η απεργία, και λίγες παρουσιάσεις ή ομιλίες έλαβαν μέρος σε αυτό. Ωστόσο, στα afterparties και στις εκδηλώσεις δικτύωσης ήταν λίγο πολύ το πρώτο πράγμα που έθεσε κάποιος. Ακόμα κι έτσι, το SIGGRAPH είναι σε μεγάλο βαθμό ένα συνέδριο για τη συγκέντρωση τεχνικών και δημιουργικών μυαλών και η ατμόσφαιρα που απέκτησα ήταν «είναι χάλια, αλλά στο μεταξύ μπορούμε να συνεχίσουμε να βελτιώνουμε την τέχνη μας».

Οι φόβοι γύρω από την τεχνητή νοημοσύνη στην παραγωγή είναι, για να μην πω απατηλοί, αλλά σίγουρα λίγο παραπλανητικοί. Τα μοντέλα εικόνας και κειμένου που δημιουργούνται με τεχνητή νοημοσύνη έχουν βελτιωθεί σημαντικά, με αποτέλεσμα να ανησυχούν ότι θα αντικαταστήσουν τους συγγραφείς και τους καλλιτέχνες. Και σίγουρα τα στελέχη του στούντιο έχουν επιβιώσει επιβλαβείς – και μη ρεαλιστικές – ελπίδες να αντικαταστήσουν εν μέρει τους συγγραφείς και τους ηθοποιούς που χρησιμοποιούν εργαλεία AI. Αλλά η τεχνητή νοημοσύνη ήταν παρούσα στον κινηματογράφο και την τηλεόραση για αρκετό καιρό, εκτελώντας σημαντικές εργασίες που καθοδηγούνται από τον καλλιτέχνη.

Το είδα σε πολυάριθμα πάνελ, παρουσιάσεις τεχνικών εγγράφων και συνεντεύξεις. Φυσικά, μια ιστορία της τεχνητής νοημοσύνης στο VFX θα ήταν ενδιαφέρουσα, αλλά προς το παρόν υπάρχουν μερικοί τρόποι με τους οποίους η τεχνητή νοημοσύνη στις διάφορες μορφές της εμφανιζόταν στην αιχμή των εφέ και των εργασιών παραγωγής.

Οι καλλιτέχνες της

Pixar

έβαλαν το ML και τις προσομοιώσεις να δουλέψουν

Ένα πρώιμο παράδειγμα ήρθε σε ένα ζευγάρι παρουσιάσεων της Pixar σχετικά με τις τεχνικές animation που χρησιμοποιούνται στην τελευταία τους ταινία, Elemental. Οι χαρακτήρες αυτής της ταινίας είναι πιο αφηρημένοι από άλλους και η προοπτική να φτιάξεις ένα άτομο που είναι φτιαγμένο από φωτιά,

νερό

ή αέρα δεν είναι εύκολη. Φανταστείτε να τσακώνετε την πολυπλοκότητα των φράκταλ αυτών των ουσιών σε ένα

σώμα

που μπορεί να δράσει και να εκφραστεί καθαρά ενώ εξακολουθεί να φαίνεται «πραγματικό».

Όπως εξηγούσαν ο ένας μετά τον άλλο οι εμψυχωτές και οι συντονιστές εφέ, η διαδικαστική δημιουργία ήταν ο πυρήνας της διαδικασίας, προσομοιώνοντας και παραμετροποιώντας τις φλόγες ή τα κύματα ή τους ατμούς που αποτελούσαν δεκάδες χαρακτήρες. Η γλυπτική με το χέρι και η ζωντανή κίνηση κάθε μικρής φλόγας ή σύννεφου που αναδύεται από έναν χαρακτήρα δεν ήταν ποτέ επιλογή – αυτό θα ήταν εξαιρετικά κουραστική, εντατική και τεχνική παρά δημιουργική δουλειά.

Όμως, όπως κατέστησαν σαφές οι παρουσιάσεις, παρόλο που βασίζονταν σε μεγάλο βαθμό σε sims και εξελιγμένους σκίαστρους υλικού για να δημιουργήσουν τα επιθυμητά εφέ, η καλλιτεχνική ομάδα και η διαδικασία ήταν βαθιά συνυφασμένες με την πλευρά της μηχανικής. (Συνεργάστηκαν επίσης με ερευνητές στο ETH Zurich για το σκοπό αυτό.)

Ένα παράδειγμα ήταν η συνολική εμφάνιση ενός από τους βασικούς χαρακτήρες, του Ember, ο οποίος είναι φτιαγμένος από φλόγα. Δεν αρκούσε η προσομοίωση φλόγας ή η προσαρμογή των χρωμάτων ή η προσαρμογή των πολλών καντράν για να επηρεαστεί το αποτέλεσμα. Τελικά, οι φλόγες χρειάζονταν για να αντικατοπτρίζουν την εμφάνιση που ήθελε ο καλλιτέχνης, όχι μόνο τον τρόπο που εμφανίζονται οι φλόγες στην πραγματική ζωή. Για το σκοπό αυτό χρησιμοποίησαν «ογκομετρική νευρωνική μεταφορά στυλ» ή NST. Η μεταφορά στυλ είναι μια τεχνική μηχανικής μάθησης που οι περισσότεροι θα έχουν βιώσει, ας πούμε, με την αλλαγή μιας selfie στο στυλ του Edvard Munch ή κάτι παρόμοιο.

Σε αυτήν την περίπτωση, η ομάδα πήρε τα ακατέργαστα voxel της «pyro simulation», ή δημιούργησε φλόγες, και τα πέρασε μέσω ενός δικτύου μεταφοράς στυλ εκπαιδευμένου στην έκφραση ενός καλλιτέχνη για το πώς ήθελαν να μοιάζουν οι φλόγες του χαρακτήρα: πιο στυλιζαρισμένες, λιγότερο προσομοιωμένες. Τα voxels που προκύπτουν έχουν τη φυσική, απρόβλεπτη εμφάνιση μιας προσομοίωσης αλλά και το αδιαμφισβήτητο καστ της επιλογής του καλλιτέχνη.

Φυσικά οι εμψυχωτές είναι ευαίσθητοι στην ιδέα ότι μόλις δημιούργησαν την ταινία χρησιμοποιώντας AI, κάτι που δεν συμβαίνει.

«Αν κάποιος σας πει ποτέ ότι η Pixar χρησιμοποίησε τεχνητή νοημοσύνη για να φτιάξει το Elemental, αυτό είναι λάθος», είπε χαρακτηριστικά ο Paul Kanyuk της Pixar κατά τη διάρκεια της παρουσίασης. «Χρησιμοποιήσαμε ογκομετρικό NST για να διαμορφώσουμε τις άκρες της σιλουέτας της».

(Για να είμαστε ξεκάθαροι, το NST είναι μια τεχνική μηχανικής μάθησης που θα προσδιορίζαμε ότι εμπίπτει κάτω από την ομπρέλα της AI, αλλά το σημείο που έλεγε ο Kanyuk είναι ότι χρησιμοποιήθηκε ως εργαλείο για την επίτευξη ενός καλλιτεχνικού αποτελέσματος – τίποτα δεν ήταν απλώς «φτιαγμένο με AI». )

Αργότερα, άλλα μέλη των ομάδων κινουμένων σχεδίων και σχεδίασης εξήγησαν πώς χρησιμοποίησαν διαδικαστικά, παραγωγικά εργαλεία ή εργαλεία μεταφοράς στυλ για να κάνουν πράγματα ό

πως να

επαναχρωματίσουν ένα τοπίο ώστε να ταιριάζει στην παλέτα ή τον πίνακα διάθεσης ενός καλλιτέχνη ή να γεμίσουν οικοδομικά τετράγωνα με μοναδικά κτίρια μεταλλαγμένα από “ήρωας”. » ζωγραφισμένα στο χέρι. Το ξεκάθαρο θέμα ήταν ότι η τεχνητή νοημοσύνη και τα γειτονικά εργαλεία της τεχνητής νοημοσύνης ήταν εκεί για να εξυπηρετήσουν τους σκοπούς των καλλιτεχνών, επιταχύνοντας τις κουραστικές μη αυτόματες διαδικασίες και παρέχοντας καλύτερη αντιστοίχιση με την επιθυμητή εμφάνιση.

AI επιταχυνόμενος διάλογος

Εικόνες από τη Nimona, τις οποίες έκανε animation το DNEG.

Συντελεστές εικόνας:

DNEG

Άκουσα ένα παρόμοιο σημείωμα από την Martine Bertrand, Senior AI Researcher στο DNEG, το VFX και το outfit μετά την παραγωγή που πιο πρόσφατα

κινούνταν την εξαιρετική και οπτικά εντυπωσιακή Nimona

. Εξήγησε ότι πολλά υπάρχοντα εφέ και αγωγοί παραγωγής είναι απίστευτα εντάσεως εργασίας, ιδιαίτερα η ανάπτυξη εμφάνισης και ο σχεδιασμός περιβάλλοντος. (Η DNEG έκανε επίσης μια παρουσίαση,

«Εκεί που ο διαδικαστικός συναντά την απόδοση»

που αγγίζει αυτά τα θέματα.)

«Οι άνθρωποι δεν συνειδητοποιούν ότι χάνεται τεράστιος χρόνος στη διαδικασία δημιουργίας», μου είπε ο Bertrand. Η συνεργασία με έναν σκηνοθέτη για την εύρεση της κατάλληλης εμφάνισης για ένα πλάνο μπορεί να διαρκέσει εβδομάδες ανά προσπάθεια, κατά τη διάρκεια των οποίων η σπάνια ή κακή επικοινωνία συχνά οδηγεί σε διακοπή αυτών των εβδομάδων εργασίας. Είναι απίστευτα απογοητευτικό, συνέχισε, και η τεχνητή νοημοσύνη είναι ένας πολύ καλός τρόπος για να επιταχυνθεί αυτή και άλλες διαδικασίες που δεν είναι καθόλου κοντά στα τελικά προϊόντα, αλλά απλώς διερευνητικές και γενικές.

Οι καλλιτέχνες που χρησιμοποιούν την τεχνητή νοημοσύνη για να πολλαπλασιάσουν τις προσπάθειές τους «επιτρέπει τον διάλογο μεταξύ δημιουργών και σκηνοθετών», είπε. Εξωγήινη ζούγκλα, σίγουρα — αλλά κάπως έτσι; Ή σαν

Αυτό

? Μια μυστηριώδης σπηλιά, σαν αυτό; Ή σαν

Αυτό

? Για μια οπτικά σύνθετη ιστορία όπως η Nimona, που καθοδηγείται από τους δημιουργούς, είναι ιδιαίτερα σημαντική η λήψη γρήγορων σχολίων. Το να σπαταλάτε μια εβδομάδα δίνοντας μια ματιά που ο σκηνοθέτης απορρίπτει μια εβδομάδα αργότερα είναι μια σοβαρή καθυστέρηση παραγωγής.

Στην πραγματικότητα, νέα επίπεδα συνεργασίας και αλληλεπίδρασης επιτυγχάνονται στην πρώιμη δημιουργική εργασία, όπως η προοπτικοποίηση, όπως

εξήγησε μια ομιλία του CEO της Sokrispy, Sam Wickert

. Η εταιρεία του είχε επιφορτιστεί να κάνει previs για τη σκηνή του ξεσπάσματος στην αρχή του HBO The Last of Us — ένα περίπλοκο «άνθρωπο» σε ένα αυτοκίνητο με αμέτρητα πρόσθετα, κινήσεις κάμερας και εφέ.

Ενώ η χρήση της τεχνητής νοημοσύνης ήταν περιορισμένη σε αυτήν την πιο γειωμένη σκηνή, είναι εύκολο να δούμε πώς η βελτιωμένη σύνθεση φωνής, η δημιουργία διαδικαστικού περιβάλλοντος και άλλα εργαλεία θα μπορούσαν και συνέβαλαν σε αυτήν την ολοένα και πιο τεχνολογική διαδικασία.

Τελική λήψη, δεδομένα mocap, μάσκα και τρισδιάστατο περιβάλλον που δημιουργήθηκε από το Wonder Studio.

Συντελεστές εικόνας:

Wonder Studio

Το Wonder Dynamics, το οποίο αναφέρθηκε σε πολλές κεντρικές σημειώσεις και παρουσιάσεις, προσφέρει ένα άλλο παράδειγμα χρήσης διαδικασιών μηχανικής μάθησης στην παραγωγή — εξ ολοκλήρου υπό τον έλεγχο των καλλιτεχνών. Τα προηγμένα μοντέλα αναγνώρισης σκηνών και αντικειμένων αναλύουν το κανονικό υλικό και αντικαθιστούν αμέσως τους ανθρώπινους ηθοποιούς με τρισδιάστατα μοντέλα, μια διαδικασία που κάποτε χρειαζόταν εβδομάδες ή μήνες.

Αλλά όπως μου είπαν πριν από μερικούς μήνες, οι εργασίες που αυτοματοποιούν δεν είναι οι δημιουργικές — είναι εξαντλητική εργασία (μερικές φορές ρότο) που δεν περιλαμβάνει σχεδόν καμία δημιουργική απόφαση. «Αυτό δεν διαταράσσει αυτό που κάνουν. αυτοματοποιεί το 80-90% της αντικειμενικής εργασίας VFX και τους αφήνει με την υποκειμενική δουλειά», είπε τότε ο συνιδρυτής Nikola Todorovic. Συνάντησα τον ίδιο και τον συνιδρυτή του, τον ηθοποιό Tye Sheridan στο SIGGRAPH, και απολάμβαναν το τοστ της πόλης: ήταν ξεκάθαρο ότι η βιομηχανία κινούνταν προς την κατεύθυνση που είχαν ξεκινήσει πριν από χρόνια. (Παρεμπιπτόντως, ελάτε να δείτε τον Sheridan στη σκηνή AI στο TechCrunch Disrupt τον Σεπτέμβριο.)

Τούτου λεχθέντος, οι προειδοποιήσεις των συγγραφέων και των ηθοποιών που απεργούν δεν απορρίπτονται σε καμία περίπτωση από την κοινότητα του VFX. Τους επαναλαμβάνουν, στην πραγματικότητα, και οι ανησυχίες τους είναι παρόμοιες — αν όχι τόσο υπαρξιακές. Για έναν ηθοποιό, η ομοιότητα ή η ερμηνεία κάποιου (ή για έναν συγγραφέα, η φαντασία και η φωνή του) είναι τα προς το ζην, και η απειλή ότι θα ιδιοποιηθεί και θα αυτοματοποιηθεί πλήρως είναι τρομακτική.

Για τους καλλιτέχνες σε άλλα μέρη της παραγωγικής διαδικασίας, η απειλή του αυτοματισμού είναι επίσης πραγματική, και επίσης περισσότερο πρόβλημα ανθρώπων παρά τεχνολογικό. Πολλοί άνθρωποι με τους οποίους μίλησα συμφώνησαν ότι οι κακές αποφάσεις από ανενημέρωτους ηγέτες είναι το πραγματικό πρόβλημα.

«Το AI φαίνεται τόσο έξυπνο που μπορεί να αναβάλλετε τη διαδικασία λήψης αποφάσεων στο μηχάνημα», είπε ο Bertrand. «Και όταν οι άνθρωποι αναθέτουν τις ευθύνες τους στις μηχανές,

αυτό είναι

όπου γίνεται τρομακτικό».

Εάν η τεχνητή νοημοσύνη μπορεί να αξιοποιηθεί για τη βελτίωση ή τον εξορθολογισμό της δημιουργικής διαδικασίας, όπως με μείωση του χρόνου που αφιερώνεται σε επαναλαμβανόμενες εργασίες ή δίνοντας τη δυνατότητα σε δημιουργούς με μικρότερες ομάδες ή προϋπολογισμούς να ταιριάζουν με τους συνομηλίκους τους με καλύτερους πόρους, θα μπορούσε να μεταμορφωθεί. Αλλά αν η δημιουργική διαδικασία αποσπαστεί στην τεχνητή νοημοσύνη, μια διαδρομή που ορισμένα στελέχη φαίνεται πρόθυμα να εξερευνήσουν, τότε παρά την τεχνολογία που ήδη διαπερνά το Χόλιγουντ, οι απεργίες θα ξεκινήσουν μόλις.