Το εντυπωσιακό Lumiere της Google μας δείχνει το μέλλον της δημιουργίας βίντεο τεχνητής νοημοσύνης σύντομης μορφής

Η Google κάνει άλλη μια χαραμάδα στη δημιουργία κειμένου σε

βίντεο

με το Lumiere, ένα νέο

μοντέλο

τεχνητής νοημοσύνης ικανό να δημιουργεί εκπληκ

τι

κά υψηλής ποιότητας περιεχόμενο.

Ο τεχνολογικός γίγαντας έχει σίγουρα κάνει πολύ δρόμο από την εποχή του Imagen Video. Θέματα σε

Βίντεο Lumiere

δεν είναι πια αυτά τα εφιαλτικά πλάσματα με τα λιωμένα πρόσωπα. Τώρα τα πράγματα φαίνονται πολύ πιο ρεαλιστικά. Οι θαλάσσιες χελώνες μοιάζουν με θαλάσσιες χελώνες, η γούνα των ζώων έχει τη σωστή υφή και οι άνθρωποι στα κλιπ τεχνητής νοημοσύνης έχουν γνήσια χαμόγελα (ως επί το πλείστον). Επιπλέον, υπάρχει πολύ λίγη από την παράξενη σπασμωδική κίνηση που παρατηρείται σε άλλα AI που δημιουργούν κείμενο σε βίντεο. Η κίνηση είναι σε μεγάλο βαθμό ομαλή σαν βούτυρο. Inbar Mosseri, επικεφαλής της ερευνητικής ομάδας στο Google Research,

δημοσίευσε ένα βίντεο στο κανάλι της στο YouTube

επιδεικνύοντας τις δυνατότητες του Lumiere.

Η Google έκανε πολλή δουλειά για να κάνει το περιεχόμενο του Lumiere να φαίνεται όσο πιο ζωντανό γίνεται. Η ομάδα προγραμματιστών το πέτυχε αυτό εφαρμόζοντας κάτι που ονομάζεται αρχιτεκτονική U-Net Space-

Time

(STUNet). Η τεχνολογία πίσω από το STUNet είναι αρκετά περίπλοκη. Αλλά όπως

Η Ars Technica εξηγεί

επιτρέπει στον Lumiere να κατανοήσει πού βρίσκονται τα αντικείμενα σε ένα βίντεο, πώς κινούνται και αλλάζουν και αποδίδει αυτές τις ενέργειες ταυτόχρονα με αποτέλεσμα μια ομαλή ροή δημιουργίας.

Αυτό έρχεται σε αντίθεση με άλλες πλατφόρμες δημιουργίας που πρώτα καθιερώνουν βασικά καρέ σε κλιπ και στη συνέχεια συμπληρώνουν τα κενά. Κάτι τέτοιο έχει ως αποτέλεσμα την σπασμωδική κίνηση για την οποία είναι γνωστή η τεχνολογία.

Καλά εξοπλισμένο

Εκτός από τη δημιουργία κειμένου σε βίντεο, το Lumiere διαθέτει πολλές δυνατότητες στην εργαλειοθήκη του, συμπεριλαμβανομένης της υποστήριξης για πολυτροπικότητα.

Οι χρήστες θα μπορούν να ανεβάζουν εικόνες πηγής ή βίντεο στο AI, ώστε να μπορούν να τα επεξεργάζονται σύμφωνα με τις προδιαγραφές τους. Για παράδειγμα, μπορείτε να ανεβάσετε μια εικόνα του

Κορίτσι με ένα μαργαριτάρι σκουλαρίκι

από τον Johannes Vermeer και μετατρέψτε το σε ένα σύντομο κλιπ όπου χαμογελά αντί να κοιτάζει ανέκφραστα. Το Lumiere έχει επίσης μια ικανότητα που ονομάζεται Cinemagraph, η οποία μπορεί να κινήσει τονισμένα τμήματα των εικόνων.

Η Google το αποδεικνύει αυτό επιλέγοντας μια πεταλούδα που κάθεται σε ένα λουλούδι. Χάρη στο AI, το βίντεο εξόδου έχει την πεταλούδα να χτυπά τα φτερά της ενώ τα λουλούδια γύρω της παραμένουν ακίνητα.

Τα πράγματα γίνονται ιδιαίτερα εντυπωσιακά όταν πρόκειται για βίντεο. Το Video Inpainting, ένα άλλο

χαρακτηριστικό

, λειτουργεί παρόμοια με το Cinemagraph, καθώς το AI μπορεί να επεξεργαστεί τμήματα κλιπ. Το πράσινο φόρεμα μιας γυναίκας με σχέδια μπορεί να μετατραπεί σε λαμπερό χρυσό ή μαύρο. Η Lumiere προχωρά ένα βήμα παραπέρα προσφέροντας Στυλοποίηση βίντεο για την αλλαγή θεμάτων βίντεο. Ένα κανονικό αυτοκίνητο που οδηγεί στο δρόμο μπορεί να μετατραπεί σε όχημα κατασκευασμένο εξ ολοκλήρου από ξύλο ή τουβλάκια Lego.

Ακόμα στα σκαριά

Είναι άγνωστο αν υπάρχουν σχέδια να κυκλοφορήσει το Lumiere στο κοινό ή αν η Google σκοπεύει να το εφαρμόσει ως νέα υπηρεσία.

Θα μπορούσαμε ίσως να δούμε το AI να εμφανίζεται σε ένα μελλοντικό τηλέφωνο Pixel ως την εξέλιξη του Magic Editor. Εάν δεν είστε εξοικειωμένοι με αυτό, το Magic Editor χρησιμοποιεί την «επεξεργασία AI [to] έξυπνα» αλλάξτε χώρους ή αντικείμενα σε φωτογραφίες στο Pixel 8. Το Video Inpainting, για εμάς, φαίνεται σαν μια φυσική εξέλιξη για την τεχνολογία.

Προς το παρόν, φαίνεται ότι η ομάδα θα το κρατήσει κεκλεισμένων των θυρών. Όσο εντυπωσιακό κι αν είναι αυτό το AI, εξακολουθεί να έχει τα προβλήματά του. Υπάρχουν jerky animations. Σε άλλες περιπτώσεις, τα άτομα έχουν άκρα που παραμορφώνονται σε χυλό. Αν θέλετε να μάθετε περισσότερα, μπορείτε να βρείτε την ερευνητική εργασία της Google για το Lumiere

Ο ιστότοπος arXiv του Πανεπιστημίου Κορνέλ

. Προσοχή: είναι μια πυκνή ανάγνωση.

Και φροντίστε να ελέγξετε τη συλλογή του TechRadar με τις καλύτερες γεννήτριες τέχνης AI για το 2024.