Το
νέο μοντέλο Τεχνητής
Νοημοσύνη
ς
Lumiere
της
Google
για τη δημιουργία
βίντεο
χρησιμοποιεί ένα νέο σύστημα διάχυσης που ονομάζεται
Space-Time-U-Net
, ή
STUNet
, το οποίο υπολογίζει πού βρίσκονται τα πράγματα σε ένα βίντεο (χώρος) και πώς κινούνται και αλλάζουν ταυτόχρονα (χρόνος). Η ιστοσελίδα Ars Technica αναφέρει ότι αυτή η μέθοδος επιτρέπει στο
Lumiere
να δημιουργήσει το βίντεο με μιας αντί να συνθέτει μαζί μικρότερα σταθερά καρέ.
Το
Lumiere
ξεκινά με τη δημιουργία ενός βασικού πλαισίου από την προτροπή
του
χρήστη. Στη συνέχεια, χρησιμοποιεί το
STUNet framework
για να αρχίσει να προσδιορίζει προσεγγιστικά πού θα κινηθούν τα αντικείμενα μέσα σε αυτό το καρέ, ώστε να παράγει περισσότερα καρέ που εισέρχονται το ένα στο άλλο, δημιουργώντας την εντύπωση μιας απρόσκοπτης κίνησης. Το
Lumiere
παράγει 80 καρέ σε σύγκριση με τα 25 καρέ του Stable Video Diffusion.
Το
Lumiere
έχει τη δυνατότητα να εκτελεί διάφορα τρικ, τα οποία παρουσιάζονται με παραδείγματα στη demo σελίδα της
Google
. Για παράδειγμα, μπορεί να εκτελέσει τη δημιουργία κειμένου σε βίντεο (μετατρέποντας μια γραπτή προτροπή σε βίντεο), να μετατρέψει ακίνητες εικόνες σε βίντεο, να δημιουργήσει βίντεο σε συγκεκριμένα στυλ χρησιμοποιώντας μια εικόνα αναφοράς, να εφαρμόσει συνεκτική επεξεργασία βίντεο χρησιμοποιώντας προτροπές που βασίζονται σε κείμενο, να δημιουργήσει
cinemagraphs
με animation συγκεκριμένων περιοχών μιας εικόνας και να προσφέρει δυνατότητες video
inpainting
(για παράδειγμα, μπορεί να αλλάξει τον τύπο του φορέματος που φοράει ένα άτομο).
Στο άρθρο για το
Lumiere
, οι ερευνητές της
Google
αναφέρουν ότι το μοντέλο Τεχνητής Νοημοσύνης παράγει βίντεο διάρκειας πέντε δευτερολέπτων σε ανάλυση 1024×1024 , τα οποία χαρακτηρίζουν ως “χαμηλής ανάλυσης”. Παρά τους περιορισμούς αυτούς, οι ερευνητές πραγματοποίησαν μια δοκιμή με χρήστες και ισχυρίζονται ότι προτιμήθηκαν οι παραγωγές του
Lumiere
σε σύγκριση με τα άλλα υπάρχοντα μοντέλα σύνθεσης βίντεο Τεχνητής Νοημοσύνης.
Όσον αφορά τα δεδομένα εκπαίδευσης, η Google δεν λέει από πού πήρε τα βίντεο που τροφοδότησε το Lumiere, γράφοντας:
Εκπαιδεύουμε το μοντέλο T2V [text to video] σε ένα σύνολο δεδομένων που περιέχει 30 εκατομμύρια βίντεο μαζί με τις λεζάντες τους. Τα βίντεο έχουν διάρκεια 80 καρέ στα 16 fps (5 δευτερόλεπτα). Το βασικό μοντέλο εκπαιδεύεται σε ανάλυση 128×128.
Μπορείτε να ρίξετε μια ματιά στο Lumiere
από εδώ
.
[
via
]
VIA:
TechGear.gr
