Το Stability AI μπαίνει στο παιχνίδι δημιουργίας βίντεο

AI startups που

δεν είναι

Το OpenAI αποσύρεται αυτή την εβδομάδα, όπως φαίνεται — εμμένει στους οδικούς χάρτες των προϊόντων τους, ακόμη και όταν η κάλυψη του χάους στο OpenAI κυριαρχεί στα ερτζιανά.

Δείτε: Stability AI, που σήμερα το απόγευμα

ανακοινώθηκε

Stable

Video

Diffusion, ένα μοντέλο τεχνητής νοημοσύνης που δημιουργεί

βίντεο

ζωντανεύοντας υπάρχουσες εικόνες. Με βάση το υπάρχον μοντέλο Stable Diffusion κειμένου σε εικόνα της Stability, το Stable Video Diffusion είναι ένα από τα λίγα μοντέλα δημιουργίας βίντεο που είναι διαθέσιμα σε ανοιχτό κώδικα — ή εμπορικά, για αυτό το θέμα.

Όχι όμως σε όλους.

Η Stable Video Diffusion βρίσκεται επί του παρόντος σε αυτό που η Stability περιγράφει ως “προεπισκόπηση έρευνας”. Όσοι επιθυμούν να εκτελέσουν το μοντέλο πρέπει να συμφωνήσουν με ορισμένους όρους χρήσης, οι οποίοι περιγράφουν τις προβλεπόμενες εφαρμογές του Stable Video Diffusion (π.χ. “εκπαιδευτικά ή δημιουργικά εργαλεία”, “σχεδιασμός και άλλες καλλιτεχνικές διαδικασίες” κ.λπ.) και μη προβλεπόμενες (” πραγματικές ή αληθινές αναπαραστάσεις ανθρώπων ή γεγονότων»).

Δεδομένου πώς

άλλες τέτοιες προεπισκοπήσεις έρευνας AI

– συμπεριλαμβανομένου

Δική της σταθερότητας

— έχουν περάσει ιστορικά, αυτός ο συγγραφέας δεν θα εκπλαγεί αν δει το μοντέλο να αρχίζει να κυκλοφορεί στον σκοτεινό ιστό σε σύντομο χρονικό διάστημα. Αν ναι, θα ανησυχώ για τους τρόπους με τους οποίους μπορεί να γίνει κατάχρηση του σταθερού βίντεο, δεδομένου ότι δεν φαίνεται να έχει ενσωματωμένο φίλτρο περιεχομένου. Όταν κυκλοφόρησε το Stable Diffusion, δεν χρειάστηκε πολύς χρόνος για να το χρησιμοποιήσουν ηθοποιοί με αμφισβητούμενες προθέσεις για να δημιουργήσουν μη συναινετικό deepfake πορνό — και χειρότερα.

Αλλά παρεκκλίνω.

Το Stable Video Diffusion έρχεται με τη μορφή δύο μοντέλων, στην πραγματικότητα — SVD και SVD-XT. Το πρώτο, το SVD, μετατρέπει στατικές εικόνες σε βίντεο 576×1024 σε 14 καρέ. Το SVD-XT χρησιμοποιεί την ίδια αρχιτεκτονική, αλλά αυξάνει τα καρέ στα 24. Και τα δύο μπορούν να δημιουργήσουν βίντεο με ταχύτητα μεταξύ τριών και 30 καρέ ανά δευτερόλεπτο.

Σύμφωνα με α

λευκό χαρτί

που κυκλοφόρησαν μαζί με το Stable Video Diffusion, το SVD και το SVD-XT αρχικά εκπαιδεύτηκαν σε ένα σύνολο δεδομένων εκατομμυρίων βίντεο και στη συνέχεια “βελτιστοποιήθηκαν” σε ένα πολύ μικρότερο σύνολο εκατοντάδων χιλιάδων έως περίπου ενός εκατομμυρίου κλιπ. Από πού προήλθαν αυτά τα βίντεο δεν είναι αμέσως σαφές – το έγγραφο υπονοεί ότι πολλά προέρχονταν από δημόσια ερευνητικά σύνολα δεδομένων – επομένως είναι αδύνατο να πούμε εάν κάποιο από αυτά ήταν υπό πνευματικά δικαιώματα. Εάν ήταν, θα μπορούσε να ανοίξει τους χρήστες του Stability and Stable Video Diffusion σε νομικές και ηθικές προκλήσεις σχετικά με τα δικαιώματα χρήσης. Ο χρόνος θα δείξει.

Όποια και αν είναι η πηγή των δεδομένων εκπαίδευσης, τα μοντέλα —τόσο SVD όσο και SVD-XT— δημιουργούν κλιπ τεσσάρων δευτερολέπτων αρκετά υψηλής ποιότητας. Σύμφωνα με την εκτίμηση αυτού του συγγραφέα, τα επιλεγμένα δείγματα στο ιστολόγιο της Stability θα μπορούσαν να έρθουν σε επαφή με τα

αποτελέσματα

από το πρόσφατο μοντέλο παραγωγής βίντεο της

Meta

καθώς και με παραδείγματα που παράγονται από τεχνητή νοημοσύνη που έχουμε δει από την Google και τις νεοφυείς επιχειρήσεις τεχνητής νοημοσύνης Runway και

Pika Labs

.

Αλλά η Stable Video Diffusion έχει περιορισμούς. Η Stability είναι διαφανής σχετικά με αυτό, γράφοντας στις σελίδες Hugging Face των μοντέλων —

ο


σελίδες

από όπου οι ερευνητές μπορούν να υποβάλουν αίτηση για πρόσβαση στο Stable Video Diffusion — ότι τα μοντέλα δεν μπορούν να δημιουργήσουν βίντεο χωρίς κίνηση ή αργή κίνηση της κάμερας, να ελέγχονται από κείμενο, να αποδίδουν κείμενο (τουλάχιστον όχι ευανάγνωστα) ή να δημιουργούν με συνέπεια πρόσωπα και άτομα «σωστά».

Ακόμα — ενώ είναι νωρίς — η Stability σημειώνει ότι τα μοντέλα είναι αρκετά επεκτάσιμα και μπορούν να προσαρμοστούν για χρήση περιπτώσεων όπως η δημιουργία όψεων αντικειμένων 360 μοιρών.

Σε τι μπορεί λοιπόν να εξελιχθεί το Stable Video Diffusion; Λοιπόν, η Stability λέει ότι σχεδιάζει «μια ποικιλία» μοντέλων που «χτίζουν και επεκτείνουν» τα SVD και SVD-XT, καθώς και ένα εργαλείο «κείμενο σε βίντεο» που θα φέρει μηνύματα κειμένου στα μοντέλα στο διαδίκτυο. Ο απώτερος στόχος φαίνεται να είναι η εμπορευματοποίηση — Η Stability σωστά σημειώνει ότι το Stable Video Diffusion έχει πιθανές εφαρμογές στη «διαφήμιση, την εκπαίδευση, την ψυχαγωγία και όχι μόνο».

Σίγουρα, το χτύπημα της Stability, καθώς οι επενδυτές στην startup αυξάνουν την πίεση.

Τον Απρίλιο η Semafor

έχουν αναφερθεί

ότι η Stability AI εξαντλούσε τα μετρητά, ωθώντας ένα διευθυντικό κυνήγι για αύξηση των πωλήσεων. Σύμφωνα με το

Forbes

, η εταιρεία έχει επανειλημμένα καθυστερήσει ή δεν έχει καταβάλει οριστικά μισθούς και φόρους μισθοδοσίας, με αποτέλεσμα το AWS – το οποίο χρησιμοποιεί η Stability για να εκπαιδεύει τα μοντέλα της – να απειλεί να ανακαλέσει την πρόσβαση της Stability στις παρουσίες GPU της.

Συντελεστές εικόνας:

Σταθερότητα AI

Stability AI πρόσφατα

ανυψώθηκε

25 εκατομμύρια δολάρια μέσω ενός μετατρέψιμου χαρτονομίσματος (δηλαδή χρέους που μετατρέπεται σε μετοχικό κεφάλαιο), ανεβάζοντας το σύνολο του σε πάνω από 125 εκατομμύρια δολάρια. Αλλά δεν έχει κλείσει νέα χρηματοδότηση σε υψηλότερη αποτίμηση. η εκκίνηση εκτιμήθηκε τελευταία σε 1 δισεκατομμύριο δολάρια. Λέγεται ότι η σταθερότητα επιδιώκει να τετραπλασιάσει αυτή μέσα στους επόμενους μήνες, παρά τα πεισματικά χαμηλά έσοδα και το υψηλό ποσοστό καύσης.

Η σταθερότητα υπέστη ένα άλλο πλήγμα πρόσφατα με το

αναχώρηση

του Ed Newton-Rex, ο οποίος ήταν αντιπρόεδρος ήχου στην εκκίνηση για λίγο περισσότερο από ένα χρόνο και έπαιξε καθοριστικό ρόλο στην κυκλοφορία του εργαλείου παραγωγής μουσικής της Stability, Stable Audio. Σε μια δημόσια επιστολή, ο Newton-Rex είπε ότι αποχώρησε από το Stability λόγω μιας διαφωνίας σχετικά με τα πνευματικά δικαιώματα και τον τρόπο με τον οποίο τα δεδομένα που προστατεύονται από πνευματικά δικαιώματα πρέπει – και δεν πρέπει – να χρησιμοποιούνται για την εκπαίδευση μοντέλων AI.