Η σταθερή διάχυση βίντεο (SVD) μετατρέπει στατικές εικόνες σε δυναμικά σορτς

Stability AI

πρόσφατα

αποκαλύφθηκε

την τελευταία της καινοτομία, το

Stable

Video Diffusion (SVD), ένα πρωτοποριακό εργαλείο AI που μετατρέπει στατικές εικόνες σε δυναμικά σύντομα βίντεο. Αυτό το δωρεάν βοηθητικό πρόγραμμα έρευνας, διαθέσιμο ως προεπισκόπηση ανοιχτού βάρους, λειτουργεί σε δύο μοντέλα τεχνητής νοημοσύνης που χρησιμοποιούν την τεχνική εικόνας σε βίντεο. Είναι αξιοσημείωτο ότι το SVD λειτουργεί αποτελεσματικά σε τοπικά μηχανήματα εξοπλισμένα με GPU

Nvidia

. Αυτή η έκδοση σηματοδοτεί ένα σημαντικό βήμα στη σφαίρα της δημιουργίας βίντεο με τη βοήθεια AI, αν και τα αποτελέσματά της δείχνουν επί του παρόντος ένα φάσμα αποτελεσματικότητας.

Σήμερα, κυκλοφορούμε το Stable Video Diffusion, το πρώτο μας μοντέλο βάσης για παραγωγικό βίντεο που βασίζεται στο μοντέλο εικόνας Stable Diffusion. Τώρα διαθέσιμο σε προεπισκόπηση έρευνας, αυτό το υπερσύγχρονο μοντέλο βίντεο τεχνητής νοημοσύνης που δημιουργείται αντιπροσωπεύει ένα σημαντικό βήμα στο ταξίδι μας προς τη δημιουργία μοντέλων για όλους, κάθε τύπου.

-Σταθερότητα AI

Τι είναι η σταθερή διάχυση βίντεο ή SVD;

Το Stable Video Diffusion (SVD), ένα εγχείρημα της Stability AI, είναι ένα φιλόδοξο βήμα στον τομέα της σύνθεσης βίντεο AI. Αυτή η καινοτομία έρχεται αμέσως μετά την επιτυχημένη κυκλοφορία του Stable Diffusion πέρυσι, ενός μοντέλου σύνθεσης εικόνας ανοιχτού βάρους που πυροδότησε το πεδίο της σύνθεσης ανοιχτής εικόνας. Προώθησε μια ισχυρή κοινότητα ενθουσιωδών που έκτοτε έχουν επεκτείνει την τεχνολογία με τις μοναδικές προσαρμογές τους. Τώρα, η Stability AI στοχεύει να επαναλάβει αυτήν την επιτυχία στη σύνθεση βίντεο, αν και είναι μια τεχνολογία που βρίσκεται ακόμα στα αρχικά της στάδια.

Επί του παρόντος, το Stable Video Diffusion περιλαμβάνει δύο διαφορετικά μοντέλα. Το πρώτο μοντέλο, γνωστό απλά ως “SVD”, είναι ικανό να μετατρέπει εικόνες σε βίντεο μήκους έως 14 καρέ. Το δεύτερο, “SVD-XT”, επεκτείνει αυτή τη δυνατότητα σε 25 καρέ. Αυτά τα μοντέλα προσφέρουν ευελιξία στη λειτουργία, με ταχύτητες που κυμαίνονται από 3 έως 30 καρέ ανά δευτερόλεπτο. Δημιουργούν σύντομα βίντεο κλιπ, συνήθως διάρκειας 2 έως 4 δευτερολέπτων, σε μορφή MP4 με ανάλυση 576×1024.

Βασικά σημεία που αναλύονται από το Stability AI:

• 
  Προσαρμόζεται σε πολλές εφαρμογές βίντεο:
  
  Η προσαρμοστικότητα του SVD λάμπει σε πολλές εργασίες που σχετίζονται με βίντεο. Μία από τις αξιοσημείωτες εφαρμογές του είναι η σύνθεση πολλαπλών προβολών από μία μόνο εικόνα, που μπορεί να επιτευχθεί με λεπτομέρεια σε σύνολα δεδομένων πολλαπλών προβολών. Το Stability AI οραματίζεται μια σειρά μοντέλων που θα βασιστούν και θα ενισχύσουν αυτή τη θεμελιώδη τεχνολογία, φιλοδοξώντας να δημιουργήσουν ένα οικοσύστημα παρόμοιο με αυτό που αναπτύχθηκε γύρω από το Stable Diffusion.

• 
  Ανταγωνιστικό σε απόδοση:
  
  Κυκλοφόρησε σε δύο εκδόσεις για μετατροπή εικόνας σε βίντεο, το Stable Video Diffusion επιδεικνύει την ικανότητά του στη δημιουργία βίντεο 14 και 25 καρέ με ρυθμιζόμενους ρυθμούς καρέ μεταξύ 3 και 30 fps. Σε αρχικές εξωτερικές αξιολογήσεις, αυτά τα μοντέλα έχουν δείξει ότι υπερτερούν των κορυφαίων κλειστών μοντέλων στις μελέτες προτιμήσεων των χρηστών, ακόμη και στα αρχικά τους στάδια.

Το Stability AI επιθυμεί να διευκρινίσει ότι το Stable Video Diffusion (SVD) βρίσκεται επί του παρόντος σε αρχικό στάδιο και έχει σχεδιαστεί κυρίως για ερευνητικούς σκοπούς:

Ενώ ενημερώνουμε με ανυπομονησία τα μοντέλα μας με τις πιο πρόσφατες εξελίξεις και εργαζόμαστε για να ενσωματώσουμε τα σχόλιά σας. Αυτό το μοντέλο δεν προορίζεται για πραγματικές ή εμπορικές εφαρμογές σε αυτό το στάδιο. Οι πληροφορίες και τα σχόλιά σας σχετικά με την ασφάλεια και την ποιότητα είναι σημαντικά για τη βελτίωση αυτού του μοντέλου για την τελική κυκλοφορία του.

Η ερευνητική εργασία για τη σταθερή διάχυση βίντεο δεν αποκαλύπτει την προέλευση των συνόλων δεδομένων εκπαίδευσης. Αναφέρει τη χρήση «ένα μεγάλο σύνολο δεδομένων βίντεο», το οποίο έχει δημιουργηθεί στο Large Video Dataset (LVD). Αυτό το εντυπωσιακό σύνολο δεδομένων περιλαμβάνει περίπου 580 εκατομμύρια σχολιασμένα βίντεο κλιπ, που περικλείουν περιεχόμενο 212 ετών σε διάρκεια.

Μοντέλα σταθερής διάχυσης που μπορούν να βελτιώσουν τη διαδικασία παρ

αγωγή

ς σας

Το SVD

δεν είναι

το πρώτο μοντέλο AI που παρέχει τέτοια λειτουργικότητα, αλλά ξεχωρίζει στην προσέγγιση και τις δυνατότητές του. Για όσους ενδιαφέρονται να εξερευνήσουν ή να συνεισφέρουν στο SVD, ο πηγαίος κώδικας και τα βάρη είναι ανοιχτά

προσβάσιμο στο GitHub

. Ένας εναλλακτικός τρόπος πειραματισμού με το SVD είναι μέσω του

Πλατφόρμα Pinokio

. Αυτή η πλατφόρμα απλοποιεί τη διαδικασία με τη διαχείριση των εξαρτήσεων εγκατάστασης και την εκτέλεση του μοντέλου σε ένα αποκλειστικό περιβάλλον.

Το Stability AI εισήγαγε μια ευκαιρία να

εγγραφείτε στη λίστα αναμονής τους

για μια νέα εμπειρία ιστού με διεπαφή κειμένου σε βίντεο. Αυτή η διεπαφή, που υποστηρίζεται από το Stable Video Diffusion, αναμένεται να βρίσκει εφαρμογές σε διάφορους τομείς όπως η διαφήμιση, η εκπαίδευση και η ψυχαγωγία. Παρουσιάζει μια ματιά στις πρακτικές χρησιμότητα του SVD, καταδεικνύοντας τον πιθανό αντίκτυπό του πέρα ​​από την ερευνητική κοινότητα.