Το μοντέλο δημιουργίας βίντεο Sora του OpenAI μπορεί επίσης να αποδώσει βιντεοπαιχνίδια

Το

νέο

του OpenAI — και πρώτο! — Το μοντέλο παραγωγής βίντεο, Sora, μπορεί να πετύχει μερικά πραγματικά εντυπωσιακά κινηματογραφικά επιτεύγματα. Αλλά το μοντέλο είναι άρτιο

περισσότερο

ικανό από ό,τι το OpenAI αρχικά έδειξε να είναι, τουλάχιστον αν κρίνουμε από έναν τεχνικό

χαρτί

δημοσιεύτηκε σήμερα το βράδυ.

Η δημοσίευση, με τίτλο «Μοντέλα παραγωγής βίντεο ως προσομοιωτές κόσμου»,

που

συνυπογράφουν πολλοί ερευνητές του OpenAI, ξεφλουδίζει τις βασικές πτυχές της αρχιτεκτονικής του Sora — για παράδειγμα αποκαλύπτοντας ότι ο Sora μπορεί να δη

μι

ουργήσει βίντεο αυθαίρετης ανάλυσης και αναλογίας διαστάσεων ( έως 1080p). Σύμφωνα με το χαρτί, ο Sora είναι σε θέση να εκτελεί μια σειρά εργασιών επεξ

εργασία

ς εικόνας και βίντεο, από τη

δημιουργία βίντεο

με επαναφορά έως την επέκταση βίντεο προς τα εμπρός ή προς τα πίσω στο χρόνο έως την αλλαγή του φόντου σε ένα υπάρχον βίντεο.

Αλλά το πιο ενδιαφέρον για αυτόν τον συγγραφέα είναι η ικανότητα του Sora να «προσομοιώνει ψηφιακούς κόσμους», όπως το έθεσαν οι συν-συγγραφείς του OpenAI. Σε ένα πείραμα, το OpenAI έθεσε το Sora στο Minecraft και του έβαλε να αποδίδει τον κόσμο – και τη δυναμική του, συμπεριλαμβανομένης της φυσικής – ενώ ταυτόχρονα ελέγχει τον παίκτη.

Ο Sora ελέγχει έναν παίκτη στο Minecraft — και αποδίδει τον κόσμο των βιντεοπαιχνιδιών όπως το κάνει. Σημειώστε ότι η κόκκωση εισήχθη από ένα εργαλείο μετατροπής βίντεο σε GIF και όχι από το Sora.

Συντελεστές εικόνας:

OpenAI

Πώς μπορεί λοιπόν η Σόρα να το κάνει αυτό; Λοιπόν, όπως

παρατηρήθηκε

από τον ανώτερο ερευνητή της Nvidia Jim Fan (

μέσω Quartz

), Ο Sora είναι περισσότερο μια «μηχανή φυσικής που βασίζεται σε δεδομένα» παρά ως δημιουργικό. Δεν είναι απλώς η δημιουργία μιας φωτογραφίας ή βίντεο, αλλά ο προσδιορισμός της φυσικής κάθε αντικειμένου σε ένα περιβάλλον — και η απόδοση μιας φωτογραφίας ή ενός βίντεο (ή ενός διαδραστικού τρισδιάστατου κόσμου, ανάλογα με την περίπτωση) με βάση αυτούς τους υπολογισμούς.

«Αυτές οι δυνατότητες υποδηλώνουν ότι η συνεχής κλιμάκωση των μοντέλων βίντεο είναι μια πολλά υποσχόμενη πορεία προς την ανάπτυξη προσομοιωτών υψηλής ικανότητας του φυσικού και ψηφιακού κόσμου και των αντικειμένων, των ζώων και των ανθρώπων που ζουν μέσα τους», γράφουν οι συγγραφείς.

Τώρα, οι συνήθεις περιορισμοί του Sora ισχύουν στον τομέα των βιντεοπαιχνιδιών. Το μοντέλο δεν μπορεί να προσεγγίσει με ακρίβεια τη φυσική των βασικών αλληλεπιδράσεων όπως η θραύση γυαλιού. Και μάλιστα με αλληλεπιδράσεις

μπορώ

μοντέλο, η Sora είναι συχνά ασυνεπής — για παράδειγμα, να αποδίδει ένα άτομο να τρώει ένα μπιφτέκι αλλά να μην δίνει σημάδια από δαγκώματα.