Βίντεο AI: Νέα επιτυχία με την προσθήκη συγχρονισμού χειλιών από την Pika Labs

Η Pika Labs, μια από τις κορυφαίες πλατφόρμες βίντεο τεχνητής νοημοσύνης, έχει προσθέσει μια νέα δυνατότητα που μπορεί να φέρει φωνή στους χαρακτήρες που δημιουργούνται.

Το Lip Sync δημιουργήθηκε σε συνεργασία με την πλατφόρμα ήχου τεχνητής νοημοσύνης ElevenLabs και σας επιτρέπει να δίνετε λόγια στους ανθρώπους σε βίντεο που δημιουργούνται και να συγχρονίζετε τις κινήσεις των χειλιών τους με τον ήχο.

Οι δημιουργοί ταινιών που θέλουν να έχουν χαρακτήρες στο δημιουργημένο τους βίντεο που κρατούν μια συνομιλία θα πρέπει να τους αποδεχτούν να μην έχουν κίνηση των χειλιών ή να τέμνουν πραγματικούς ηθοποιούς με δημιουργημένα κλιπ.

Το Lip Sync το αλλάζει. Το νέο εργαλείο είναι μια σημαντική στιγμή στον παραγωγικό χώρο βίντεο τεχνητής νοημοσύνης, ο οποίος είναι μόλις ενός έτους. Θα έλεγα ότι όταν αναπτυχθεί σωστά και τα αρχικά ζητήματα επιλυθούν, είναι τόσο σημαντική όσο η κυκλοφορία του Sora του OpenAI.

Τι είναι το Lip Sync από την Pika Labs

Μέχρι τώρα τα περισσότερα βίντεο κλιπ που δημιουργήθηκαν με τεχνητή νοημοσύνη ήταν ακριβώς αυτό, κλιπ που δείχνουν μια σκηνή, ένα άτομο ή μια κατάσταση. Δεν είχαν τη διαδραστικότητα ενός χαρακτήρα που μιλάει στην κάμερα ή σε κάποιον άλλο στην οθόνη.

Χωρίς τη δυνατότητα να υπάρχουν ρεαλιστικοί χαρακτήρες που μιλούν στο κοινό, τα περισσότερα βίντεο έχουν δοξαστεί σε slideshow ή έχουν χρησιμοποιηθεί για μουσικά βίντεο.

Έχω κάνει και τα δύο, έφτιαξα επίσης φανταστικά τρέιλερ για τηλεοπτικές εκπομπές ή διαφημίσεις — όλα χρησιμοποιώντας φωνή αντί να δίνω φωνή σε συγκεκριμένους χαρακτήρες στο βίντεο.

Δεν έχω δοκιμάσει ακόμα το Lip Sync, καθώς είναι προς το παρόν διαθέσιμο μόνο σε χρήστες που είναι εγγεγραμμένοι στο πρόγραμμα Pro ή παραπάνω, αλλά από ό,τι έχω δει σε άλλες γενιές, δεν είναι τέλειο, αλλά πολύ κοντά στο να είναι έτοιμο για παραγωγή. Τουλάχιστον θα παρουσιάσει έναν φθηνό τρόπο για να κατεβάσετε γρήγορα έναν πιλότο από το έδαφος.

Η λειτουργία μπορεί να μεταφέρει κείμενο σε ήχο με τη φωνή που παρέχεται από το ElevenLabs ή απευθείας μεταφόρτωση ήχου εάν έχετε ήδη τον δικό σας ήχο — όπως ένα podcast ή ένα βιβλίο.

Παρόμοια λειτουργικότητα είναι ήδη διαθέσιμη από εργαλεία όπως το Synthesia, αλλά αυτό εστιάζει περισσότερο στην εξυπηρέτηση πελατών για επιχειρήσεις και δημιουργεί κεφαλές που μιλάνε και όχι χαρακτήρες.

Γιατί το Lip Sync σε βίντεο AI είναι μεγάλη υπόθεση;

Το Runway και το Pika Labs είναι οι κυρίαρχες πλατφόρμες για αληθινά παραγωγικά βίντεο τους τελευταίους μήνες. Έρχεται νωρίς στην αγορά και επαναλαμβάνεται γρήγορα, με τη Runway να αποκαλύπτει τη συνθετική υπηρεσία φωνής της πέρυσι — αλλά όχι συγχρονισμένη με βίντεο.

Ωστόσο, ο ανταγωνισμός αρχίζει να θερμαίνεται με όλους τους μεγάλους παίκτες να εξερευνούν το δημιουργικό βίντεο και το OpenAI να αποκαλύπτει την πολύ εντυπωσιακή πλατφόρμα βίντεο Sora AI.

Η StabilityAI διαθέτει επίσης μια νέα έκδοση του Stable Video Diffusion και η Leonardo προσφέρει κίνηση για οποιαδήποτε από τις εικόνες που δημιουργούνται με AI. Η Google έχει το Lumiere και το Meta έχει το Emu, αναγκάζοντας τους πρώτους παίκτες να προσθέσουν νέες δυνατότητες πριν προλάβουν όλοι οι άλλοι.

Τι ακολουθεί?

Μέχρι τώρα έχουμε δει σιλό σε γενετική τεχνητή νοημοσύνη. Εργαλεία που δημιουργούν εικόνες, εργαλεία που δημιουργούν βίντεο, υπηρεσίες για τη σύνταξη ενός σεναρίου και κάτι άλλο για προσθήκη ήχου. Το επόμενο βήμα θα είναι τα μεγαλύτερα επίπεδα σύγκλισης, με τις πλατφόρμες που αναδύονται να προσφέρουν πλήρη παραγωγή από άκρο σε άκρο από μια απλή προτροπή κειμένου.

Η ElevenLabs εργάζεται επίσης σε μια βιβλιοθήκη ηχητικών εφέ και σε συνδυασμό με τη Suno θα μπορούσαμε να δούμε σύντομα μια ενιαία πλατφόρμα όπου θα μπορείτε να πείτε “πάρτε αυτό το σενάριο που γράφτηκε από το ChatGPT και μετατρέψτε το σε ταινία μικρού μήκους”.

Λίγα λεπτά αργότερα θα είχατε ένα χρονοδιάγραμμα με μια σειρά βίντεο, μέρη που μιλούσαν χαρακτήρες χρησιμοποιώντας συνθετικές φωνές ElevenLabs και κατάλληλα ηχητικά εφέ και μουσική που θα ζωντανέψει την πλήρη παραγωγή.

Υπήρχε ανησυχία ότι θα βλέπαμε την τεχνητή νοημοσύνη να μετατρέπεται σε Skynet και να ελέγχει τη ζωή μας, αλλά τα στοιχεία (μέχρι στιγμής) δείχνουν ότι θέλει απλώς να διασκεδάσει.

Περισσότερα από το Tom’s Guide