Runway vs Pika Labs — ποιο είναι το καλύτερο εργαλείο βίντεο AI;

Δοκιμή 1: Πλάνα από drone πάνω από δασική πυρκαγιά

Αυτή ήταν μια απλή δοκιμή κειμένου σε βίντεο και στα δύο μοντέλα, χρησιμοποιώντας προεπιλεγμένες ρυθμίσεις και χωρίς προσαρμοσμένη κίνηση της κάμερας. Παρουσιάζει την ευκαιρία να δοκιμαστεί η πρωτογενής απόδοση του υποκείμενου μοντέλου.

Χρησιμοποίησα την προτροπή για αυτήν τη δοκιμή: «Πλήνες από drone που πετούν πάνω από μια δασική πυρκαγιά. Φωτορεαλιστικά. Οι φλόγες πηδούν προς την κάμερα». Αυτό δοκιμάζει διάφορες πτυχές του μοντέλου, συμπεριλαμβανομένου του πώς χειρίζεται την κίνηση της κάμερας από το drone, τις φλόγες που κινούνται και τα γραφικά των δέντρων και της φωτιάς.

Ο Runway ήταν ένας εύκολος και ξεκάθαρος νικητής

σε αυτό το τεστ. Οι φλόγες ήταν πιο φυσικές και ήταν πιο κοντά σε πραγματικό βίντεο. Ο Πίκα φάνηκε να παλεύει με ρεαλιστικές φλόγες και πέταξε το βίντεο.

Δοκιμή 2: Ένα Yeti που περπατά στο χιόνι

Αυτή ήταν μια ευκαιρία να δούμε πόσο καλά καθένα από τα δύο εργαλεία βίντεο AI χειρίστηκε την κίνηση χαρακτήρων κινουμένων σχεδίων μέσα σε μια σκηνή. Και πάλι ήταν κείμενο σε βίντεο με προεπιλεγμένες ρυθμίσεις αλλά με επέκταση 4 δευτερολέπτων για να δείτε πώς χειρίζονται τη συνέπεια τα μοντέλα.

Η προτροπή δημιουργήθηκε από το ChatGPT καθώς ήθελα να δω πόσο καλά θα μπορούσε ένα AI να καθοδηγήσει ένα άλλο, προτείνοντάς τους να οραματιστούν: «Ένα επιβλητικό, μεγαλοπρεπές Yeti, ψηλό στα οκτώ πόδια με ένα χοντρό, δασύτριχο παλτό λευκής γούνας που λάμπει στον ήλιο. συλλαμβάνεται στη μέση του διασκελισμού καθώς διασχίζει ένα στενό, χιονισμένο ορεινό πέρασμα στην καρδιά των Ιμαλαΐων κατά τα μέσα του χειμώνα».

Το συνολικό σκηνικό για τη δημιουργία του Runway ήταν πιο φωτορεαλιστικό, αλλά το animation χαρακτήρων από τα Pika Labs ήταν καλύτερο. Νομίζω συνολικά

Η Pika Labs κερδίζει αυτόν τον γύρο

.

Τεστ 3: Μια μελλοντική πόλη από μια εικόνα

Για αυτήν τη δοκιμή, τράβηξα μια εικόνα ως προτροπή αντί να χρησιμοποιήσω μόνο κείμενο. Ήταν κείμενο και εικόνα σε βίντεο, αλλά όλες οι άλλες ρυθμίσεις διατηρήθηκαν ως προεπιλογή. Η εικόνα δημιουργήθηκε στο Night Cafe Studio χρησιμοποιώντας το μοντέλο SDXL 1.0 της StabilityAI.

Η προτροπή για το βίντεο: «Η κάμερα κινείται μέσα στην πόλη, προβάλλοντας πανύψηλους ουρανοξύστες με ολογραφικές διαφημίσεις, ιπτάμενα οχήματα που περνούν με ζουμ και ένα πολυσύχναστο, τεχνολογικά προηγμένο αστικό τοπίο».

Κανένα από τα δύο δεν έδωσε απόλυτη νίκη σε αυτόν τον γύρο, αλλά είμαι

δίνοντάς το στην Pika Labs

καθώς παρήγαγε animation πιο κοντά στην περιγραφή και το θέμα είναι μια δοκιμή κίνησης. Ήταν κοντά όμως καθώς το Runway δημιούργησε ένα πιο καθαρό βίντεο πιο κοντά στην αρχική εικόνα.

Δοκιμή 4: Πολλαπλοί χαρακτήρες σε ένα πλαίσιο

Ένας από τους τομείς με τους οποίους δυσκολεύονται όλα τα μοντέλα παραγωγής βίντεο είναι πολλοί χαρακτήρες που κινούνται μέσα σε μια ενιαία προβολή. Για αυτό το πείραμα, χρησιμοποίησα και πάλι κείμενο και εικόνα, αλλά αύξησα το επίπεδο κίνησης και στα δύο κατά δύο σημεία. Δεν άλλαξα άλλες ρυθμίσεις.

Η προτροπή τόσο για την εικόνα όσο και για το βίντεο: «Νορμανδοί ιππότες επιτίθενται εναντίον του τείχους της Σαξονικής ασπίδας. Η κάμερα κινείται πάνω από σπαθιά και δόρατα που συγκρούονται, εστιάζοντας στον Γουίλιαμ τον Κατακτητή που ηγείται της επίθεσης, με τον Χάρολντ Γκόντγουινσον να υπερασπίζεται».

Κανένας από τους δύο δεν κέρδισε αυτόν τον γύρο.

Δεν είναι επειδή η έξοδος είναι παρόμοια, καθώς είναι εκπληκτικά διαφορετική δεδομένου ότι και τα δύο προέρχονται από την ίδια εικόνα και κείμενο πηγής. Το θέμα είναι ότι όπως συμβαίνει με όλα τα μοντέλα βίντεο AI, κανένα από τα δύο δεν αντιμετώπισε καλά πολλούς χαρακτήρες. Το Runway θα κέρδιζε αν χρησιμοποιούσα τη λειτουργία πινέλου πολλαπλών κινήσεων, καθώς σας επιτρέπει να ορίσετε την κίνηση ανά περιοχή.

Τεστ 5: Ψάρια που κολυμπούν σε καθαρή θάλασσα

Για αυτό το τεστ, όλα αφορούσαν το κείμενο. Μια καλοσχηματισμένη προτροπή που έχει σχεδιαστεί για να βλέπει πόσο καλά χειρίζεται κάθε μοντέλο πολύπλοκη, αλλά λιγότερο ακατάστατη κίνηση σε ένα απλό περιβάλλον.

Η προτροπή: «Ένας ζωντανός κοραλλιογενής ύφαλος γεμάτος θαλάσσια ζωή. Η σκηνή είναι από την οπτική γωνία της αργής ολίσθησης μέσα στο νερό, με πολύχρωμα ψάρια να τρέχουν μέσα και έξω από τα κοράλλια και ένα ήπιο ρεύμα που προκαλεί τα θαλάσσια

φυτά

να ταλαντεύονται.»

Μου άρεσαν και οι δύο προσεγγίσεις εδώ και ήταν διαφορετικές η μία από την άλλη. Και οι δύο έκαναν επίσης εξαιρετική δουλειά στην ποικιλομορφία της κίνησης, με τα Pika Labs να κατεβαίνουν την πιο διαφορετική αλλά πιο απλή λωρίδα και το Runway να προσθέτει πολύ περισσότερα ψάρια στη σκηνή.

Ήταν μια στενή κλήση αλλά

Το έδωσα στα Pika Labs

επειδή το βίντεο του Runway ήταν λιγότερο συνεπές στην κίνηση των χαρακτήρων του. Μερικά από τα ψάρια συγχωνεύονται και άλλα φαίνεται να κινούνται προς τα πίσω.

Δοκιμή 6: Δοκιμή μοναδικών χαρακτηριστικών

Για την έκτη δοκιμή, στράφηκα για άλλη μια φορά στην εικόνα σε βίντεο. Συγκεκριμένα, έβαλα το Leonardo.ai να δημιουργήσει μια εικόνα ενός εξωγήινου πλάσματος με θέα σε μια τεράστια έκταση.

Ο στόχος αυτής της δοκιμής δεν ήταν τόσο ο τρόπος με τον οποίο χειρίστηκε την κίνηση, καθώς ο τύπος της εικόνας είναι συνήθως σχετικά εύκολος για εργαλεία βίντεο AI — ελάχιστη κίνηση, μεγάλο φόντο και λίγους χαρακτήρες.

Η δοκιμή εδώ ήταν ένα από τα χαρακτηριστικά μοναδικά για κάθε μοντέλο και τα οποία αποδείχθηκαν πιο χρήσιμα. Για το Runway ήταν το Multi Motion Brush και για τα Pika Labs στράφηκα στο Modify Region.

Αν και πιστεύω ότι το Modify Region είναι ένα εντυπωσιακό χαρακτηριστικό, ειδικά αν θέλετε να αλλάξετε μόνο μια μικρή πτυχή μιας εικόνας πηγής, το πινέλο πολλαπλών κινήσεων του Runway αλλάζει το παιχνίδι και γι’ αυτό

Έδωσα αυτόν τον γύρο στο Runway

.

Δοκιμή 7: Βίντεο σε βίντεο

Αυτή η τελική δοκιμή είναι μία από τις δυνατότητες βίντεο σε βίντεο που είναι διαθέσιμες από κάθε μοντέλο. Το Runway έχει ένα μικρό πλεονέκτημα στη δοκιμή, καθώς διαθέτει ένα αποκλειστικό μοντέλο βίντεο σε βίντεο που περιλαμβάνει μια σειρά επιλογών στυλ, όπως από κείμενο, εικόνα ή προκαθορισμένο

μήνυμα

.

Και τα δύο μοντέλα λειτουργούν ε

πικα

λύπτοντας το μεταφορτωμένο βίντεο πηγής με το στυλ από την προτροπή σας. Για τα Pika Labs αυτό είναι διαθέσιμο μόνο από μια δοκιμαστική γραμμή, αν και θα μπορούσατε να χρησιμοποιήσετε το Modify Region για να ορίσετε ένα συγκεκριμένο τμήμα του πλαισίου προς αλλαγή.

Καθώς είχα στο μυαλό μου το Yeti από μια προηγούμενη δοκιμή, του έδωσα την προτροπή: «Ο Yeti ως YouTuber», με ένα βίντεο που μιλούσα στην κάμερα ως υλικό πηγής. Κανένα από τα δύο δεν έκανε καλή δουλειά, έτσι, για να είμαι δίκαιος στη δοκιμή, προσπάθησα ξανά με την προτροπή: “Φουτουριστικός χαρακτήρας android ως YouTuber.”

Έχω χρησιμοποιήσει μοντέλα βίντεο σε βίντεο στο παρελθόν και κατάφεραν να κάνουν το στόμα να κινηθεί έγκαιρα στις λέξεις που λέγονται, αλλά αυτή τη φορά το Runway δυσκολεύτηκε. Ωστόσο, οπτικά ταίριαζε καλά στο σύντομο και αντικατόπτριζε την κίνηση του βίντεο πηγής.

Τα Pika Labs απέτυχαν να δημιουργήσουν έναν καλοσχηματισμένο χαρακτήρα, συνέχισαν να με γυρίζουν ανάποδα και δεν άλλαξαν πολύ τη συνολική άποψη.

Ο Runway ήταν ο εύκολος νικητής

σε αυτόν τον γύρο.