Νέο εργαλείο εικόνας σε 3D από την Stability AI: Άμεση δημιουργία ψηφιακών μοντέλων

Η StabilityAI, κατασκευαστές της οικογένειας μοντέλων εικόνων AI Stable Diffusion, αποκάλυψε ένα νέο εργαλείο εικόνας σε 3D που ονομάζεται

TripoSR

που μπορεί γρήγορα να μετατρέψει μια εικόνα σε αντικείμενο.

Υπάρχει ένας αυξανόμενος αριθμός παραγωγικών μοντέλων 3D, αλλά αυτό που κάνει το TripoSR να ξεχωρίζει είναι η ταχύτητα που μπορεί να δημιουργήσει ένα νέο αντικείμενο και ότι μπορεί να εκτελεστεί στον φορητό υπολογιστή σας.

Κατάφερα να λειτουργήσω το μοντέλο στο M2 MacBook Air μου σε περίπου 10 λεπτά χρησιμοποιώντας το

Πρόγραμμα εγκατάστασης Pinokio με 1 κλικ

. Χρειάστηκε περίπου ένα λεπτό για να δημιουργηθεί ένα αντικείμενο από μια απλή εικόνα.

Χρησιμοποιώντας μια έκδοση cloud του μοντέλου AI άλλοι χρήστες μπόρεσαν να το βάλουν να λειτουργεί μέσα στο Apple Vision Pro για να δημιουργήσουν ένα τρισδιάστατο αντικείμενο από μια φωτογραφία και να το φορτώσουν ως διαδραστικό αντικείμενο χωρίς να αφαιρέσουν τα ακουστικά.

Πώς λειτουργεί το TripoSR;

Το TripoSR είναι το αποτέλεσμα μιας συνεργασίας μεταξύ της StabilityAI και της Tripo AI, μιας startup τρισδιάστατης μοντελοποίησης με τεχνητή νοημοσύνη από την VAST AI Research.

Το εργαλείο σάς επιτρέπει να τραβήξετε οποιαδήποτε εικόνα, να αφαιρέσετε το φόντο και να το μετατρέψετε σε ένα πλήρως αποδομένο τρισδιάστατο αντικείμενο με το οποίο μπορείτε να αλληλεπιδράσετε.

Η εικόνα χρησιμεύει ως βάση για την 3D ανακατασκευή. Εκτελείται μέσω ενός προκαταρτισμένου κωδικοποιητή για να τον μετατρέψει σε διανύσματα με καθολικά και τοπικά χαρακτηριστικά της εικόνας.

Έχουν τις πληροφορίες που απαιτούνται για τη δημιουργία ενός τρισδιάστατου αντικειμένου. Δεν χρειάζεται καμία πρόσθετη είσοδο, όπως οι παράμετροι της κάμερας ή η θέση του καθώς το TripoSR έχει εκπαιδευτεί να «μαντεύει» αυτές τις πληροφορίες κατά την εκπαίδευσή του.

Αυτός είναι ο λόγος για τον οποίο είναι τόσο γρήγορο στη γενιά, αν και είναι επίσης ο λόγος που το πίσω μέρος του παραγόμενου μοντέλου μερικές φορές στερείται λεπτομέρειας.

Πόσο καλά λειτουργεί το TripoSR;

Τα μοντέλα είναι διασκεδαστικά και αρκετά υψηλή ανάλυση, αν και οι δοκιμές μου δυσκολεύτηκαν με την οπίσθια όψη ενός μοντέλου, συχνά καθιστώντας το κενό. Ωστόσο, η πιο εντυπωσιακή εξέλιξη είναι η ταχύτητα παραγωγής.

Δημιουργεί ένα αρχείο obj στο Mac μου σε οτιδήποτε από 30 δευτερόλεπτα έως ένα λεπτό και προφανώς θα δημιουργήσει ένα αρχείο από μια εικόνα σε μισό δευτερόλεπτο σε ένα μηχάνημα που εκτελεί GPU NVIDIA H100 Tensor Core.

Τα αντικείμενα είναι διαδραστικά και αν επιλέξετε τη σωστή αρχική εικόνα, μετατρέπεται καλύτερα σε τρισδιάστατο αντικείμενο από κάποια άλλα εργαλεία, συμπεριλαμβανομένων εκείνων που πραγματοποιούν πλήρη τρισδιάστατη σάρωση lidar χρησιμοποιώντας ένα τηλέφωνο.

Ποιες είναι οι περιπτώσεις χρήσης;

Αυτή η σχεδόν σε πραγματικό χρόνο δημιουργία ενός μεμονωμένου αντικειμένου θα μπορούσε να οδηγήσει σε αυθεντική δημιουργία εικονικού κόσμου εν κινήσει, δημιουργώντας παιχνίδια που αλλάζουν καθώς ο χρήστης αλληλεπιδρά.

Εάν πραγματοποιηθεί μέσα σε ένα περιβάλλον εικονικού κόσμου όπως το Apple Vision Pro, οι χρήστες θα μπορούσαν να δημιουργήσουν νέα έργα τέχνης ή αντικείμενα για να συμπληρώσουν την άποψή τους ή ακόμα και να πάρουν ένα αντικείμενο πραγματικού κόσμου και να το μετατρέψουν σε εικονικό με το οποίο μπορείτε να αλληλεπιδράσετε ενώ βρίσκεστε σε πλήρη VR.

Προς το παρόν, η κύρια χρήση του θα είναι η δημιουργία εικονικής τέχνης που μπορεί να εισαχθεί στο Blender, το Unity ή το Unreal Engine για χρήση σε παιχνίδι ανάπτυξης εικονικής σκηνής.

Περισσότερα από το Tom’s Guide