Το πρόγραμμα επεξεργασίας φωτογραφιών AI της Google σάς επιτρέπει να χρησιμοποιείτε λέξεις για να περιγράψετε τι να επεξεργαστείτε

Η τεχνητή νοημοσύνη και η μηχανική μάθηση είναι τα έργα πάθους της

Google

εδώ και αρκετά χρόνια, και η κεντρική ομιλία του I/O 2023 το έκανε περισσότερο εμφανές. Η δημιουργία εικόνας είναι μια από τις πιο ενδιαφέρουσες εφαρμογές για αυτήν την τεχνολογία και οι προσπάθειες της Google σε αυτόν τον τομέα υλοποιήθηκαν ως

Imagen

ένα εργαλείο δημιουργίας εικόνων που βασίζεται σε κείμενο, όπως το

Midjourney

και το DALL-E 2. Τώρα, η Google μοιράζεται την έρευνα που παρουσιάζει το Imagen Editor, όπου τα μηνύματα κειμένου και ένα μικρό σκίτσο μπορούν να επαρκούν για την εκτέλεση τοπικών επεξεργασιών στις φωτογραφίες.

Το βοηθητικό πρόγραμμα Imagen της Google είναι ήδη έμπειρο στη δημιουργία εικόνων από το μηδέν, αποκλειστικά από κειμενικά μηνύματα. Ωστόσο, εάν δεν είστε ικανοποιημένοι με το αποτέλεσμα, συνήθως αναγκάζεστε να αναδιαρθρώσετε την προτροπή σας, να τη γυαλίσετε και να δώσετε στη γεννήτρια εικόνων μια άλλη κίνηση, απλώς και μόνο επειδή το Imagen δεν επιτρέπει ακόμη την επεξεργασία συγκεκριμένων στοιχείων εικόνων που δεν είστε ευτυχισμένος με. Για να το αντιμετωπίσει αυτό, η Google πρόσφατα

κοινή έρευνα

Για

Imagen Editor και EditBench

βοηθητικά προγράμματα επί του παρόντος σε beta, αλλά ικανά να καθοδηγούν τις επεξεργασίες με προτροπές κειμένου.

Αντί να δημιουργεί νέες εικόνες χρησιμοποιώντας μια προτροπή, το Imagen Editor χρειάζεται μια φωτογραφία που πρέπει να επεξεργαστεί, μια προτροπή κειμένου από τον χρήστη που ορίζει την αλλαγή και μια περιοχή με κάλυψη που να ορίζει πού πρέπει να εφαρμοστεί η επεξεργασία. Το αποτέλεσμα είναι τροποποιήσεις που περιορίζονται στην περιοχή που ορίσατε, προσαρμοσμένες στην προτροπή που παρέχεται. Επιπλέον, τα αποτελέσματα είναι φωτορεαλιστικά και φυσικά.

Η περιοχή με μάσκα και τα αποτελέσματα του Imagen Editor για «ένα μπουκέτο κόκκινα λουλούδια», «δύο δέντρα», «ένα σημάδι του Imagen Editor», «ένας θάμνος με πράσινα φύλλα» και «ένας θάμνος χωρίς φύλλα»

Τεχνικά ονομάζεται inpainting, η διαδικασία που χρησιμοποιεί το νέο εργαλείο της Google είναι σαν μια αποκατάσταση εικόνας ή κάτι που μπορούμε να περιγράψουμε καλύτερα ως τη συμβολή του

Google AI

και του Content Aware Fill του Adobe Photoshop. Οι ερευνητές ανέπτυξαν νέους κωδικοποιητές για το Imagen Editor και συμπεριέλαβαν επίσης μια μονάδα ανίχνευσης αντικειμένων στο AI για να αντισταθμίσουν τις ελλιπείς ή ανακριβείς μάσκες.

Η έρευνα περιλαμβάνει επίσης ένα εργαλείο που ονομάζεται EditBench για την αξιολόγηση των αποτελεσμάτων της ζωγραφικής με καθοδήγηση κειμένου. Βασισμένο σε ένα σύνολο δεδομένων 240 εικόνων, το σημείο αναφοράς αξιολόγησε τις επεξεργασίες τόσο σε ανθρωπογενείς εικόνες όσο και σε εικόνες που δημιουργήθηκαν από AI σε παραμέτρους όπως τα τροποποιημένα αντικείμενα, τα χαρακτηριστικά τους όπως το σχήμα, το μέγεθος, ο αριθμός και η καταλληλότητα για τη σκηνή. Η Google παρατήρησε ότι η κάλυψη αντικειμένων βοηθά στη βελτίωση της ευθυγράμμισης εικόνας-κειμένου, καθιστώντας το Imagen Editor καλύτερο από εναλλακτικές λύσεις όπως το DALL-E 2 και το StableDiffusion σε όλες τις κατηγορίες που δοκιμάστηκαν στο EditBench.

Δυστυχώς, η Google έχει απροσδιόριστες ανησυχίες σχετικά με την υπεύθυνη χρήση της τεχνητής νοημοσύνης και γι’ αυτό δεν θα κυκλοφορήσει το Imagen Editor στο κοινό. Η εταιρεία πρότεινε πρόσφατα ένα πλαίσιο για τη διασφάλιση της ανάπτυξης της τεχνητής νοημοσύνης και ελπίζουμε ότι μπορούν να τεθούν ορισμένα αυστηρά όρια πριν δοθεί στους χρήστες πρόσβαση σε εργαλεία όπως το Imagen Editor. Από τη θετική πλευρά, το EditBench είναι διαθέσιμο στο σύνολό του, δωρεάν, για να βοηθήσει στην περαιτέρω έρευνα της τεχνητής νοημοσύνης. Εν τω μεταξύ, εξακολουθούμε να ελπίζουμε ότι το βασικό μοντέλο, το Imagen, θα ενσωματωθεί σύντομα στο Gboard.