Το ChatGPT υποστηρίζει πλέον φωνητικές συνομιλίες και ερωτήματα που βασίζονται σε εικόνα

λαμβάνει ορισμένες σημαν

τι

κές ενημερώσεις που θα επιτρέψουν στο chatbot να αντιμετωπίζει φωνητικές εντολές και ερωτήματα που βασίζονται σε εικόνα. Οι χρήστες θα μπορούν να έχουν μια φωνητική συνομιλία με το ChatGPT σε

Android

και iOS και να τροφοδοτούν εικόνες σε αυτό σε όλες τις πλατφόρμες. κυκλοφορεί τις λειτουργίες τώρα. Θα είναι αρχικά διαθέσιμα στους χρήστες Plus και

Enterprise

, ενώ άλλα άτομα θα αποκτήσουν πρόσβαση στις λειτουργίες που βασίζονται στην εικόνα αργότερα.

Εάν θέλετε να τις δοκιμάσετε, θα πρέπει να επιλέξετε να συμμετέχετε στις φωνητικές συνομιλίες στην εφαρμογή ChatGPT (μεταβείτε στις Ρυθμίσεις και στη συνέχεια στις Νέες δυνατότητες). Πατώντας το κουμπί του μικροφώνου, θα μπορείτε να επιλέξετε από πέντε διαφορετικές φωνές.

Το OpenAI λέει ότι οι φωνητικές συνομιλίες τροφοδοτούνται από ένα νέο μοντέλο μετατροπής κειμένου σε ομιλία που μπορεί να δημιουργήσει “ήχο που μοιάζει με άνθρωπο μόνο από κείμενο και μερικά δευτερόλεπτα δείγματος ομιλίας”. Δημιούργησε τις πέντε φωνές με τη βοήθεια επαγγελματιών ηθοποιών. Από την άλλη πλευρά, η εταιρεία μετατρέπει τις προφορικές λέξεις ενός χρήστη σε κείμενο.

Οι λειτουργίες που βασίζονται στην εικόνα είναι επίσης ενδιαφέρουσες. Το OpenAI λέει ότι μπορείτε, για παράδειγμα, να δείξετε στο chatbot μια φωτογραφία της ψησταριάς σας και να ρωτήσετε γιατί δεν θα ξεκινήσει, να το πάρετε για να σας βοηθήσει να σχεδιάσετε ένα γεύμα με βάση ένα στιγμιότυπο του τι υπάρχει στο ψυγείο σας ή να το ζητήσετε να λύσει ένα μαθηματικό πρόβλημα. τραβήξτε μια φωτογραφία του. Όπως συμβαίνει, η Microsoft τόνισε τα

Copilot

AI στα Windows κατά τη διάρκεια της εκδήλωσης

Surface

την περασμένη εβδομάδα.

Το OpenAI χρησιμοποιεί GPT-3.5 και GPT-4 για να τροφοδοτήσει τις λειτουργίες αναγνώρισης εικόνας. Για να χρησιμοποιήσετε τις λειτουργίες που βασίζονται σε εικόνα του ChatGPT, πατήστε το κουμπί φωτογραφίας (θα χρειαστεί να πατήσετε πρώτα το κουμπί συν σε iOS ή Android) για να τραβήξετε μια φωτογραφία ή να επιλέξετε μια υπάρχουσα εικόνα στη συσκευή σας. Μπορείτε να ρωτήσετε το ChatGPT για πολλές φωτογραφίες και να χρησιμοποιήσετε ένα εργαλείο σχεδίασης για να εστιάσετε σε ένα συγκεκριμένο μέρος της εικόνας.

ανακοινώνοντας τις ενημερώσεις, το OpenAI σημείωσε την πιθανότητα βλάβης. Είναι πιθανό οι κακοί ηθοποιοί να μιμούνται τις φωνές δημοσίων προσώπων (και καθημερινών ανθρώπων) και ίσως να διαπράττουν απάτη. Γι’ αυτό το OpenAI εστιάζει στις φωνητικές συνομιλίες ChatGPT με αυτήν την τεχνολογία και συνεργάζεται με επιλεγμένους συνεργάτες σε άλλες περιπτώσεις περιορισμένης χρήσης (περισσότερα σε λίγο).

Όσον αφορά τις εικόνες, το OpenAI συνεργάστηκε με το , μια δωρεάν εφαρμογή που μπορούν να χρησιμοποιήσουν οι τυφλοί και άτομα με χαμηλή όραση για να τους βοηθήσει να κατανοήσουν καλύτερα το περιβάλλον τους, χάρη στους εθελοντές που συμμετέχουν σε βιντεοκλήσεις μαζί τους. “Οι χρήστες μάς είπαν ότι θεωρούν πολύτιμο να έχουν γενικές συζητήσεις για εικόνες που τυχαίνει να περιέχουν άτομα στο παρασκήνιο, όπως εάν κάποιος εμφανίζεται στην τηλεόραση ενώ προσπαθείτε να καταλάβετε τις ρυθμίσεις του τηλεχειριστηρίου σας”, δήλωσε η OpenAI. Η εταιρεία σημείωσε ότι έχει επίσης περιορίσει τον τρόπο με τον οποίο το ChatGPT μπορεί να αναλύει και να κάνει άμεσες δηλώσεις για άτομα που εμφανίζονται σε εικόνες, “καθώς το ChatGPT δεν είναι πάντα ακριβές και αυτά τα συστήματα θα πρέπει να σέβονται το απόρρητο των ατόμων”. Εχει


σχετικά με τις ιδιότητες ασφαλείας της λειτουργικότητας που βασίζεται στην εικόνα, την οποία ονομάζει GPT-4 με όραση.

Το ChatGPT είναι πιο αποτελεσματικό στην κατανόηση αγγλικού κειμένου σε εικόνες από άλλες γλώσσες. Το OpenAI λέει ότι το chatbot “αποδίδει κακώς” σε άλλες γλώσσες προς το παρόν, ειδικά όταν πρόκειται για εκείνες που χρησιμοποιούν μη ρωμαϊκά σενάρια. Ως εκ τούτου, προτείνει στους μη Άγγλους χρήστες να αποφεύγουν να χρησιμοποιούν το ChatGPT για την αντιμετώπιση κειμένου σε εικόνες προς το παρόν.

Εν τω μεταξύ, το Spotify συνεργάστηκε με το OpenAI για να χρησιμοποιήσει την τεχνολογία που βασίζεται στη φωνή για έναν ενδιαφέροντα σκοπό. Ο πρώτος ανακοίνωσε ένα πιλοτικό εργαλείο που ονομάζεται Voice Translation για podcasters. Αυτό μπορεί να μεταφράσει podcast σε διαφορετικές γλώσσες χρησιμοποιώντας τις φωνές των ανθρώπων που εμφανίζονται στην εκπομπή. Το Spotify λέει ότι το εργαλείο μπορεί να διατηρήσει τα χαρακτηριστικά ομιλίας του αρχικού ηχείου μετά τη μετατροπή της φωνής του σε άλλες γλώσσες.

Αρχικά, το Spotify μετατρέπει επιλεγμένες εκπομπές που βασίζονται στα αγγλικά σε μερικές γλώσσες. Ισπανικές εκδόσεις ορισμένων

Εμπειρογνώμονας πολυθρόνας

και

Το Ημερολόγιο ενός Διευθύνοντος Συμβούλου με τον Στίβεν Μπάρτλετ

επεισόδια


με γαλλικές και γερμανικές παραλλαγές να ακολουθούν.