Η πρόκληση του Spelling Bee για την τεχνητή νοημοσύνη

Η αποστολή μου για τους άρχοντές μας της τεχνητής νοημοσύνης ήταν απλή: βοηθήστε με να σπάσω

Νιου Γιορκ Ταιμς

Διαγωνισμός ορθογραφίας.

Είχα περάσει ένα μεγάλο κομμάτι ενός Σαββάτου το απόγευμα προσπαθώντας να διαμορφώσω τα γράμματα G, Y, A, L, P, O και N σε όσο το δυνατόν περισσότερες λέξεις. Αλλά τρεις ώρες, 141 πόντους και 37 λέξεις — συμπεριλαμβανομένων «nonapology», «lagoon» και «analogy»— αργότερα, είχα χτυπήσει σε έναν τοίχο. Λίγες ακόμα λέξεις ήταν ό,τι χρειαζόμουν για να οδηγηθώ στο “ιδιοφυές” κλιμάκιο του Spelling Bee, ο τίτλος προορίζεται για όσους ξεμπερδεύουν το 70 τοις εκατό όλων των πιθανών λέξεων χρησιμοποιώντας τα δεδομένα γράμματα και το σημείο στο οποίο το παζλ θεωρεί τον εαυτό του, αποτελεσματικά, λυμένο . (Οι 100 τοις εκατό λύτες έχουν τον βαθμό της «βασίλισσας μέλισσας», αλλά ακόμα κι εγώ έχω όρια.)

Το ανθρώπινο μυαλό μου δυσκολευόταν ξεκάθαρα, αλλά αυτή η εργασία φαινόταν σαν παιδικό παιχνίδι για την τεχνητή νοημοσύνη, έτσι άνοιξα το ChatGPT, του είπα ότι προσπαθούσα να κερδίσω το Spelling Bee, του έδωσα τα γράμματά μου και έθεσα τους κανόνες. «Δώστε μου μια λίστα με κάθε λέξη που μπορεί να σχηματιστεί με αυτές», πληκτρολόγησα. “Επιτρέπεται να επαναλάβετε γράμματα, αλλά κάθε λέξη πρέπει να περιέχει “Ν”.

Όταν πατάω enter, αυτό είναι που το ChatGPT έφτυσε πίσω:

Δεν είναι καλή αρχή.

«Οι λέξεις πρέπει να βρίσκονται στο λεξικό», έγραψα πίσω. «Σίγουρα», ήρθε η απάντηση. «Θα δώσω μια λίστα με έγκυρες αγγλικές λέξεις με βάση τα γράμματα που δίνονται.

” ANGLY, GALON, LANG.

Προφανώς, αυτό δεν δούλευε, οπότε στράφηκα στο

Copilot

της

Microsoft

(

ΓΙΑΝΓΚ, ΠΑΙΖΟΝΤΑΣ, Σ

Χ

ΕΔΙΖΩ, ΕΚΝΟΗΤΙΚΑ),

Δίδυμοι της Google (

ΓΑΠΟΝ

,

ΓΚΟΝ

,

ΓΙΑΝ

), και Anthropic’s Claude (

ΜΑΝΓΚΟ, ΣΥΝΕΧΙΖΕΤΑΙ

,

LAWN17.LAY

). Το

Meta AI

μου είπε ότι φρόντισε να συμπεριλάβει μόνο λέξεις που αναγνωρίζονται από λεξικά σε μια λίστα που περιείχε

ΝΑΛΥΠ

και

NAGY,

ενώ το Perplexity — ένα chatbot με

φιλοδοξίες

της θανάτωσης της Αναζήτησης Google — έγραψε απλώς

ΓΑΛ

εκατοντάδες φορές πριν παγώσει απότομα.

Η τεχνητή νοημοσύνη μπορεί πλέον να δημιουργήσει εικόνες, βίντεο και ήχο όσο πιο γρήγορα μπορείτε να πληκτρολογήσετε περιγραφές αυτού που θέλετε. Μπορεί να γράψει ποίηση, δοκίμια και θητείες. Μπορεί επίσης να είναι μια χλωμή μίμηση της φίλης σας, του θεραπευτή σας και της προσωπικής σας βοηθού. Και πολλοί άνθρωποι πιστεύουν ότι είναι έτοιμο να αυτοματοποιήσει τους ανθρώπους από τις θέσεις εργασίας και να μεταμορφώσει τον κόσμο με τρόπους που μετά βίας μπορούμε να αρχίσουμε να φανταζόμαστε. Γιατί λοιπόν είναι τόσο δύσκολο να λύνεις ένα απλό παζλ λέξεων;

Η απάντηση βρίσκεται στο πώς λειτουργούν τα μεγάλα γλωσσικά μοντέλα, η υποκείμενη τεχνολογία που τροφοδοτεί τη σύγχρονη τρέλα μας με την τεχνητή νοημοσύνη. Ο προγραμματισμός υπολογιστών είναι παραδοσιακά λογικός και βασίζεται σε κανόνες. πληκτρολογείτε εντολές που ακολουθεί ένας υπολογιστής σύμφωνα με ένα σύνολο οδηγιών και παρέχει μια έγκυρη έξοδο. Αλλά η μηχανική εκμάθηση, της οποίας η γενετική τεχνητή νοημοσύνη είναι ένα υποσύνολο, είναι διαφορετική.

«Είναι καθαρά στατιστικό», μου είπε ο Noah Giansiracusa, καθηγητής μαθηματικών και επιστήμης δεδομένων στο Πανεπιστήμιο Bentley. “Πρόκειται πραγματικά για την εξαγωγή μοτίβων από δεδομένα και στη συνέχεια την προώθηση νέων δεδομένων που ταιριάζουν σε μεγάλο βαθμό σε αυτά τα μοτίβα.”

Το OpenAI δεν απάντησε στο αρχείο, αλλά ένας εκπρόσωπος της εταιρείας μου είπε ότι αυτό το είδος “ανατροφοδότησης” βοήθησε το OpenAI να βελτιώσει την κατανόηση του μοντέλου και τις απαντήσεις στα προβλήματα. «Τα πράγματα όπως οι δομές λέξεων και οι αναγραμματισμοί δεν είναι μια συνηθισμένη περίπτωση χρήσης για το Perplexity, επομένως το μοντέλο μας δεν είναι βελτιστοποιημένο για αυτό», μου είπε η εκπρόσωπος της εταιρείας Sara Platnick. “Ως καθημερινός παίκτης Wordle/Συνδέσεις/Μίνι σταυρόλεξα, είμαι ενθουσιασμένος που βλέπω πώς τα πάμε!” Η Microsoft και η Meta αρνήθηκαν να σχολιάσουν. Η Google και η Anthropic δεν απάντησαν μέχρι την ώρα της δημοσίευσης.

Στην καρδιά των μεγάλων γλωσσικών μοντέλων βρίσκονται οι “μετασχηματιστές”, μια τεχνική ανακάλυψη που έγινε από ερευνητές της Google το 2017. Μόλις πληκτρολογήσετε μια προτροπή, ένα μεγάλο γλωσσικό μοντέλο αναλύει λέξεις ή κλάσματα αυτών των λέξεων σε μαθηματικές μονάδες που ονομάζονται “tokens”. Οι μετασχηματιστές είναι σε θέση να αναλύουν κάθε διακριτικό στο πλαίσιο του μεγαλύτερου συνόλου δεδομένων στο οποίο έχει εκπαιδευτεί ένα μοντέλο για να δει πώς συνδέονται μεταξύ τους. Μόλις ένας μετασχηματιστής κατανοήσει αυτές τις σχέσεις, είναι σε θέση να ανταποκριθεί στην προτροπή σας μαντεύοντας το επόμενο πιθανό διακριτικό σε μια ακολουθία. ο

Financial Times

έχει φοβερό

κινούμενη επεξήγηση

αυτό αναλύει όλα αυτά αν σας ενδιαφέρει.

Εγώ

σκέψη

Έδινα στα chatbot ακριβείς οδηγίες για να δημιουργήσουν τις λέξεις Spelling Bee μου, το μόνο που έκαναν ήταν να μετατρέψουν τις λέξεις μου σε μάρκες και να χρησιμοποιήσουν μετασχηματιστές για να φτύνουν εύλογες απαντήσεις. “Δεν είναι το ίδιο με τον προγραμματισμό υπολογιστή ή την πληκτρολόγηση μιας εντολής σε μια γραμμή εντολών DOS”, είπε ο Giansiracusa. «Τα λόγια σας μεταφράστηκαν σε αριθμούς και στη συνέχεια υποβλήθηκαν σε στατιστική επεξεργασία». Φαίνεται ότι ένα ερώτημα που βασίζεται καθαρά στη λογική ήταν η χειρότερη εφαρμογή για τις δεξιότητες της τεχνητής νοημοσύνης – παρόμοια με την προσπάθεια να στρίψετε μια βίδα με ένα σφυρί έντασης πόρων.

Η επιτυχία ενός μοντέλου AI εξαρτάται επίσης από τα δεδομένα στα οποία έχει εκπαιδευτεί. Αυτός είναι ο λόγος για τον οποίο οι εταιρείες τεχνητής νοημοσύνης κάνουν πυρετωδώς εντυπωσιακές συμφωνίες με τους εκδότες ειδήσεων αυτή τη στιγμή – όσο πιο φρέσκα είναι τα δεδομένα εκπαίδευσης, τόσο καλύτερες είναι οι απαντήσεις. Generative AI, για παράδειγμα,

χάλια

στο να προτείνει σκακιστικές κινήσεις, αλλά είναι τουλάχιστον

οριακά

καλύτερος στην εργασία από το να λύνει παζλ λέξεων. Ο Giansiracusa επισημαίνει ότι η πληθώρα παιχνιδιών σκακιού που διατίθενται στο διαδίκτυο σχεδόν σίγουρα περιλαμβάνεται στα δεδομένα εκπαίδευσης για τα υπάρχοντα μοντέλα AI. «Θα υποψιαζόμουν ότι απλά δεν υπάρχουν αρκετά σχολιασμένα παιχνίδια Spelling Bee στο διαδίκτυο για να προπονηθεί η τεχνητή νοημοσύνη, καθώς υπάρχουν παιχνίδια σκακιού», είπε.

«Αν το chatbot σας φαίνεται να μπερδεύεται περισσότερο από ένα παιχνίδι λέξεων παρά μια γάτα με τον κύβο του Ρούμπικ, αυτό οφείλεται στο ότι δεν ήταν ειδικά εκπαιδευμένο να παίζει σύνθετα παιχνίδια λέξεων», δήλωσε ο Sandi Besen, ερευνητής τεχνητής νοημοσύνης στη Neudesic, μια εταιρεία τεχνητής νοημοσύνης που ανήκει στον IBM. «Τα παιχνίδια λέξεων έχουν συγκεκριμένους κανόνες και περιορισμούς τους οποίους ένα μοντέλο θα δυσκολευόταν να τηρήσει, εκτός εάν τους δοθεί ειδική οδηγία κατά τη διάρκεια της εκπαίδευσης, του συντονισμού ή της προτροπής».

Τίποτα από αυτά δεν εμπόδισε τις κορυφαίες εταιρείες τεχνητής νοημοσύνης στον κόσμο από το να εμπορεύονται την τεχνολογία ως πανάκεια, συχνά

κατάφωρα υπερβολικοί ισχυρισμοί

για τις δυνατότητές του. Τον Απρίλιο, τόσο το OpenAI όσο και το Meta υπερηφανεύτηκαν ότι τα νέα μοντέλα τεχνητής νοημοσύνης τους θα ήταν ικανά να «συλλογίσουν» και να «σχεδιάσουν». Σε μια συνέντευξη, ο επικεφαλής επιχειρησιακός διευθυντής του OpenAI, Brad Lightcap

είπε

ο

Financial Times

ότι η επόμενη γενιά του GPT, το μοντέλο τεχνητής νοημοσύνης που τροφοδοτεί το ChatGPT, θα έδειχνε πρόοδο στην επίλυση «δύσκολων προβλημάτων» όπως η συλλογιστική. Η Joelle Pineau, αντιπρόεδρος της Meta για την έρευνα της τεχνητής νοημοσύνης, είπε στη δημοσίευση ότι η εταιρεία «εργαζόταν σκληρά για να βρει πώς να κάνει αυτά τα μοντέλα όχι μόνο να μιλάνε, αλλά στην πραγματικότητα να συλλογίζονται, να σχεδιάζουν… να έχουν μνήμη».

Οι επανειλημμένες προσπάθειές μου να κάνω το GPT-4o και το Llama 3 να σπάσουν το Spelling Bee απέτυχαν θεαματικά. Όταν το είπα στο ChatGPT

GALON, LANG και ANGLY

δεν υπήρχαν στο λεξικό, το chatbot είπε ότι συμφωνούσε μαζί μου και πρότεινε

ΓΑΛΒΑΝΟΠΙΑ

αντι αυτου. Όταν έγραψα λάθος τον κόσμο “σίγουρα” ως “sur” στην απάντησή μου στην προσφορά του Meta AI να βρω περισσότερες λέξεις, το chatbot μου είπε ότι το “sur” ήταν, πράγματι, μια άλλη λέξη που μπορεί να σχηματιστεί με τα γράμματα G, Y. , A, L, P, O και N.

Σαφώς, απέχουμε ακόμη πολύ από την Τεχνητή Γενική Νοημοσύνη, τη νεφελώδη ιδέα που περιγράφει τη στιγμή που οι μηχανές είναι ικανές να κάνουν τις περισσότερες εργασίες εξίσου καλά ή καλύτερα από τους ανθρώπους. Μερικοί ειδικοί, όπως ο Yann LeCun, ο επικεφαλής επιστήμονας AI της Meta, έχουν εκφράσει ειλικρινά τους περιορισμούς των μεγάλων γλωσσικών μοντέλων, υποστηρίζοντας ότι δεν θα φτάσουν ποτέ σε ανθρώπινη νοημοσύνη, καθώς δεν χρησιμοποιούν πραγματικά λογική. Σε μια εκδήλωση στο Λονδίνο πέρυσι, ο LeCun

είπε

ότι η τρέχουσα γενιά μοντέλων AI «απλώς δεν καταλαβαίνουν πώς λειτουργεί ο κόσμος. Δεν είναι ικανοί να προγραμματίσουν. Δεν είναι ικανοί να συλλογιστούν πραγματικά», είπε. «Δεν έχουμε εντελώς αυτόνομα, αυτόνομα αυτοκίνητα που να μπορούν να εκπαιδεύονται να οδηγούν σε περίπου 20 ώρες εξάσκησης, κάτι που μπορεί να κάνει ένας 17χρονος».

Η Giansiracusa, ωστόσο, δίνει έναν πιο προσεκτικό τόνο. «Δεν ξέρουμε πραγματικά πώς λογίζονται οι άνθρωποι, σωστά; Δεν ξέρουμε τι είναι στην πραγματικότητα η νοημοσύνη. Δεν ξέρω αν ο εγκέφαλός μου είναι απλώς μια μεγάλη στατιστική αριθμομηχανή, σαν μια πιο αποτελεσματική έκδοση ενός μεγάλου γλωσσικού μοντέλου».

Ίσως το κλειδί για να ζεις με τη γενεσιουργό τεχνητή νοημοσύνη χωρίς να υποκύψεις ούτε σε διαφημιστική εκστρατεία ούτε σε άγχος είναι να κατανοήσεις απλώς τους εγγενείς περιορισμούς της. «Αυτά τα εργαλεία δεν είναι στην πραγματικότητα σχεδιασμένα για πολλά πράγματα για τα οποία τα χρησιμοποιούν οι άνθρωποι», δήλωσε ο Chirag Shah, καθηγητής AI και μηχανικής μάθησης στο Πανεπιστήμιο της Ουάσιγκτον. Συνέγραψε ένα υψηλού προφίλ

ερευνητική εργασία

το 2022 ασκώντας κριτική στη χρήση μεγάλων γλωσσικών μοντέλων στις μηχανές αναζήτησης. Οι εταιρείες τεχνολογίας, πιστεύει ο Shah, θα μπορούσαν να κάνουν πολύ καλύτερη δουλειά για να είναι διαφανείς σχετικά με το τι μπορεί και τι δεν μπορεί να κάνει η τεχνητή νοημοσύνη προτού μας την επιβάλουν. Ωστόσο, αυτό το πλοίο μπορεί να έχει ήδη αποπλεύσει. Τους τελευταίους μήνες, οι μεγαλύτερες εταιρείες τεχνολογίας στον κόσμο – η Microsoft, η Meta, η Samsung, η Apple και η Google – έχουν κάνει δηλώσεις να ενσωματώσουν αυστηρά την τεχνητή νοημοσύνη στα προϊόντα, τις υπηρεσίες και τα λειτουργικά τους συστήματα.

“Τα ρομπότ είναι χάλια γιατί δεν σχεδιάστηκαν για αυτό,” είπε ο Shah για το αίνιγμα του παιχνιδιού μου με τα λόγια.

Πώς αλλιώς σας απέτυχαν τα chatbot AI; Στείλτε μου email στο




και ενημέρωσέ με!

Ενημέρωση, 13 Ιουνίου 2024, 4:19 μ.μ. ET:

Αυτή η ιστορία έχει ενημερωθεί για να περιλαμβάνει μια δήλωση από το Perplexity.