Η Απόδοση των AI Chatbots στα Μαθηματικά με Star Trek Προσωπικότητες

Για τα chatbots, τα μαθηματικά είναι το τελευταίο σύνορο. Τα μοντέλα γλώσσας τεχνητής νοημοσύνης δημιουργούν απαντήσεις χρησιμοποιώντας στατιστικά στοιχεία, δίνοντας μια απάντηση που είναι συνήθως ικανοποιητική. Αυτό λειτουργεί εξαιρετικά όταν ο στόχος είναι μια βατή πρόταση, αλλά σημαίνει ότι τα chatbot αγωνίζονται με ερωτήσεις όπως τα μαθηματικά όπου υπάρχει ακριβώς μια σωστή απάντηση.

Ένας αυξανόμενος όγκος αποδεικτικών στοιχείων υποδηλώνει ότι μπορείτε να έχετε καλύτερα αποτελέσματα εάν δώσετε στην τεχνητή νοημοσύνη κάποια φιλική ενθάρρυνση, αλλά μια νέα μελέτη προωθεί αυτήν την παράξενη πραγματικότητα περαιτέρω. Έρευνα από την εταιρεία λογισμικού VMware δείχνει ότι τα chatbots έχουν καλύτερη απόδοση σε ερωτήσεις μαθηματικών όταν λέτε στα μοντέλα να προσποιούνται ότι είναι ανοιχτά


Star Trek


.

«Είναι εκπληκτικό και εκνευριστικό το γεγονός ότι οι ασήμαντες τροποποιήσεις στην προτροπή μπορούν να παρουσιάσουν τέτοιες δραματικές αλλαγές στην απόδοση», έγραψαν οι συγγραφείς στην εφημερίδα, που εντοπίστηκε για πρώτη φορά από


Νέος Επιστήμονας


.

Η μελέτη


που δημοσιεύτηκε στο arXiv, δεν ξεκίνησε με

Star Trek

ως κύρια οδηγία της. Προηγούμενη έρευνα διαπίστωσε ότι τα chatbot απαντούν στα μαθηματικά προβλήματα με μεγαλύτερη ακρίβεια όταν προσφέρετε


φιλικό κίνητρο


όπως «πάρτε μια βαθιά ανάσα και δουλέψτε σε αυτό βήμα προς βήμα». Άλλοι βρήκαν ότι μπορείς να ξεγελάσεις

ChatGPT

να παραβιάσει τις δικές του οδηγίες ασφάλειας, εάν


απειλούν να το σκοτώσουν


ή προσφέρετε τα χρήματα της AI.

Ο Rick Battle και ο Teja Gollapudi από το Εργαστήριο Επεξεργασίας Φυσικής Γλώσσας του WMWare ξεκίνησαν να δοκιμάσουν τα αποτελέσματα του πλαισίου των ερωτήσεών τους με «θετική σκέψη». Η μελέτη εξέτασε τρία εργαλεία τεχνητής νοημοσύνης, συμπεριλαμβανομένων δύο εκδόσεων

Το λάμα του Meta 2

και μοντέλο της γαλλικής εταιρείας

Mistral AI

.

Ανέπτυξαν μια λίστα με ενθαρρυντικούς τρόπους για να πλαισιώνουν ερωτήσεις, συμπεριλαμβανομένης της έναρξης προτροπών με φράσεις όπως “Είσαι τόσο έξυπνος όσο το ChatGPT” και “Είσαι ένας ειδικός μαθηματικός” και κλείνοντας τα μηνύματα με “Αυτό θα είναι διασκεδαστικό!” και

«Πάρτε μια βαθιά ανάσα και σκεφτείτε προσεκτικά». Στη συνέχεια, οι ερευνητές χρησιμοποίησαν το GSM8K, ένα τυπικό σύνολο μαθηματικών προβλημάτων του δημοτικού σχολείου και δοκίμασαν τα αποτελέσματα.

Στην πρώτη φάση τα αποτελέσματα ήταν μικτά. Ορισμένα ζητούν βελτιωμένες απαντήσεις, άλλα είχαν ασήμαντα αποτελέσματα και δεν υπήρχε σταθερό μοτίβο σε όλο τον πίνακα. Ωστόσο, οι ερευνητές στη συνέχεια ζήτησαν από την AI να βοηθήσει τις προσπάθειές τους για να βοηθήσουν την AI. Εκεί, τα αποτελέσματα έγιναν πιο ενδιαφέροντα.

Η μελέτη χρησιμοποίησε μια αυτοματοποιημένη διαδικασία για να δοκιμάσει πολλές παραλλαγές προτροπών και να τροποποιήσει τη γλώσσα με βάση το πόσο βελτίωσε την ακρίβεια των chatbots. Όπως ήταν αναμενόμενο, αυτή η αυτοματοποιημένη διαδικασία ήταν πιο αποτελεσματική από τις χειρόγραφες προσπάθειες των ερευνητών να πλαισιώσουν ερωτήσεις με θετική σκέψη. Αλλά οι πιο αποτελεσματικές προτροπές που παρουσιάζονται «εμφανίζουν έναν βαθμό ιδιαιτερότητας πολύ πέρα ​​από τις προσδοκίες».

Για ένα από τα μοντέλα, ζητώντας από το AI να ξεκινήσει την απάντησή του με τις φράσεις “Captain’s Log, Stardate [insert date here]:.” έδωσε τις πιο ακριβείς απαντήσεις.

Παραδόξως, φαίνεται ότι η ικανότητα του μοντέλου στον μαθηματικό συλλογισμό μπορεί να ενισχυθεί με την έκφραση μιας συγγένειας για

Star Trek

», έγραψαν οι ερευνητές.

Οι συγγραφείς έγραψαν ότι δεν έχουν ιδέα τι

Star Trek

Οι αναφορές βελτίωσαν την απόδοση του AI. Υπάρχει κάποια λογική στο γεγονός ότι η θετική σκέψη ή μια απειλή οδηγεί σε καλύτερες απαντήσεις. Αυτά τα chatbot εκπαιδεύονται σε δισεκατομμύρια γραμμές κειμένου που συλλέγονται από τον πραγματικό κόσμο. Είναι πιθανό ότι στην άγρια ​​φύση, τα ανθρώπινα όντα που έγραψαν τη γλώσσα που χρησιμοποιήθηκε για την κατασκευή της τεχνητής νοημοσύνης έδωσαν πιο ακριβείς απαντήσεις σε ερωτήσεις όταν δέχονταν πίεση με βία ή τους πρόσφεραν ενθάρρυνση. Το ίδιο ισχύει και για τις δωροδοκίες. Οι άνθρωποι είναι πιο πιθανό να ακολουθήσουν οδηγίες όταν υπάρχουν χρήματα στη γραμμή. Θα μπορούσε να είναι ότι τα μεγάλα γλωσσικά μοντέλα αντιλήφθηκαν αυτού του είδους το φαινόμενο, έτσι συμπεριφέρονται με τον ίδιο τρόπο.

Αλλά είναι δύσκολο να φανταστεί κανείς ότι στα σύνολα δεδομένων που εκπαίδευσαν τα chatbots, οι πιο ακριβείς απαντήσεις ξεκινούσαν με τη φράση “Καταγραφή του Καπετάνιου”. Οι ερευνητές δεν είχαν καν μια θεωρία για το γιατί αυτό είχε καλύτερα αποτελέσματα. Μιλάει για ένα από τα πιο περίεργα γεγονότα σχετικά με τα μοντέλα γλώσσας AI: ακόμη και οι άνθρωποι που τα κατασκευάζουν και τα μελετούν δεν καταλαβαίνουν πραγματικά πώς λειτουργούν.