Οι ανιχνευτές τεχνητής νοημοσύνης κάνουν διακρίσεις σε άτομα που δεν μιλούν αγγλικά

Τα προγράμματα που προορίζονται να διακρίνουν το κείμενο

chatbot

από την ανθρώπινη γραφή έχουν περισσότερα από α

λίγα προβλήματα. Ακολουθεί ένα νέο που πρέπει να προστεθεί στη λίστα: Οι ανιχνευτές τεχνητής νοημοσύνης συχνά κατηγοριοποιούν εσφαλμένα τη γραφή από μη φυσικούς ομιλητές της αγγλικής γλώσσας ως που παράγονται από bot. Πάνω από τις μισές φορές, οι ανιχνευτές τεχνητής νοημοσύνης υπέθεσαν λανθασμένα ότι η γραφή από μη μητρική αγγλική γλώσσα ήταν

AI που δημιουργείται, σύμφωνα με


μια μελέτη


δημοσιεύτηκε τη Δευτέρα στο περιοδικό Patterns.

Σε έναν κόσμο όπου η γενετική τεχνητή νοημοσύνη εμφανίζεται παντού (και

Εννοώ παντού

), η ικανότητα διαχωρισμού του slop που δημιουργείται από την τεχνητή νοημοσύνη από τις λέξεις που γράφτηκαν από έναν πραγματικό άνθρωπο είναι όλο και πιο σημαντική. Οι υποψήφιοι για εργασία, οι φοιτητές και άλλοι που αξιολογούνται τακτικά με βάση την ικανότητά τους να γράφουν θα πρέπει να μπορούν να υποβάλουν εργασία χωρίς φόβο ότι θα αποδοθεί εσφαλμένα σε ένα πρόγραμμα υπολογιστή. Ταυτόχρονα, οι δάσκαλοι, οι καθηγητές και οι διευθυντές προσλήψεων θα πρέπει ιδανικά να είναι σε θέση να γνωρίζουν πότε κάποιος παρουσιάζει τις προσπάθειές του και τον εαυτό του με ειλικρίνεια.

Αλλά χάρη σε

ολοένα μεγαλύτερα γλωσσικά μοντέλα

—εκπαιδευμένοι σε τεράστια σύνολα δεδομένων— γίνεται όλο και πιο δύσκολο να ξεχωρίσεις την εργασία ενός ατόμου από την αυτοματοποιημένη, αλγοριθμικά καθορισμένη έξοδο ενός chatbot (

τουλάχιστον μέχρι να το ελέγξετε

). Με τον ίδιο τρόπο που είναι τα

deepfakes

εικόνας, φωνής και βίντεο

γίνεται ανησυχητικά δύσκολο να εντοπιστεί

κείμενο AI είναι

γίνεται πιο δύσκολο να αναγνωριστεί

.

Πολλές εταιρείες έχουν αρχίσει να προσπαθούν να αντιμετωπίσουν το πρόβλημα αναπτύσσοντας λογισμικό ανίχνευσης τεχνητής νοημοσύνης, που προορίζεται να είναι σε θέση να αναλύσει ένα

πρόσωπο από το «puter. Ακόμη και η Open AI, η εταιρεία που ευθύνεται σε μεγάλο βαθμό για την τρέχουσα έκρηξη στη γενετική τεχνητή νοημοσύνη

έχει δοκιμάσει τις δυνάμεις του στο

δημιουργώντας ένα εργαλείο ανίχνευσης AI

. Αλλά ειδοποίηση spoiler: Τα περισσότερα από αυτά τα εργαλεία ανίχνευσης AI δεν λειτουργούν πολύ καλά ή

έχουν περιοριστεί


περιπτώσεις χρήσης

παρά τους ισχυρισμούς προγραμματιστών για μη επαληθεύσιμες μετρήσεις όπως “99% ακριβείς.

”

Εκτός από το ότι δεν είναι και τόσο υπέροχα, κατά γενική έννοια, τα εργαλεία μπορεί επίσης να είναι

παράγουν ανθρώπινες προκαταλήψεις-

ακριβώς όπως κάνει η ίδια η γενετική τεχνητή νοημοσύνη

.

Στη νέα μελέτη, οι ερευνητές αξιολόγησαν 91 δοκίμια TOEFL (Test of English as a Foreign Language) που γράφτηκαν από μη μητρικούς ομιλητές, χρησιμοποιώντας επτά «ευρέως χρησιμοποιούμενους» ανιχνευτές GPT. Για σύγκριση, έτρεξαν επίσης 99 δοκίμια μαθητών της όγδοης δημοτικού των ΗΠΑ μέσω του ίδιου συνόλου εργαλείων ανίχνευσης τεχνητής νοημοσύνης. Παρά το γεγονός ότι οι ανιχνευτές ταξινόμησαν σωστά περισσότερο από το 90% των δοκιμίων της οκτώ τάξης ως ανθρώπινα γραμμένα, τα εργαλεία κατηγοριοποίησης δεν ταίριαζαν σχεδόν τόσο καλά με την εργασία του TOEFL.

Και στους επτά ανιχνευτές GPT, το μέσο ποσοστό ψευδούς ανίχνευσης για τα δοκίμια που γράφτηκαν από μη μητρικούς αγγλόφωνους ήταν 61,3%. Τουλάχιστον ένας από τους ανιχνευτές χαρακτήρισε λανθασμένα σχεδόν το 98% των δοκιμίων TOEFL ως δημιουργημένα από AI. Όλοι οι ανιχνευτές εντόπισαν ομόφωνα το ίδιο ~ 20% κομμάτι του έργου TOEFL με αυτό που παρήχθη από την τεχνητή νοημοσύνη, παρόλο που είχε γραφτεί από ανθρώπους.

Οι περισσότεροι ανιχνευτές τεχνητής νοημοσύνης λειτουργούν αξιολογώντας το κείμενο σε μια μέτρηση που ονομάζεται “περπλεξία”.

οι συγγραφείς της μελέτης exp

ξαπλωμένος

. Η αμηχανία είναι ουσιαστικά μια μέτρηση του πόσο απροσδόκητη είναι μια λέξη στο πλαίσιο μιας σειράς κειμένου. Εάν μια λέξη είναι εύκολο να προβλεφθεί με βάση τις προηγούμενες λέξεις, τότε οι πιθανότητες είναι θεωρητικά υψηλότερες από το AI

ειναι υπευθυνος για

η πρόταση, καθώς αυτά τα μεγάλα γλωσσικά μοντέλα χρησιμοποιούν πιθανολογικούς αλγόριθμους για να αντλήσουν α

πειστικά οργανωμένη λέξη σαλάτα. Του

αυτόματη συμπλήρωση σε στεροειδή.

Ωστόσο, οι μη μητρικοί ομιλητές οποιασδήποτε γλώσσας τείνουν να γράφουν σε αυτήν τη γλώσσα με σχετικά περιορισμένο λεξιλόγιο και προβλέψιμο

εύρος της γραμματικής. που μπορεί να οδηγήσει σε πιο προβλέψιμες προτάσεις και παραγράφους. Οι ερευνητές διαπίστωσαν ότι, μειώνοντας απλώς την επανάληψη λέξεων στα δείγματα δοκιμίων TOEFL, μπόρεσαν να μειώσουν σημαντικά τον αριθμό των ψευδώς θετικών που προέκυψαν στην ανίχνευση AI

λογισμικό. Αντίθετα, απλοποίηση της γλώσσας στην όγδοη τάξη

Τα δοκίμια οδήγησαν στο να θεωρηθούν λανθασμένα περισσότερα από αυτά ως δημιουργίες τεχνητής νοημοσύνης.

Όπως επισημαίνει η νέα έρευνα, αυτό θα μπορούσε να προκαλέσει σημαντικό πρόβλημα για τους μη φυσικούς αγγλόφωνους, οι οποίοι ήδη αντιμετωπίζουν διακρίσεις στην αγορά εργασίας και στα ακαδημαϊκά περιβάλλοντα. Και στο ευρύτερο Διαδίκτυο, τέτοιες συνεπείς βίδες ανιχνευτών AI

θα μπορούσε να ενισχύσει τις υπάρχουσες ανισότητες.

«Μέσα στα μέσα κοινωνικής δικτύωσης, οι ανιχνευτές GPT θα μπορούσαν να επισημάνουν ψευδώς το περιεχόμενο μη εγγενών συγγραφέων ως λογοκλοπή τεχνητής νοημοσύνης, ανοίγοντας το δρόμο για αδικαιολόγητη παρενόχληση συγκεκριμένων μη ιθαγενών κοινοτήτων», γράφουν οι συγγραφείς. «Οι μηχανές αναζήτησης στο Διαδίκτυο, όπως η

Google

, που εφαρμόζουν μηχανισμούς για την υποτίμηση του περιεχομένου που δημιουργείται από την τεχνητή νοημοσύνη ενδέχεται να περιορίσουν ακούσια την ορατότητα των κοινοτήτων που δεν είναι ιθαγενείς, δυνητικά φιμώνοντας διαφορετικές προοπτικές».

Μέχρι την ανίχνευση AI

βελτιώνεται αισθητά, «προσέχουμε ιδιαιτέρως τη χρήση ανιχνευτών GPT σε περιβάλλοντα αξιολόγησης ή εκπαίδευσης, ιδιαίτερα κατά την αξιολόγηση της εργασίας των μη μητρικών αγγλόφωνων». Ωστόσο, είναι δύσκολο να δούμε πώς ανιχνεύεται η τεχνητή νοημοσύνη

(το οποίο συχνά εκτελείται σε ένα συγκρίσιμο μοντέλο AI) θα μπορούσε ποτέ να μάθει πραγματικά να ξεπερνά τον εαυτό του.