Εν μέσω της ταχείας υιοθέτησης των παραγωγικών προγραμμάτων τεχνητής νοημοσύνης,
πολλούς εκπαιδευτικούς
έχουν εκφράσει ανησυχίες για τους μαθητές που κάνουν κατάχρηση των συστημάτων για να γράψουν τις γραπτές εργασίες τους. Δεν χρειάστηκε πολύς χρόνος για πολλαπλές ψηφιακές “
Ανίχνευση AI
εργαλεία για να φτάσετε στη σκηνή, πολλά από τα οποία ισχυρίστηκαν ότι αναλύουν με ακρίβεια την αρχική ανθρώπινη γραφή από κείμενο που συντάχθηκε από μεγάλα γλωσσικά μοντέλα (LLM) όπως το
ChatGPT
του
OpenAI
. Αλλά μια νέα μελέτη δείχνει ότι τέτοιες λύσεις μπορεί να δημιουργήσουν περισσότερους πονοκεφάλους τόσο στους δασκάλους όσο και στους μαθητές. Αυτά τα εργαλεία ανίχνευσης τεχνητής νοημοσύνης είναι πολύ προκατειλημμένα, διαπίστωσαν οι συγγραφείς, και είναι ανακριβή όταν πρόκειται για μη μητρικούς ομιλητές της αγγλικής γλώσσας.
Μια ομάδα του Πανεπιστημίου του Στάνφορντ με επικεφαλής τον ανώτερο συγγραφέα Τζέιμς Ζου, επίκουρο καθηγητή Επιστήμης Βιοϊατρικών Δεδομένων, καθώς και Επιστήμης Υπολογιστών και Ηλεκτρολόγων Μηχανικών, συγκέντρωσε πρόσφατα 91 δοκίμια μη μητρικών αγγλόφωνων που γράφτηκαν για το δημοφιλές Test of English as a Second Language ( TOEFL) αξιολόγηση. Στη συνέχεια τροφοδότησαν τα δοκίμια σε επτά προγράμματα ανιχνευτών GPT. Σύμφωνα με τα αποτελέσματα του Zou, πάνω από τα μισά από τα δείγματα γραφής ταξινομήθηκαν εσφαλμένα ως συγγραφικά με τεχνητή νοημοσύνη, ενώ η ανίχνευση δειγμάτων φυσικών ομιλητών παρέμεινε σχεδόν τέλεια.
[Related: Sarah Silverman and other authors sue OpenAI and
Meta
for copyright infringement.]
“Αυτό εγείρει ένα κομβικό ερώτημα: εάν το περιεχόμενο που δημιουργείται από AI μπορεί εύκολα να αποφύγει τον εντοπισμό ενώ το ανθρώπινο κείμενο συχνά ταξινομείται εσφαλμένα, πόσο αποτελεσματικοί είναι αυτοί οι ανιχνευτές;” ρωτά η ομάδα του Zou σε ένα άρθρο που δημοσιεύτηκε τη Δευτέρα στο περιοδικό
Μοτίβα
.
Το κύριο ζήτημα πηγάζει από αυτό που είναι γνωστό ως «απερδεξιότητα κειμένου», που αναφέρεται στο πλήθος δημιουργικών, εκπληκτικών επιλογών λέξεων ενός γραπτού έργου. Τα προγράμματα τεχνητής νοημοσύνης όπως το ChatGPT έχουν σχεδιαστεί για να προσομοιώνουν “
χαμηλή αμηχανία
” προκειμένου να μιμηθούν πιο γενικευμένα πρότυπα ανθρώπινης ομιλίας. Φυσικά, αυτό δημιουργεί ένα πιθανό πρόβλημα για όποιον τυχαίνει να χρησιμοποιεί αναμφισβήτητα πιο τυποποιημένες, κοινές δομές προτάσεων και επιλογή λέξεων. “Εάν χρησιμοποιείτε κοινές αγγλικές λέξεις, οι ανιχνευτές θα δώσουν χαμηλή βαθμολογία αμηχανίας, που σημαίνει ότι το δοκίμιό μου είναι πιθανό να επισημανθεί ως δημιουργημένο από AI.”
είπε ο Ζου σε δήλωσή του
. «Αν χρησιμοποιείτε περίπλοκες και πιο φανταχτερές λέξεις, τότε είναι πιο πιθανό να ταξινομηθεί ως «ανθρώπινο γραμμένο» από τους αλγόριθμους».
[Related: Radio host sues ChatGPT developer over allegedly libelous claims.]
Στη συνέχεια, η ομάδα του Zou προχώρησε ένα βήμα παραπέρα για να δοκιμάσει τις παραμέτρους των προγραμμάτων ανίχνευσης τροφοδοτώντας τα ίδια 91 δοκίμια στο ChatGPT προτού ζητήσει από το LLM να ολοκληρώσει τη γραφή. Αυτές οι πιο «σύνθετες» επεξεργασίες μεταφέρθηκαν στη συνέχεια μέσω των επτά προγραμμάτων ανίχνευσης – μόνο για να επαναταξινομηθούν πολλά από αυτά ως γραμμένα από ανθρώπους.
Έτσι, ενώ το γραπτό περιεχόμενο που δημιουργείται από την τεχνητή νοημοσύνη συχνά δεν είναι εξαιρετικό, ούτε προφανώς είναι τα διαθέσιμα εργαλεία για την αναγνώρισή του. «Οι ανιχνευτές είναι πολύ αναξιόπιστοι αυτήν τη στιγμή και το διακύβευμα είναι πολύ μεγάλο για τους μαθητές, ώστε να πιστέψουμε σε αυτές τις τεχνολογίες χωρίς αυστηρή αξιολόγηση και σημαντικές βελτιώσεις», Zou
μάλωσε πρόσφατα
. Ανεξάρτητα από το βαθμό αμηχανίας της δήλωσής του, είναι ένα συναίσθημα που είναι δύσκολο να αντικρουστεί.