Το κείμενο που δημιουργείται από το ChatGPT μπορεί πλέον να αναγνωριστεί στο 99% των περιπτώσεων

Τι πρέπει να ξέρετε

• Μια ερευνητική ομάδα βρίσκεται στα πρόθυρα μιας σημαντικής ανακάλυψης με ένα εργαλείο AI Detector που μπορεί να αναγνωρίσει κείμενο που δημιουργείται από το ChatGPT και υπόσχεται ακρίβεια 99%.
• Οι ερευνητές έβαλαν το εργαλείο σε διάφορες δοκιμές, συμπεριλαμβανομένης της χρήσης του για να διαφοροποιήσουν το κείμενο που δημιουργείται από την τεχνητή νοημοσύνη από το ανθρώπινο περιεχόμενο.
• Τα αποτελέσματα ήταν εντυπωσιακά, αλλά το εργαλείο ταξινόμησε εσφαλμένα μερικά έγγραφα ως δημιουργημένα από τεχνητή νοημοσύνη όταν, στην πραγματικότητα, γράφτηκαν από ανθρώπους.
• Οι ερευνητές ανέπτυξαν το XGBoost για όλα τα πειράματα και τις δοκιμές, τα οποία βασίστηκαν στο πακέτο R, xGBoost, το οποίο παρείχε έναν εξελιγμένο τρόπο μέτρησης της βελτιστοποίησης του
  
  μοντέλο
  
  υ.

Η εμφάνιση της γενεσιουργής τεχνητής νοημοσύνης και, κυρίως, του ChatGPT έχει δημιουργήσει απίστευτες ευκαιρίες, επιτρέποντας στους χρήστες να εξερευνήσουν τις αναξιοποίητες δυνατότητες, αλλά έχει και τα μειονεκτήματά της εξίσου. Η ασφάλεια και το απόρρητο της τεχνητής νοημοσύνης είναι μερικές από τις κύριες ανησυχίες των χρηστών, εμποδίζοντας την τεχνολογία να αξιοποιήσει πλήρως τις δυνατότητές της. Ωστόσο, ο Πρόεδρος

Μπάιντεν

εξέδωσε πρόσφατα ένα εκτελεστικό διάταγμα που αντιμετωπίζει ορισμένες από αυτές τις ανησυχίες.

Η αυθεντικότητα και η ακρίβεια αποτελούν επίσης μέρος αυτών των ανησυχιών. Εάν οι πρόσφατες αναφορές που αναφέρουν ότι το ChatGPT γίνεται πιο χαζό και ότι χάνει την ακρίβεια είναι κάτι που πρέπει να ακολουθήσει, τότε αυτές οι ανησυχίες ισχύουν. Μέχρι στιγμής δεν υπάρχει

πυρίμαχη λεωφόρο

που μπορεί να εξερευνηθεί για να ανιχνεύσει κείμενο που δημιουργείται από AI με πρωτοφανή ακρίβεια.

Ευτυχώς, μια ομάδα ερευνητών βρίσκεται στα πρόθυρα μιας σημαντικής ανακάλυψης, φαινομενικά να κάνει

είναι ευκολότερο να προσδιορίσετε το κείμενο που δημιουργείται από AI

. Με σημαντικές ενημερώσεις που αποστέλλονται σε chatbot που υποστηρίζονται από AI, όπως το Bing Chat και το ChatGPT, όλο και πιο συχνά, γίνεται όλο και πιο δύσκολο να απομυθοποιηθεί το κείμενο που δημιουργείται με χρήση αυτών των εργαλείων από ανθρώπινο κείμενο.

Σύμφωνα με την έκθεση

, ο ανιχνευτής AI έχει σχεδιαστεί για να προσδιορίζει κείμενο που δημιουργείται από AI σε επιστημονικά περιοδικά. Η εκτέλεση δοκιμών σε αυτού του είδους τα περιοδικά είναι ένα σοβαρό εγχείρημα, ανάλογα με την πολυπλοκότητα του θέματος και τη διαθεσιμότητα των πληροφοριών στον Ιστό.

Σύμφωνα με τους ερευνητές, ο ανιχνευτής AI χρησιμοποιήθηκε για να βοηθήσει στη διάκριση των ανθρώπων που γράφουν από το ChatGPT (GPT-3.5). Αποκάλυψαν περαιτέρω ότι η μεθοδολογία εξαρτιόταν από 20 χαρακτηριστικά και έναν αλγόριθμο μηχανικής μάθησης, ο οποίος δεν διέθετε μέτρο «απερδεξιότητας». Αυτό οφείλεται στο γεγονός ότι το ταξινόμησαν ως “προβληματική μέτρηση”, η οποία θα εισήγαγε μεροληψία προς τους μη μητρικούς ομιλητές της αγγλικής γλώσσας σε άλλα εργαλεία.

Πρόσφατα μάθαμε ότι το OpenAI εργαζόταν σε ένα νέο εργαλείο για να βοηθήσει τους χρήστες να αναγνωρίσουν εικόνες που δημιουργούνται από AI. Η εταιρεία υποσχέθηκε 99 τοις εκατό ακρίβεια, αν και δεν είναι ακόμη σαφές πότε θα αποσταλεί σε ευρεία διαθεσιμότητα.

Οι ερευνητές παραδέχονται ότι το εύρος της αρχικής εργασίας ήταν περιορισμένο, καθώς δοκίμασαν μόνο έναν τύπο προτροπής από ένα περιοδικό. Επιπλέον, δεν ήταν αποκλειστικά περιοδικό Χημείας, για να μην αναφέρουμε ότι δοκιμάστηκε μόνο ένα μοντέλο γλώσσας.

Σύμφωνα με τους ερευνητές:

«…επεκτείνουμε ριζικά το εφαρμοστέο πεδίο εφαρμογής του πρόσφατα περιγραφόμενου ανιχνευτή τεχνητής νοημοσύνης, εφαρμόζοντάς τον σε νέες περιστάσεις με μεταβλητότητα στην ανθρώπινη γραφή, συμπεριλαμβανομένων από 13 διαφορετικά περιοδικά και 3 διαφορετικούς εκδότες, μεταβλητότητα στις προτροπές τεχνητής νοημοσύνης και μεταβλητότητα στη δημιουργία κειμένου AI χρησιμοποιούμενο μοντέλο. Χρησιμοποιώντας τα ίδια 20 χαρακτηριστικά όπως περιγράφηκαν προηγουμένως, εκπαιδεύουμε έναν ταξινομητή XGBoost με παραδείγματα ανθρώπινων κειμένων και συγκριτικό κείμενο τεχνητής νοημοσύνης. Στη συνέχεια αξιολογούμε το μοντέλο χρησιμοποιώντας νέα παραδείγματα ανθρώπινης γραφής, πολλαπλές προκλητικές προτροπές AI και GPT-3.5 και GPT-4 για την παραγωγή του κειμένου AI.”

Ο ανιχνευτής AI υπόσχεται ακρίβεια 99%.

Οι ερευνητές ανέφεραν ότι τα τεστ απέδειξαν ότι η μεθοδολογία τους ήταν απλή και αποτελεσματική. Τόνισαν ότι το εργαλείο επέδειξε ακρίβεια 98%-100% κατά τον εντοπισμό κειμένου που δημιουργήθηκε από AI, αλλά αυτό εξαρτιόταν από την προτροπή και το μοντέλο.

Οι ερευνητές ανέφεραν ότι το εργαλείο στοιβάζεται μίλια μπροστά από τον ενημερωμένο ταξινομητή του OpenAI, ο οποίος κυμαίνεται μεταξύ 10% και 56% σε ακρίβεια. Οι ερευνητές αποκάλυψαν περαιτέρω ότι ο στόχος πίσω από αυτή τη μελέτη και την εφεύρεση είναι να παράσχει στην επιστημονική κοινότητα μια λεωφόρο που της επιτρέπει να αξιολογήσει «τη διείσδυση του ChatGPT σε περιοδικά χημείας, να εντοπίσει τις συνέπειες της χρήσης του και να εισαγάγει γρήγορα στρατηγικές μετριασμού όταν προκύπτουν προβλήματα. .”

Τι χρησιμοποίησαν οι ερευνητές ως ταξινομητή για δοκιμές;

Οι ερευνητές ανέπτυξαν το XGBoost για όλα τα πειράματα και τις δοκιμές, τα οποία βασίστηκαν στο πακέτο R, xgboost. Παρείχε έναν περίπλοκο τρόπο για τη μέτρηση της βελτιστοποίησης του μοντέλου, καθώς η ακρίβεια σε επίπεδο παραγράφου μετρήθηκε χρησιμοποιώντας διασταυρούμενη επικύρωση άδειας μίας εισαγωγής στο σετ

εκπαίδευση

ς.

Η ερευνητική ομάδα δήλωσε ότι:

“Σε αυτό το παράδειγμα, όλα τα δεδομένα εκπαίδευσης, εκτός από αυτά που προέρχονται από τις παραγράφους της εισαγωγής που πρόκειται να ταξινομηθούν, θα αξιοποιηθούν για τη δημιουργία ενός μοντέλου ταξινόμησης. Αυτό το μοντέλο στη συνέχεια θα χρησιμοποιηθεί για την ταξινόμηση όλων των παραγράφων από τα αριστερά- έξω εισαγωγή».

Η μελέτη υπογραμμίζει ότι αυτές οι συνθήκες «παρήγαγαν την καλύτερη συνολική ακρίβεια σε επίπεδο παραγράφου», η οποία στη συνέχεια χρησιμοποιήθηκε σε όλα τα τεστ.

Τα αποτελέσματα είναι ελπιδοφόρα;

Ομολογουμένως, ο ανιχνευτής AI δημοσίευσε εντυπωσιακά αποτελέσματα, αλλά υπάρχουν περιθώρια βελτίωσης. Η τεχνολογία είναι σχετικά νέα, επομένως το κενό σφάλματος ήταν αναμενόμενο. Ωστόσο, η εσφαλμένη ταξινόμηση του 6% του ανθρώπινου κειμένου που δοκιμάστηκε προκαλεί ανησυχία.

Οι χρήστες του Reddit στο

r/science subreddit

εγείρει βάσιμες ανησυχίες για αυτό το ζήτημα. Ένας ενδιαφερόμενος χρήστης παρουσίασε μια υποθετική κατάσταση όπου αυτό το εργαλείο χρησιμοποιήθηκε στο σχολείο, δηλώνοντας ότι τα αποτελέσματα υποδεικνύουν ότι από κάθε 100 μαθητές, 6 από αυτούς θα κατηγορούνταν ψευδώς ότι χρησιμοποίησαν εργαλεία με τεχνητή νοημοσύνη για να κάνουν τα μαθήματά τους.

Και

όλοι γνωρίζουμε τα σημαντικά εμ

πόδια

που έρχονται με την υποβολή της εργασίας που κάνατε από κάπου αλλού.

Αυτό αποδεικνύει τη σημασία της ύπαρξης αξιόπιστων και ακριβών εργαλείων όπως ο ανιχνευτής AI, αλλά ταυτόχρονα, είναι σχεδόν αδύνατο να επιβεβαιωθεί η ακρίβεια αυτών των εργαλείων. Ένας άλλος χρήστης παρουσίασε μια περίπτωση όπου ένας συντονιστής μαθημάτων είχε επισημάνει μια εργασία ως δημιουργημένη από AI. Ωστόσο, μετά την κοινή χρήση αυτής της μελέτης με τον δάσκαλο και ακόμη και τη χρήση του εργαλείου για την εκτέλεση του αναλυτικού προγράμματος, επισημάνθηκε ως περιεχόμενο που δημιουργήθηκε από AI.

Ενώ αυτό ήταν ένα πολύ στενό ξύρισμα,

τι συμβαίνει όταν δεν μπορείτε να υποστηρίξετε τις αξιώσεις σας; Πιστεύετε ότι θα φτάσει σε ένα σημείο όπου οι ανιχνευτές τεχνητής νοημοσύνης μπορούν να υπόσχονται απόλυτη ακρίβεια;

Μοιραστείτε τις σκέψεις σας μαζί μας στα σχόλια.