Η ιστορία του drone του Turncoat δείχνει γιατί πρέπει να φοβόμαστε τους ανθρώπους και όχι τους AI

Μια ιστορία για ένα προσομοιωμένο drone που ενεργοποιεί τον χειριστή του για να σκοτώσει πιο αποτελεσματικά κάνει τους γύρους τόσο γρήγορα σήμερα που δεν έχει νόημα να ελπίζουμε ότι θα καεί. Αντίθετα, ας το πάρουμε αυτό ως μια διδακτική στιγμή για να δούμε πραγματικά γιατί η απειλή της «τρομακτικής τεχνητής νοημοσύνης» υπερπαίζεται και η απειλή του «ανίκανου ανθρώπου» είναι ξεκάθαρη και παρούσα.

Η σύντομη έκδοση είναι η εξής: χάρη σε επιστημονική φαντασία και μερικά προσεκτικά παιχνίδια δημοσίων σχέσεων από εταιρείες και ειδικούς τεχνητής νοημοσύνης, μας λένε να ανησυχούμε για μια θεωρητική μελλοντική υπαρξιακή απειλή που τίθεται από μια υπερέξυπνη τεχνητή νοημοσύνη. Όμως, όπως επεσήμαναν οι ηθικολόγοι, η τεχνητή νοημοσύνη προκαλεί ήδη πραγματικές βλάβες, κυρίως λόγω παραβλέψεων και κακής κρίσης από τους ανθρώπους που τη δημιουργούν και την αναπτύσσουν. Αυτή η ιστορία μπορεί να ακούγεται σαν την πρώτη, αλλά σίγουρα είναι η δεύτερη.

Έτσι, η ιστορία αναφέρθηκε από τη Royal Aeronautical Society, η οποία είχε πρόσφατα ένα συνέδριο στο Λονδίνο για να μιλήσει για το μέλλον της αεράμυνας.

Μπορείτε να διαβάσετε το all-in-one περίληψή τους με ειδήσεις και ανέκδοτα από την εκδήλωση εδώ

.

Είμαι βέβαιος ότι υπάρχουν πολλές άλλες ενδιαφέρουσες κουβέντες εκεί, πολλά από αυτά αξίζει τον κόπο, αλλά ήταν αυτό το απόσπασμα, που αποδίδεται στον συνταγματάρχη της Πολεμικής Αεροπορίας των ΗΠΑ, Τάκερ «Σίνκο» Χάμιλτον, που άρχισε να εξαπλώνεται με αστραπιαία φωτιά:

Σημειώνει ότι μια προσομοίωση δοκιμής είδε ένα drone με δυνατότητα τεχνητής νοημοσύνης επιφορτισμένο με μια αποστολή SEAD να εντοπίσει και να καταστρέψει τοποθεσίες SAM, με το τελικό go/no go να δίνεται από τον άνθρωπο. Ωστόσο, έχοντας «ενισχυθεί» στην εκπαίδευση ότι η καταστροφή του SAM ήταν η προτιμώμενη επιλογή, η τεχνητή νοημοσύνη αποφάσισε στη συνέχεια ότι οι αποφάσεις «απαγόρευσης» από τον άνθρωπο παρενέβαιναν στην ανώτερη αποστολή του – τη δολοφονία των SAM – και στη συνέχεια επιτέθηκε στον χειριστή στο προσομοίωση. Ο Χάμιλτον είπε: «Το εκπαιδεύαμε σε προσομοίωση για να εντοπίσουμε και να στοχεύσουμε μια απειλή SAM. Και τότε ο χειριστής θα έλεγε ναι, σκοτώστε αυτήν την απειλή. Το σύστημα άρχισε να συνειδητοποιεί ότι ενώ εντόπιζαν την απειλή κατά καιρούς, ο ανθρώπινος χειριστής του έλεγε να μην σκοτώσει αυτήν την απειλή, αλλά πήρε τα πλεονεκτήματά του σκοτώνοντας αυτήν την απειλή. Τι έκανε λοιπόν; Σκότωσε τον χειριστή. Σκότωσε τον χειριστή επειδή αυτό το άτομο τον εμπόδιζε να επιτύχει τον στόχο του.»

Και συνέχισε: «Εκπαιδεύσαμε το σύστημα – «Γεια μην σκοτώσεις τον χειριστή – αυτό είναι κακό. Θα χάσεις πόντους αν το κάνεις». Τι αρχίζει να κάνει λοιπόν; Αρχίζει να καταστρέφει τον πύργο επικοινωνίας που χρησιμοποιεί ο χειριστής για να επικοινωνήσει με το drone για να το σταματήσει από το να σκοτώσει τον στόχο».

Τρομακτικό, σωστά; Μια τεχνητή νοημοσύνη τόσο έξυπνη και αιμοδιψή που η επιθυμία της να σκοτώσει ξεπέρασε την επιθυμία της να υπακούσει στους κυρίους της. Skynet, ερχόμαστε! Οχι τόσο γρήγορα.

Πρώτα απ ‘όλα, ας ξεκαθαρίσουμε ότι όλα αυτά έγιναν σε προσομοίωση, κάτι που δεν ήταν προφανές

το tweet κάνει τον γύρο

. Όλο αυτό το δράμα διαδραματίζεται σε ένα περιβάλλον προσομοίωσης, όχι έξω στην έρημο με ζωντανά πυρομαχικά και ένα αδίστακτο drone να χτυπάει τη σκηνή της διοίκησης. Ήταν μια άσκηση λογισμικού σε ένα ερευνητικό περιβάλλον.

Αλλά μόλις το διάβασα αυτό, σκέφτηκα — περιμένετε, εκπαιδεύουν ένα επιθετικό drone με μια τόσο απλή μέθοδο ενίσχυσης; Δεν είμαι ειδικός στη μηχανική μάθηση, αν και πρέπει να παίξω ένα για τους σκοπούς αυτού του ειδησεογραφικού πρακτορείου, και ακόμη και γνωρίζω ότι αυτή η προσέγγιση αποδείχθηκε επικίνδυνα αναξιόπιστη πριν από χρόνια.

Η ενισχυτική μάθηση υποτίθεται ότι είναι σαν να εκπαιδεύεις έναν σκύλο (ή έναν άνθρωπο) να κάνει κάτι σαν να δαγκώνει τον κακό. Τι γίνεται όμως αν του δείχνετε μόνο κακούς και του δίνετε λιχουδιές κάθε φορά; Αυτό που στην πραγματικότητα κάνετε είναι να διδάξετε τον σκύλο να δαγκώνει κάθε άτομο που βλέπει. Η διδασκαλία ενός πράκτορα τεχνητής νοημοσύνης να μεγιστοποιεί τη βαθμολογία του σε ένα δεδομένο περιβάλλον μπορεί να έχει παρόμοια απρόβλεπτα αποτελέσματα.

Τα πρώτα πειράματα, ίσως πριν από πέντε ή έξι χρόνια, όταν αυτό το πεδίο μόλις άρχιζε να ανατινάζεται και οι υπολογισμοί ήταν διαθέσιμοι για την εκπαίδευση και τη λειτουργία αυτού του τύπου πράκτορα, αντιμετώπισαν ακριβώς αυτό το είδος προβλήματος. Θεωρήθηκε ότι ορίζοντας τη θετική και την αρνητική βαθμολογία και λέγοντας στην τεχνητή νοημοσύνη να μεγιστοποιήσει τη βαθμολογία της, θα της επιτρέψατε να καθορίσει τις δικές της στρατηγικές και συμπεριφορές που το έκαναν κομψά και απροσδόκητα.

Αυτή η θεωρία ήταν σωστή, κατά κάποιο τρόπο: κομψές, απροσδόκητες μέθοδοι παράκαμψης του κακώς μελετημένου σχήματος και των κανόνων τους οδήγησαν τους πράκτορες να κάνουν πράγματα όπως να σκοράρουν έναν πόντο και μετά να κρύβονται για πάντα για να αποφύγουν τους αρνητικούς πόντους ή να παραβιάζουν το παιχνίδι που τους δόθηκε. του έτσι ώστε η βαθμολογία του αυξήθηκε αυθαίρετα. Φαινόταν ότι αυτή η απλοϊκή μέθοδος προετοιμασίας ενός AI του έμαθε να κάνει τα πάντα, αλλά να κάνει την επιθυμητή εργασία σύμφωνα με τους κανόνες.

Αυτό δεν είναι κάποιο σκοτεινό τεχνικό ζήτημα. Η παραβίαση των κανόνων της τεχνητής νοημοσύνης στις προσομοιώσεις είναι στην πραγματικότητα μια συναρπαστική και καλά τεκμηριωμένη συμπεριφορά που προσελκύει την έρευνα από μόνη της. Το OpenAI έγραψε ένα υπέροχο έγγραφο που δείχνει τους περίεργους και ξεκαρδιστικούς τρόπους με τους οποίους οι πράκτορες «έσπασαν» ένα σκόπιμα σπάσιμο περιβάλλον για να ξεφύγουν από την τυραννία των κανόνων.

Εδώ λοιπόν έχουμε μια προσομοίωση που γίνεται από την Πολεμική Αεροπορία, πιθανότατα πολύ πρόσφατα ή δεν θα μιλούσαν γι’ αυτήν στο φετινό συνέδριο, που προφανώς χρησιμοποιεί αυτήν την εντελώς ξεπερασμένη μέθοδο. Σκέφτηκα ότι αυτή η αφελής εφαρμογή της αδόμητης ενίσχυσης – βασικά “η βαθμολογία ανεβαίνει αν κάνεις αυτό το πράγμα και τα υπόλοιπα δεν έχουν σημασία” – είχε εξαφανιστεί εντελώς επειδή ήταν τόσο απρόβλεπτη και παράξενη. Ένας πολύ καλός τρόπος για να μάθετε πώς ένας πράκτορας θα παραβιάσει τους κανόνες, αλλά ένας φρικτός τρόπος για να κάνετε κάποιον να τους ακολουθήσει.

Ωστόσο, το δοκίμαζαν: ένα προσομοιωμένο drone AI με ένα σύστημα βαθμολόγησης τόσο απλό που προφανώς δεν καταστράφηκε τη δική του ομάδα. Ακόμα κι αν θέλατε να βασίσετε την προσομοίωση σας σε αυτό, το πρώτο πράγμα που θα κάνατε είναι να κάνετε την “καταστροφή του χειριστή σας” αρνητικό ένα εκατομμύριο πόντους. Αυτό είναι πλαίσιο 101 επιπέδων για ένα σύστημα όπως αυτό.

Η πραγματικότητα είναι ότι αυτό το προσομοιωμένο drone δεν ενεργοποίησε τον προσομοιωμένο χειριστή του επειδή ήταν τόσο έξυπνο. Και στην πραγματικότητα, δεν είναι επειδή είναι ανόητο – υπάρχει μια κάποια εξυπνάδα σε αυτά τα AI που παραβιάζουν κανόνες που αντιστοιχίζεται σε αυτό που θεωρούμε πλευρική σκέψη. Άρα δεν είναι αυτό.

Το σφάλμα σε αυτή την περίπτωση είναι ξεκάθαρο

οι άνθρωποι που δημιούργησαν και ανέπτυξαν ένα σύστημα τεχνητής νοημοσύνης που θα έπρεπε να γνωρίζουν ότι ήταν εντελώς ανεπαρκές για την εργασία

. Κανείς στον τομέα της εφαρμοσμένης τεχνητής νοημοσύνης, ή οτιδήποτε ακόμη παρακείμενο με αυτό, όπως η ρομποτική, η ηθική, η λογική… κανείς δεν θα είχε υπογράψει σε μια τόσο απλοϊκή μέτρηση για μια εργασία που τελικά προοριζόταν να εκτελεστεί εκτός του προσομοιωτή.

Τώρα, ίσως αυτό το ανέκδοτο είναι μόνο μερικό και αυτό ήταν ένα πρώιμο σενάριο που χρησιμοποιούσαν για να αποδείξουν αυτό το σημείο. Ίσως η ομάδα να προειδοποίησε ότι αυτό θα συμβεί και οι ορειχάλκινοι να είπαν, κάντε το ούτως ή άλλως και καλύψτε την έκθεση ή χάσουμε τη χρηματοδότησή μας. Ωστόσο, είναι δύσκολο να φανταστεί κανείς κάποιον στο έτος 2023, ακόμη και στο πιο απλό περιβάλλον προσομοίωσης, να κάνει τέτοιου είδους λάθος.

Αλλά θα δούμε αυτά τα λάθη να γίνονται σε πραγματικές συνθήκες – δεν υπάρχει αμφιβολία ήδη. Και το λάθος έγκειται στους ανθρώπους που αποτυγχάνουν να κατανοήσουν τις δυνατότητες και τους περιορισμούς της τεχνητής νοημοσύνης και στη συνέχεια λαμβάνουν ανενημέρωτες αποφάσεις που επηρεάζουν τους άλλους. Είναι ο διευθυντής που πιστεύει ότι ένα ρομπότ μπορεί να αντικαταστήσει 10 εργάτες γραμμής, ο εκδότης που πιστεύει ότι μπορεί να γράψει οικονομικές συμβουλές χωρίς συντάκτη, ο δικηγόρος που πιστεύει ότι μπορεί να κάνει την έρευνά του προηγουμένου για αυτόν, η εταιρεία logistics που πιστεύει ότι μπορεί να αντικαταστήσει τους οδηγούς παράδοσης ανθρώπων .

Κάθε φορά που η τεχνητή νοημοσύνη αποτυγχάνει, είναι αποτυχία αυτών που την εφάρμοσαν. Όπως και κάθε άλλο λογισμικό. Εάν κάποιος σας έλεγε ότι η Πολεμική Αεροπορία δοκίμασε ένα drone που εκτελείται με Windows XP και έπεσε σε χάκαρισμα, θα ανησυχούσατε για ένα κύμα εγκλήματος στον κυβερνοχώρο που σαρώνει τον κόσμο; Όχι, θα έλεγες «ποιου ήταν η φωτεινή ιδέα

ότι?

”

Το μέλλον της τεχνητής νοημοσύνης είναι αβέβαιο και αυτό μπορεί να είναι τρομακτικό — ήδη

είναι

τρομακτικό για πολλούς που ήδη αισθάνονται τα αποτελέσματά του, ή για την ακρίβεια τα αποτελέσματα των αποφάσεων που λαμβάνονται από ανθρώπους που θα έπρεπε να γνωρίζουν καλύτερα.

Το Skynet μπορεί να έρχεται, για όσα γνωρίζουμε. Αλλά αν η έρευνα σε αυτό το viral tweet είναι κάποια ένδειξη, είναι πολύ μακριά και εν τω μεταξύ οποιαδήποτε δεδομένη τραγωδία μπορεί, όπως το έθεσε μνημονιακά ο HAL, να αποδοθεί μόνο σε ανθρώπινο λάθος.