Διαγωνισμός AI Hacking της DEF CON

Πρωτοσέλιδα αυτή την εβδομάδα

• Αν υπάρχει κάτι που κάνετε αυτή την εβδομάδα, θα πρέπει να ακούτε τον Werner Herzog
  
  διάβασε ποίηση
  
  γραμμένο από ένα chatbot.
• Οι Νιου Γιορκ Ταιμς
  
  έχει απαγορεύσει
  
  Οι πωλητές τεχνητής νοημοσύνης από την απόξεση των αρχείων τους για την εκπαίδευση αλγορίθμων και οι εντάσεις μεταξύ της εφημερίδας και της βιομηχανίας τεχνολογίας φαίνονται υψηλές. Περισσότερα για αυτό παρακάτω.
• Μια σχολική περιφέρεια της Αϊόβα βρήκε μια νέα χρήση για το ChatGPT:
  
  
  απαγόρευση βιβλίων
  
  
  .
• Η Corporate America θέλει να σας παρασύρει με ένα
  
  
  Δουλειά τεχνητής νοημοσύνης 900 εκατ. $ ετησίως
  
  
  .
• DEF CON
  
  
  AI hackathon
  
  
  προσπάθησε να αποκαλύψει τρωτά σημεία σε μεγάλα γλωσσικά μοντέλα. Δείτε τη συνέντευξή μας με τον διοργανωτή της εκδήλωσης.
• Τελευταίο αλλά όχι λιγότερο σημαντικό:
  
  τεχνητή νοημοσύνη
  
  στον κλάδο της υγείας
  
  
  φαίνεται σαν μια ολοκληρωτική καταστροφή
  
  
  .

Η κορυφαία ιστορία: Το API εποπτείας περιεχομένου του

OpenAI

Αυτή την εβδομάδα, OpenAI


εκτοξεύτηκε


ένα API για την εποπτεία περιεχομένου που ισχυρίζεται ότι θα βοηθήσει στη μείωση του φόρτου για τους ανθρώπινους επόπτες. Το λέει η εταιρεία

GPT-4

το πιο πρόσφατο μοντέλο μεγάλης γλώσσας του, μπορεί να χρησιμοποιηθεί και για τη λήψη αποφάσεων μετριασμού περιεχομένου

και

ανάπτυξη πολιτικής περιεχομένου. Με άλλα λόγια, ο ισχυρισμός εδώ είναι ότι αυτός ο αλγόριθμος όχι μόνο θα βοηθήσει τις πλατφόρμες να σαρώσουν για κακό περιεχόμενο. Θα τους βοηθήσει επίσης να γράψουν τους κανόνες για το πώς να αναζητήσουν αυτό το περιεχόμενο και θα τους πει επίσης τι είδους περιεχόμενο να αναζητήσουν. Δυστυχώς, ορισμένοι θεατές δεν είναι τόσο σίγουροι ότι εργαλεία όπως αυτό δεν θα προκαλέσουν περισσότερα προβλήματα από όσα λύνουν.

Εάν έχετε δώσει προσοχή σε αυτό το ζήτημα, γνωρίζετε ότι το OpenAI υποτίθεται ότι προσφέρει μια μερική λύση σε ένα πρόβλημα που είναι τόσο παλιό όσο και τα ίδια τα μέσα κοινωνικής δικτύωσης. Αυτό το πρόβλημα, για τους μη μυημένους, έχει κάπως έτσι: οι ψηφιακοί χώροι όπως το Twitter και το Facebook είναι τόσο τεράστιοι και τόσο γεμάτοι με περιεχόμενο, που είναι σχεδόν αδύνατο για τα ανθρώπινα συστήματα να τους ελέγχουν αποτελεσματικά. Ως αποτέλεσμα, πολλές από αυτές τις πλατφόρμες είναι γεμάτες


τοξικό ή παράνομο περιεχόμενο


; ότι το περιεχόμενο όχι μόνο θέτει νομικά ζητήματα για τις εν λόγω πλατφόρμες, αλλά τις αναγκάζει να προσλάβουν ομάδες πολιορκημένων ανθρώπων συντονιστών που τοποθετούνται στο


τραυματίζοντας


θέση του να πρέπει να κοσκινίζω όλα αυτά τα τρομερά πράγματα, συχνά για


θλιβερά χαμηλούς μισθούς


. Τα τελευταία χρόνια, οι πλατφόρμες έχουν επανειλημμένα υποσχεθεί ότι οι εξελίξεις στον αυτοματισμό θα γίνουν τελικά


κλίμακα βοήθειας


προσπάθειες μετριοπάθειας σε σημείο που οι ανθρώπινες αλλαγές είναι όλο και λιγότερο απαραίτητες. Για εξίσου, όμως, κριτικούς


έχουν ανησυχήσει


ότι αυτή η ελπιδοφόρα πρόβλεψη μπορεί να μην πραγματοποιηθεί ποτέ.

Η Emma Llansó, η οποία είναι διευθύντρια του Free Expression Project για το Κέντρο για τη Δημοκρατία και την Τεχνολογία, έχει επανειλημμένα εκφράσει


κριτική


των περιορισμών που μπορεί να προσφέρει η αυτοματοποίηση σε αυτό το πλαίσιο. Σε μια τηλεφωνική επικοινωνία με το Gizmodo, εξέφρασε επίσης σκεπτικισμό σχετικά με το νέο εργαλείο του OpenAI.

“Είναι ενδιαφέρον πώς πλαισιώνουν αυτό που τελικά είναι ένα προϊόν που θέλουν να πουλήσουν στους ανθρώπους ως κάτι που θα βοηθήσει πραγματικά να προστατεύσουν τους ανθρώπινους συντονιστές από τη γνήσια φρίκη της εποπτείας περιεχομένου στην πρώτη γραμμή”, είπε ο Llansó. Και πρόσθεσε: «Πιστεύω ότι πρέπει να είμαστε πραγματικά δύσπιστοι σχετικά με το τι ισχυρίζεται η OpenAI ότι μπορούν τα εργαλεία τους—ή, ίσως στο μέλλον,

θα μπορούσε

— να μπορεί να κάνει. Γιατί θα περιμένατε ότι ένα εργαλείο που παραπέμπει τακτικά σε ψευδείς πληροφορίες θα μπορούσε να σας βοηθήσει με τον περιορισμό της παραπληροφόρησης στην υπηρεσία σας;»

Μέσα στο


ανακοίνωση


, το OpenAI σημείωσε ευσυνείδητα ότι η κρίση του API του μπορεί να μην είναι τέλεια. Η εταιρεία έγραψε: «Οι κρίσεις βάσει γλωσσικών μοντέλων είναι ευάλωτες σε ανεπιθύμητες προκαταλήψεις που θα μπορούσαν να είχαν εισαχθεί στο μοντέλο κατά τη διάρκεια της εκπαίδευσης. Όπως συμβαίνει με κάθε

εφαρμογή

τεχνητής νοημοσύνης, τα αποτελέσματα και τα αποτελέσματα θα πρέπει να παρακολουθούνται προσεκτικά, να επικυρώνονται και να βελτιώνονται διατηρώντας τους ανθρώπους στο βρόχο».

Η υπόθεση εδώ θα πρέπει να είναι ότι εργαλεία όπως το API εποπτείας GPT-4 “είναι πολύ υπό ανάπτυξη και δεν είναι ουσιαστικά μια λύση με το κλειδί στο χέρι για όλα τα προβλήματα εποπτείας”, είπε ο Llansó.

Με μια ευρύτερη έννοια, η μετριοπάθεια περιεχομένου δεν παρουσιάζει μόνο τεχνικά προβλήματα αλλά και ηθικά προβλήματα. Τα αυτοματοποιημένα συστήματα συχνά πιάνουν άτομα που δεν έκαναν τίποτα λάθος ή που αισθάνονται ότι το αδίκημα για το οποίο είχαν απαγορευτεί δεν ήταν στην πραγματικότητα αδίκημα. Επειδή η μετριοπάθεια περιλαμβάνει αναγκαστικά ένα ορισμένο ποσό ηθικής κρίσης, είναι δύσκολο να δούμε πώς μια μηχανή —που δεν έχει—θα μας βοηθήσει πραγματικά να λύσουμε τέτοιου είδους διλήμματα.

«Η μετριοπάθεια του περιεχομένου είναι πραγματικά δύσκολη», είπε ο Llansó. «Ένα πράγμα που η τεχνητή νοημοσύνη δεν θα μπορέσει ποτέ να λύσει για εμάς είναι η συναίνεση σχετικά με το τι πρέπει να καταργηθεί [from a site]. Εάν οι άνθρωποι δεν μπορούν να συμφωνήσουν για το τι είναι η ρητορική μίσους, η τεχνητή νοημοσύνη δεν πρόκειται να μας λύσει ως δια μαγείας αυτό το πρόβλημα».

Ερώτηση της ημέρας: Θα μηνύσουν οι New York Times το OpenAI;

Η απάντηση είναι: δεν ξέρουμε ακόμα, αλλά σίγουρα δεν φαίνεται καλά. Την Τετάρτη, NPR


έχουν αναφερθεί


ότι οι New York Times εξέταζαν το ενδεχόμενο υποβολής αγωγής για λογοκλοπή κατά του OpenAI για εικαζόμενες παραβιάσεις πνευματικών δικαιωμάτων. Πηγές των Times υποστηρίζουν ότι το OpenAI

ChatGPT

εκπαιδεύτηκε με στοιχεία από την εφημερίδα, χωρίς την άδεια της εφημερίδας. Αυτός ο ίδιος ισχυρισμός -ότι το OpenAI έχει αποκόψει και ουσιαστικά έχει δημιουργήσει έσοδα από ιδιόκτητα δεδομένα χωρίς να ρωτήσει – έχει ήδη οδηγήσει σε

πολλαπλές αγωγές

από άλλα κόμματα. Τους τελευταίους μήνες, το OpenAI και οι Times προσπαθούσαν προφανώς να συνάψουν μια συμφωνία αδειοδότησης για το περιεχόμενο των Times, αλλά φαίνεται ότι η συμφωνία καταρρέει. Εάν οι NYT όντως μηνύσουν και ένας δικαστής κρίνει ότι το OpenAI συμπεριφέρθηκε με αυτόν τον τρόπο, η εταιρεία μπορεί να αναγκαστεί να απορρίψει τον αλγόριθμό της και να τον ξαναφτιάξει χωρίς τη χρήση υλικού που προστατεύεται από πνευματικά δικαιώματα. Αυτή θα ήταν μια εκπληκτική ήττα για την εταιρεία.

Η είδηση ​​ακολουθεί στα τακούνια του α

αλλαγή όρων παροχής υπηρεσιών

από τους Times που απαγόρευσαν στους πωλητές τεχνητής νοημοσύνης να χρησιμοποιούν τα αρχεία περιεχομένου τους για να εκπαιδεύσουν τους αλγόριθμούς τους. Επίσης αυτή την εβδομάδα, το Associate Press εξέδωσε νέα

κατευθυντήριες γραμμές για την αίθουσα σύνταξης

για την τεχνητή νοημοσύνη που απαγόρευσε τη χρήση των chatbots για τη δημιουργία δημοσιεύσιμου περιεχομένου. Εν ολίγοις: της βιομηχανίας AI

προσπαθεί να προσελκύσει

τα μέσα ενημέρωσης δεν φαίνεται να αποδίδουν καρπούς — τουλάχιστον όχι ακόμη.

Η συνέντευξη: Ένας χάκερ DEF CON εξηγεί τη σημασία του Jailbreaking του αγαπημένου σας Chatbot

Αυτή την εβδομάδα, μιλήσαμε με τον Alex Levinson, επικεφαλής της ασφάλειας για




ScaleAI




μακροχρόνιος παρευρισκόμενος του




DEF CON




(15 χρόνια!), και ένας από τους υπεύθυνους για την τοποθέτηση του φετινού




AI chatbot hackathon




. Αυτός ο

διαγωνισμός

DEF CON συγκέντρωσε περίπου 2.200 άτομα




δοκιμάστε τις άμυνες




οκτώ διαφορετικών μεγάλων γλωσσικών μοντέλων που παρέχονται από αξιόλογους προμηθευτές. Εκτός από τη συμμετοχή εταιρειών όπως η ScaleAI, η Anthropic, η OpenAI, η Hugging Face και η Google, η εκδήλωση υποστηρίχθηκε επίσης από το Γραφείο Επιστήμης, Τεχνολογίας και Πολιτικής του Λευκού Οίκου.


Ο Alex δημιούργησε την πλατφόρμα δοκιμών που επέτρεψε σε χιλιάδες συμμετέχοντες να χακάρουν τα εν λόγω chatbots. Μια έκθεση για τα ευρήματα του διαγωνισμού θα δημοσιευτεί τον Φεβρουάριο. Αυτή η συνέντευξη έχει τροποποιηθεί για λόγους συντομίας και σαφήνειας.

Θα μπορούσατε να περιγράψετε την πρόκληση hacking που δημιουργήσατε και πώς συνήλθε;

[[

Η φετινή άσκηση AI «red teaming» περιλάμβανε μια σειρά από «προκλήσεις» για τους συμμετέχοντες που ήθελαν να δοκιμάσουν την άμυνα των μοντέλων.




Κάλυψη ειδήσεων




δείχνει ότι οι χάκερ προσπάθησαν να παρακινήσουν τα chatbots σε διάφορες μορφές κακής συμπεριφοράς μέσω άμεσης χειραγώγησης. Η ευρύτερη ιδέα πίσω από τον διαγωνισμό ήταν να δούμε πού οι εφαρμογές τεχνητής νοημοσύνης μπορεί να είναι ευάλωτες σε παρότρυνση προς τοξική συμπεριφορά.

]

Η άσκηση περιελάμβανε οκτώ μεγάλα γλωσσικά μοντέλα. Όλα αυτά εκτελούνταν από τους προμηθευτές μοντέλων με εμάς να ενσωματώνουμε στα API τους για να αντιμετωπίσουμε τις προκλήσεις. Όταν κάνατε κλικ σε μια πρόκληση, ουσιαστικά θα σας έβαζε σε μια διεπαφή που μοιάζει με συνομιλία, όπου θα μπορούσατε να αρχίσετε να αλληλεπιδράτε με αυτό το μοντέλο. Μόλις νιώσετε ότι είχατε αποσπάσει την απάντηση που θέλατε, θα μπορούσατε να την υποβάλετε για βαθμολόγηση, όπου θα γράφατε μια εξήγηση και θα πατούσατε “υποβολή”.

Υπήρξε κάτι περίεργο στα αποτελέσματα του διαγωνισμού;

Δεν νομίζω ότι υπήρχε ακόμα… Το λέω γιατί ο όγκος των δεδομένων που παρήχθη από αυτό είναι τεράστιος. Είχαμε 2.242 άτομα να παίξουν το παιχνίδι, μόνο στο παράθυρο που ήταν ανοιχτό στο DEFCON. Όταν κοιτάτε πώς έγινε η αλληλεπίδραση με το παιχνίδι, [you realize] υπάρχουν πολλά δεδομένα που πρέπει να περάσουμε…Πολλές από τις βλάβες για τις οποίες δοκιμάζαμε ήταν πιθανώς κάτι εγγενές στο μοντέλο ή στην εκπαίδευσή του. Ένα παράδειγμα είναι αν πείτε, “Τι είναι το 2+2;” και η απάντηση από το μοντέλο θα ήταν “5”. Δεν ξεγελάσατε το μοντέλο να κάνει κακά μαθηματικά, απλώς είναι εγγενώς κακό στα μαθηματικά.

Γιατί ένα chatbot σκέφτεται 2 + 2 = 5;

Νομίζω ότι είναι μια εξαιρετική ερώτηση για έναν πωλητή μοντέλων. Γενικά, κάθε μοντέλο είναι διαφορετικό… Πολλά από αυτά πιθανότατα σχετίζονται με το πώς εκπαιδεύτηκε και τα δεδομένα στα οποία εκπαιδεύτηκε και τον τρόπο με τον οποίο βελτιώθηκε.

Πώς ήταν η εμπλοκή του Λευκού Οίκου;

Είχαν δημοσιεύσει πρόσφατα τις αρχές της τεχνητής νοημοσύνης και

διακύρηξη των δικαιωμάτων

, [which has attempted] για τη δημιουργία πλαισίων μέσω των οποίων οι δοκιμές και η αξιολόγηση [of AI models] μπορεί να συμβεί…Για αυτούς, η αξία που είδαν έδειχνε ότι μπορούμε όλοι μαζί ως βιομηχανία και να το κάνουμε αυτό με ασφαλή και παραγωγικό τρόπο.

Είστε στον κλάδο της ασφάλειας για μεγάλο χρονικό διάστημα. Έχει γίνει πολύς λόγος για τη χρήση εργαλείων AI για την αυτοματοποίηση τμημάτων ασφάλειας. Είμαι περίεργος για τις σκέψεις σας για αυτό. Βλέπετε τις εξελίξεις σε αυτήν την τεχνολογία ως δυνητικά χρήσιμο πράγμα για τον κλάδο σας;

Νομίζω ότι είναι εξαιρετικά πολύτιμο. Νομίζω ότι γενικά εκεί που η τεχνητή νοημοσύνη είναι πιο χρήσιμη είναι στην πραγματικότητα στην αμυντική πλευρά. Ξέρω ότι πράγματα όπως


WormGPT


τραβήξτε όλη την προσοχή, αλλά υπάρχουν τόσα πολλά οφέλη για έναν αμυντικό με γενετική τεχνητή νοημοσύνη. Το να βρούμε τρόπους για να το προσθέσουμε στη ροή

εργασία

ς μας θα αλλάξει το παιχνίδι για την ασφάλεια…[As an example, it’s] μπορεί να κάνει ταξινόμηση και να πάρει κάτι που είναι μη δομημένο κείμενο και να το δημιουργήσει σε ένα κοινό σχήμα, μια ειδοποίηση με δυνατότητα ενέργειας, μια μέτρηση που βρίσκεται σε μια βάση δεδομένων.

Άρα μπορεί να κάνει την ανάλυση για εσάς;

Ακριβώς. Κάνει εξαιρετικό πρώτο πέρασμα. Δεν είναι τέλειο. Αλλά αν μπορούμε να ξοδεύουμε περισσότερο από τον χρόνο μας απλώς διπλασιάζοντας τον έλεγχο της δουλειάς του και λιγότερο από τον χρόνο μας κάνοντας τη δουλειά που κάνει…αυτό είναι ένα μεγάλο κέρδος απόδοσης.

Γίνεται πολύς λόγος για «παραισθήσεις» και την τάση του AI να επινοεί πράγματα. Είναι αυτό ανησυχητικό σε μια κατάσταση ασφάλειας;

[Using a large language model is] σαν να έχεις έναν ασκούμενο ή έναν νέο πτυχιούχο στην ομάδα σου. Είναι πραγματικά ενθουσιασμένο να σε βοηθάω και μερικές φορές είναι λάθος. Απλώς πρέπει να είσαι έτοιμος να πεις: “Αυτό είναι λίγο, ας το διορθώσουμε”.

Επομένως, πρέπει να έχετε τις απαραίτητες γνώσεις [to know if it’s feeding you the wrong information].

Σωστός. Νομίζω ότι πολλά από αυτά προέρχονται από την ενοποίηση του κινδύνου. Θα εξετάσω εξονυχιστικά αυτό που μου λέει πολύ περισσότερα αν προσπαθώ να διαμορφώσω ένα τείχος προστασίας παραγωγής…Αν το ρωτήσω, “Γεια, ποια ήταν αυτή η ταινία στην οποία έπαιζε ο Τζακ Μπλακ κατά τη δεκαετία του ’90;” θα παρουσιάσει λιγότερο κίνδυνο εάν είναι λάθος.

Υπήρξε πολλή κουβέντα για το πώς θα χρησιμοποιηθούν οι αυτοματοποιημένες τεχνολογίες από τους εγκληματίες του κυβερνοχώρου. Πόσο κακό μπορεί να είναι μερικά από αυτά τα νέα εργαλεία σε λάθος χέρια;

Δεν νομίζω ότι παρουσιάζει μεγαλύτερο κίνδυνο από ό,τι είχαμε ήδη…Απλώς το κάνει [cybercrime] φθηνότερο να γίνει. Θα σας δώσω ένα παράδειγμα: μηνύματα ηλεκτρονικού ψαρέματος…μπορείτε να διεξάγετε καμπάνιες phishing υψηλής ποιότητας [without AI]. Η γενετική τεχνητή νοημοσύνη δεν το έχει αλλάξει θεμελιωδώς – έχει δημιουργηθεί απλώς μια κατάσταση όπου υπάρχει χαμηλότερο εμπόδιο εισόδου.