Η Meta αναμένει μοντέλα συστάσεων «τάξεις μεγέθους» μεγαλύτερες από το GPT-4. Γιατί;

Η Meta έκανε έναν αξιοσημείωτο ισχυρισμό σε μια ανακοίνωση που δημοσιεύθηκε σήμερα με σκοπό να δώσει περισσότερη σαφήνεια στους αλγόριθμους συστάσεων περιεχομένου της. Προετοιμάζεται για συστήματα ανάλυσης συμπεριφοράς «τάξεις μεγέθους» μεγαλύτερα από τα μεγαλύτερα μεγάλα μοντέλα γλωσσών εκεί έξω, συμπεριλαμβανομένων των ChatGPT και GPT-4. Είναι πραγματικά απαραίτητο;

Κάθε τόσο η Meta αποφασίζει να ανανεώσει τη δέσμευσή της στη διαφάνεια εξηγώντας πώς λειτουργούν μερικοί από τους αλγόριθμούς της. Μερικές φορές αυτό είναι αποκαλυπτικό ή ενημερωτικό, και μερικές φορές οδηγεί μόνο σε περισσότερες ερωτήσεις. Αυτή η περίσταση είναι λίγο και από τα δύο.

Εκτός από τις «κάρτες συστήματος» που εξηγούν πώς χρησιμοποιείται η τεχνητή νοημοσύνη σε ένα δεδομένο πλαίσιο ή εφαρμογή, το κοινωνικό και διαφημιστικό δίκτυο δημοσίευσε μια επισκόπηση των μοντέλων τεχνητής νοημοσύνης που χρησιμοποιεί. Για παράδειγμα, μπορεί να αξίζει τον κόπο να γνωρίζουμε εάν ένα βίντεο αντιπροσωπεύει το χόκεϊ με το λούνα παρκ ή το ρόλερ ντέρμπι, παρόλο που υπάρχει κάποια οπτική επικάλυψη, επομένως μπορεί να προταθεί σωστά.

Πράγματι, η Meta ήταν ένας από τους πιο παραγωγικούς ερευνητικούς οργανισμούς στον τομέα της πολυτροπικής τεχνητής νοημοσύνης, ο οποίος συνδυάζει δεδομένα από πολλαπλούς τρόπους (οπτικό και ακουστικό, για παράδειγμα) για την καλύτερη κατανόηση ενός τμήματος περιεχομένου.

Λίγα από αυτά τα μοντέλα κυκλοφορούν δημόσια, αν και ακούμε συχνά για το πώς χρησιμοποιούνται εσωτερικά για να βελτιώσουν πράγματα όπως η «συνάφεια», που είναι ευφημισμός για στόχευση. (Επιτρέπουν σε ορισμένους ερευνητές την πρόσβαση σε αυτά.)

Έπειτα έρχεται αυτό το ενδιαφέρον μικρό στοιχείο καθώς περιγράφει πώς δημιουργεί τους υπολογιστικούς πόρους του:

Προκειμένου να κατανοήσουμε σε βάθος και να μοντελοποιήσουμε τις προτιμήσεις των ανθρώπων, τα μοντέλα προτάσεών μας μπορούν να έχουν δεκάδες τρισεκατομμύρια παραμέτρους — τάξεις μεγέθους μεγαλύτερες ακόμη και από τα μεγαλύτερα γλωσσικά μοντέλα που χρησιμοποιούνται σήμερα.

Πίεσα το Meta για να γίνει λίγο πιο συγκεκριμένος για αυτά τα θεωρητικά μοντέλα δεκάδων τρισεκατομμυρίων, και αυτό ακριβώς είναι: θεωρητικό. Σε μια διευκρινιστική δήλωση, η εταιρεία είπε: «Πιστεύουμε ότι τα μοντέλα συστάσεων μας έχουν τη δυνατότητα να φτάσουν σε δεκάδες τρισεκατομμύρια παραμέτρους». Αυτή η φράση μοιάζει λίγο με το να λέτε ότι τα μπιφτέκια σας «μπορούν» να έχουν μπουρεκάκια 16 ουγγιών, αλλά στη συνέχεια παραδέχεστε ότι βρίσκονται ακόμα στο στάδιο του τετάρτου. Ωστόσο, η εταιρεία δηλώνει ξεκάθαρα ότι στοχεύει να «διασφαλίσει ότι αυτά τα πολύ μεγάλα μοντέλα μπορούν να εκπαιδευτούν και να αναπτυχθούν αποτελεσματικά σε κλίμακα».

Θα κατασκεύαζε μια εταιρεία δαπανηρή υποδομή για λογισμικό που δεν σκοπεύει να δημιουργήσει — ή να χρησιμοποιήσει; Φαίνεται απίθανο, αλλά ο Meta αρνήθηκε να επιβεβαιώσει (αν και ούτε αρνήθηκε) ότι επιδιώκουν ενεργά μοντέλα αυτού του μεγέθους. Οι συνέπειες είναι σαφείς, οπότε ενώ δεν μπορούμε να αντιμετωπίσουμε αυτό το μοντέλο κλίμακας δεκάδων τρισεκατομμυρίων ως υπάρχον,

μπορώ

Αντιμετωπίστε το ως πραγματικά φιλόδοξο και πιθανό στα έργα.

Παρεμπιπτόντως, το «Κατανοήστε και μοντελοποιήστε τις προτιμήσεις των ανθρώπων», πρέπει να γίνει κατανοητό ότι σημαίνει ανάλυση συμπεριφοράς των χρηστών. Οι πραγματικές σας προτιμήσεις θα μπορούσαν πιθανώς να αντιπροσωπεύονται από μια λίστα απλού κειμένου εκατό λέξεων. Μπορεί να είναι δύσκολο να καταλάβουμε, σε θεμελιώδες επίπεδο, γιατί χρειάζεστε ένα μοντέλο τόσο μεγάλο και πολύπλοκο για να χειριστείτε συστάσεις ακόμη και για μερικά δισεκατομμύρια χρήστες.

Η αλήθεια είναι ότι ο χώρος του προβλήματος είναι πράγματι τεράστιος: υπάρχουν δισεκατομμύρια και δισεκατομμύρια κομμάτια περιεχομένου όλα με συνακόλουθα μεταδεδομένα, και αναμφίβολα όλα τα είδη πολύπλοκων διανυσμάτων που δείχνουν ότι οι άνθρωποι που ακολουθούν την Παταγονία τείνουν επίσης να δωρίζουν στην Παγκόσμια Ομοσπονδία Άγριας Ζωής, αγοράζουν όλο και περισσότερο ακριβές ταΐστρες πουλιών και ούτω καθεξής. Ίσως λοιπόν να μην προκαλεί έκπληξη το γεγονός ότι ένα μοντέλο εκπαιδευμένο σε όλα αυτά τα δεδομένα θα ήταν αρκετά μεγάλο. Αλλά «τάξεις μεγέθους μεγαλύτερες» ακόμη και από τις μεγαλύτερες εκεί έξω, κάτι εκπαιδευμένο σε σχεδόν κάθε γραπτό έργο που είναι προσβάσιμο;

Δεν υπάρχει αξιόπιστη μέτρηση παραμέτρων για το GPT-4 και οι ηγέτες στον κόσμο της τεχνητής νοημοσύνης έχουν επίσης διαπιστώσει ότι είναι ένα μειωτικό μέτρο απόδοσης, αλλά το ChatGPT είναι περίπου 175 δισεκατομμύρια και το GPT-4 πιστεύεται ότι είναι υψηλότερο από αυτό αλλά χαμηλότερο από όσα ισχυρίζονται τα άγρια ​​100 τρισεκατομμύρια. Ακόμα κι αν ο Meta υπερβάλλει λίγο, αυτό είναι ακόμα τρομακτικό.

Σκεφτείτε το: ένα μοντέλο τεχνητής νοημοσύνης τόσο μεγάλο ή μεγαλύτερο από οποιοδήποτε άλλο που έχει δημιουργηθεί ακόμα… αυτό που συμβαίνει στο ένα άκρο είναι κάθε ενέργεια που κάνετε στις πλατφόρμες της Meta, αυτό που βγαίνει στο άλλο είναι μια πρόβλεψη του τι θα κάνετε ή θα σας αρέσει στη συνέχεια. Κάπως ανατριχιαστικό, έτσι δεν είναι;

Φυσικά δεν είναι οι μόνοι που το κάνουν αυτό. Η Tiktok πρωτοστάτησε στην αλγοριθμική παρακολούθηση και σύσταση και έχει χτίσει την αυτοκρατορία της στα μέσα κοινωνικής δικτύωσης με βάση την εθιστική ροή του «σχετικού» περιεχομένου που έχει σκοπό να σας κρατήσει να κάνετε κύλιση μέχρι να πονέσουν τα μάτια σας. Οι ανταγωνιστές του ζηλεύουν ανοιχτά.

Η Meta στοχεύει ξεκάθαρα να τυφλώσει τους διαφημιστές με την επιστήμη, τόσο με τη δηλωμένη φιλοδοξία να δημιουργήσουν το μεγαλύτερο μοντέλο στο μπλοκ, όσο και με αποσπάσματα όπως τα παρακάτω:

Αυτά τα συστήματα κατανοούν τις προτιμήσεις συμπεριφοράς των ανθρώπων χρησιμοποιώντας πολύ μεγάλης κλίμακας μοντέλα προσοχής, νευρωνικά δίκτυα γραφημάτων, μάθηση με λίγες λήψεις και άλλες τεχνικές. Οι πρόσφατες βασικές καινοτομίες περιλαμβάνουν μια νέα ιεραρχική αρχιτεκτονική βαθιάς ανάκτησης νευρώνων, η οποία μας επέτρεψε να ξεπεράσουμε σημαντικά τις διάφορες βασικές γραμμές αιχμής χωρίς να μειώνουμε την καθυστέρηση συμπερασμάτων. και μια νέα αρχιτεκτονική συνόλου που αξιοποιεί ετερογενείς ενότητες αλληλεπίδρασης για να μοντελοποιήσει καλύτερα τους παράγοντες που σχετίζονται με τα ενδιαφέροντα των ανθρώπων.

Η παραπάνω παράγραφος δεν έχει σκοπό να εντυπωσιάσει τους ερευνητές (ξέρουν όλα αυτά τα πράγματα) ή τους χρήστες (δεν καταλαβαίνουν ή δεν τους ενδιαφέρει). Αλλά βάλτε τον εαυτό σας στη θέση ενός διαφημιστή που αρχίζει να αμφισβητεί εάν τα χρήματά του δαπανώνται καλά σε διαφημίσεις Instagram αντί για άλλες επιλογές. Αυτό το τεχνικό σκαλοπάτι έχει σκοπό να τους θαμπώσει, να τους πείσει ότι όχι μόνο η Meta είναι πρωτοπόρος στην έρευνα τεχνητής νοημοσύνης, αλλά ότι η τεχνητή νοημοσύνη διαπρέπει πραγματικά στο να «κατανοεί» τα ενδιαφέροντα και τις προτιμήσεις των ανθρώπων.

Σε περίπτωση που αμφιβάλλετε: «περισσότερο από το 20 τοις εκατό του περιεχομένου στις ροές Facebook και Instagram ενός ατόμου προτείνεται πλέον από την τεχνητή νοημοσύνη από άτομα, ομάδες ή λογαριασμούς που δεν ακολουθούν». Ακριβώς αυτό που ζητήσαμε! Αυτό είναι λοιπόν. Το AI λειτουργεί υπέροχα.

Αλλά όλα αυτά είναι επίσης μια υπενθύμιση της κρυφής συσκευής στην καρδιά της Meta, της Google και άλλων εταιρειών των οποίων η κύρια κινητήρια αρχή είναι να πωλούν διαφημίσεις με ολοένα και πιο λεπτομερή και ακριβή στόχευση. Η αξία και η νομιμότητα αυτής της στόχευσης πρέπει να επαναλαμβάνεται συνεχώς, ακόμη και όταν οι χρήστες επαναστατούν και η διαφήμιση πολλαπλασιάζεται και υπονοεί αντί να βελτιώνεται.

Ποτέ ο Meta δεν έκανε κάτι λογικό όπως να μου παρουσιάσει μια λίστα με 10 μάρκες ή χόμπι και να ρωτήσει ποια από αυτά μου αρέσει. Προτιμούν να παρακολουθούν τον ώμο μου καθώς πηδάω στον ιστό αναζητώντας ένα νέο αδιάβροχο και συμπεριφέρομαι σαν να είναι κατόρθωμα προηγμένης τεχνητής νοημοσύνης όταν μου προβάλλουν διαφημίσεις αδιάβροχου την επόμενη μέρα. Δεν είναι απολύτως σαφές ότι η τελευταία προσέγγιση είναι ανώτερη από την πρώτη, ή αν ναι, πόσο ανώτερη; Ολόκληρος ο ιστός έχει δημιουργηθεί γύρω από μια συλλογική πίστη στη στόχευση διαφημίσεων ακριβείας και τώρα αναπτύσσεται η πιο πρόσφατη τεχνολογία για να τον στηρίξει για ένα νέο, πιο σκεπτικιστικό κύμα δαπανών μάρκετινγκ.

Φυσικά χρειάζεστε ένα μοντέλο με δέκα τρισεκατομμύρια παραμέτρους για να σας πει τι αρέσει στους ανθρώπους. Πώς αλλιώς θα μπορούσατε να δικαιολογήσετε τα δισεκατομμύρια δολάρια που ξοδέψατε για να το εκπαιδεύσετε!