Η Google και το OpenAI είναι Walmarts που πολιορκούνται από φρουτοπωλεία

Το OpenAI μπορεί να είναι συνώνυμο με τη μηχανική μάθηση τώρα και η Google κάνει ό,τι καλύτερο μπορεί για να σηκωθεί από το πάτωμα, αλλά και οι δύο μπορεί σύντομα να αντιμετωπίσουν μια νέα απειλή: να πολλαπλασιάζουν γρήγορα έργα ανοιχτού κώδικα που προωθούν την τελευταία λέξη της τεχνολογίας και αφήνουν τους αδύναμους αλλά δυσκίνητες εταιρείες στη σκόνη τους. Αυτή η απειλή που μοιάζει με το Zerg μπορεί να μην είναι υπαρξιακή, αλλά σίγουρα θα κρατήσει τους κυρίαρχους παίκτες στην άμυνα.

Η ιδέα δεν είναι καινούργια – στην ταχέως κινούμενη κοινότητα της τεχνητής νοημοσύνης, αναμένεται να βλέπουμε αυτού του είδους τις διαταραχές σε εβδομαδιαία βάση – αλλά η κατάσταση τέθηκε σε προοπτική από έναν

ευρέως κοινόχρηστο έγγραφο

υποτίθεται ότι προέρχεται από την Google. «Δεν έχουμε τάφρο, ούτε και το OpenAI», αναφέρει το σημείωμα.

Δεν θα επιβαρύνω τον αναγνώστη με μια εκτενή περίληψη αυτού του απόλυτα ευανάγνωστου και ενδιαφέροντος κομματιού, αλλά η ουσία είναι ότι ενώ το GPT-4 και άλλα ιδιόκτητα μοντέλα έχουν κερδίσει τη μερίδα του λέοντος της προσοχής και μάλιστα του εισοδήματος, το πρώτο ξεκίνημα έχουν κερδίσει με χρηματοδότηση και υποδομές φαίνεται μέρα με τη μέρα πιο αδύναμη.

Παρόλο που ο ρυθμός των εκδόσεων του OpenAI μπορεί να φαίνεται εξωφρενικός σύμφωνα με τα πρότυπα των συνηθισμένων μεγάλων εκδόσεων λογισμικού: τα GPT-3, ChatGPT και GPT-4 ήταν σίγουρα πολύ ζεστά, αν τα συγκρίνετε με εκδόσεις iOS ή Photoshop. Αλλά εξακολουθούν να εμφανίζονται σε κλίμακα μηνών και ετών.

Αυτό που επισημαίνει το σημείωμα είναι ότι τον Μάρτιο, ένα μοντέλο γλώσσας θεμελίωσης που διέρρευσε από τη Meta, που ονομάζεται LLaMA, διέρρευσε σε αρκετά αδρή μορφή. Στα πλαίσια

εβδομάδες

, οι άνθρωποι που ασχολούνταν με φορητούς υπολογιστές και διακομιστές σε πένα το λεπτό είχαν προσθέσει βασικά χαρακτηριστικά, όπως συντονισμό εντολών, πολλαπλούς τρόπους και ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση. Το OpenAI και η Google πιθανώς να περιεργάζονταν επίσης τον κώδικα, αλλά δεν – δεν μπορούσαν – να αναπαράγουν το επίπεδο συνεργασίας και πειραματισμού που συμβαίνει στα subreddits και στο Discords.

Θα μπορούσε πράγματι το τιτάνιο πρόβλημα υπολογισμού που φαινόταν να θέτει ένα ανυπέρβλητο εμπόδιο – μια τάφρο – στους αμφισβητίες να είναι ήδη ένα κατάλοιπο μιας διαφορετικής εποχής ανάπτυξης της τεχνητής νοημοσύνης;

Ο Sam Altman σημείωσε ήδη ότι θα πρέπει να περιμένουμε μειωμένες αποδόσεις όταν ρίχνουμε παραμέτρους στο πρόβλημα. Το μεγαλύτερο δεν είναι πάντα καλύτερο, σίγουρα — αλλά λίγοι θα μάντευαν ότι ήταν μικρότερο.

Το GPT-4 είναι Wal-Mart και σε κανέναν δεν αρέσει το Wal-Mart

Το επιχειρηματικό παράδειγμα που επιδιώκεται από το OpenAI και άλλους αυτή τη στιγμή είναι άμεσος απόγονος του μοντέλου SaaS. Έχετε κάποιο λογισμικό ή υπηρεσία υψηλής αξίας και προσφέρετε προσεκτικά περιορισμένη πρόσβαση σε αυτό μέσω ενός API ή κάποιου τέτοιου είδους. Είναι μια απλή και αποδεδειγμένη προσέγγιση που έχει απολύτως νόημα όταν έχετε επενδύσει εκατοντάδες εκατομμύρια για να αναπτύξετε ένα ενιαίο μονολιθικό αλλά ευέλικτο προϊόν όπως ένα μεγάλο γλωσσικό μοντέλο.

Αν το GPT-4 γενικεύει καλά απαντώντας σε ερωτήσεις σχετικά με προηγούμενα στο δίκαιο των συμβάσεων, θαυμάσιο — δεν πειράζει που ένας τεράστιος αριθμός της «διάνοιάς» του είναι αφιερωμένος στο να μπορεί να παπαγαλίζει το στυλ κάθε συγγραφέα που δημοσίευσε ποτέ ένα έργο στην αγγλική γλώσσα. Το GPT-4 είναι σαν Wal-Mart. Κανείς ουσιαστικά

θέλει

να πάω εκεί, οπότε η εταιρεία φροντίζει να μην υπάρχει άλλη επιλογή.

Αλλά οι πελάτες αρχίζουν να αναρωτιούνται, γιατί περπατάω σε 50 διαδρόμους σκουπιδιών για να αγοράσω μερικά μήλα; Γιατί προσλαμβάνω τις υπηρεσίες του μεγαλύτερου και πιο γενικής χρήσης μοντέλου τεχνητής νοημοσύνης που δημιουργήθηκε ποτέ, αν το μόνο που θέλω να κάνω είναι να καταβάλω κάποια ευφυΐα για να αντιστοιχίσω τη γλώσσα αυτής της σύμβασης με μερικές εκατοντάδες άλλες; Με κίνδυνο να βασανίσετε τη μεταφορά (για να μην πω τίποτα για τον αναγνώστη), αν το GPT-4 είναι το Wal-Mart στο οποίο πηγαίνετε για μήλα, τι συμβαίνει όταν ανοίγει μια φρουτοθήκη στο πάρκινγκ;

Δεν χρειάστηκε πολύς χρόνος στον κόσμο της τεχνητής νοημοσύνης για να εκτελεστεί ένα μεγάλο μοντέλο γλώσσας, φυσικά σε εξαιρετικά περικομμένη μορφή, σε (κατάλληλα) ένα Raspberry Pi. Για μια επιχείρηση όπως το OpenAI, ο αναβάτης της Microsoft, η Google ή οποιοσδήποτε άλλος στον κόσμο της τεχνητής νοημοσύνης ως υπηρεσίας, ουσιαστικά επαιτεί ολόκληρη την αρχή της επιχείρησής τους: ότι αυτά τα συστήματα είναι τόσο δύσκολο να κατασκευαστούν και να λειτουργήσουν που πρέπει να Κάντο για σένα. Στην πραγματικότητα, αρχίζει να φαίνεται ότι αυτές οι εταιρείες επέλεξαν και κατασκεύασαν μια έκδοση της τεχνητής νοημοσύνης που ταιριάζει στο υπάρχον επιχειρηματικό τους μοντέλο και όχι το αντίστροφο!

Μια φορά κι έναν καιρό έπρεπε να μεταφορτώσετε τον υπολογισμό που εμπλέκεται στην επεξεργασία κειμένου σε έναν κεντρικό υπολογιστή – το τερματικό σας ήταν απλώς μια οθόνη. Φυσικά εκείνη ήταν μια διαφορετική εποχή, και εδώ και πολύ καιρό καταφέραμε να χωρέσουμε ολόκληρη την εφαρμογή σε έναν προσωπικό υπολογιστή. Αυτές οι διαδικασίες έχουν συμβεί πολλές φορές, καθώς οι συσκευές μας έχουν επανειλημμένα και εκθετικά αυξήσει την ικανότητά τους για υπολογισμό. Αυτές τις μέρες που κάτι πρέπει να γίνει σε έναν υπερυπολογιστή, όλοι καταλαβαίνουν ότι είναι απλώς θέμα χρόνου και βελτιστοποίησης.

Για την Google και το OpenAI, η ώρα ήρθε πολύ πιο γρήγορα από το αναμενόμενο. Και δεν ήταν αυτοί που έκαναν τη βελτιστοποίηση — και μπορεί να μην είναι ποτέ σε αυτόν τον ρυθμό.

Τώρα, αυτό δεν σημαίνει ότι δεν έχουν τύχη. Η Google δεν έφτασε εκεί που είναι όντας η καλύτερη — ούτως ή άλλως όχι για πολύ καιρό. Το να είσαι Wal-Mart έχει τα πλεονεκτήματά του. Οι εταιρείες δεν θέλουν να πρέπει να βρουν την εξατομικευμένη λύση που εκτελεί την εργασία που θέλουν 30% γρηγορότερα, εάν μπορούν να λάβουν μια αξιοπρεπή τιμή από τον υπάρχοντα προμηθευτή τους και να μην κουνήσουν το σκάφος πολύ. Μην υποτιμάτε ποτέ την αξία της αδράνειας στην επιχείρηση!

Σίγουρα, οι άνθρωποι επαναλαμβάνουν το LLaMA τόσο γρήγορα που τους τελειώνουν οι καμήλες για να τους δώσουν το όνομά τους. Παρεμπιπτόντως, θα ήθελα να ευχαριστήσω τους προγραμματιστές για μια δικαιολογία για να περιηγηθείτε σε εκατοντάδες φωτογραφίες χαριτωμένων, καστανόχρωμων

vicuñas

αντί να δουλεύει. Ωστόσο, λίγα εταιρικά τμήματα πληροφορικής πρόκειται να συνδυάσουν μια εφαρμογή του παραγώγου ανοιχτού κώδικα της Stability σε εξέλιξη ενός οιονεί νομίμου μοντέλου Meta που διέρρευσε μέσω του απλού, αποτελεσματικού API του OpenAI. Έχουν μια επιχείρηση να λειτουργήσουν!

Αλλά την ίδια στιγμή, σταμάτησα να χρησιμοποιώ το Photoshop πριν από χρόνια για επεξεργασία και δημιουργία εικόνων, επειδή οι επιλογές ανοιχτού κώδικα όπως το Gimp και το Paint.net έχουν γίνει τόσο απίστευτα καλές. Σε αυτό το σημείο, το επιχείρημα πηγαίνει προς την άλλη κατεύθυνση. Πόσα πληρώνετε για το Photoshop; Δεν υπάρχει περίπτωση, έχουμε μια επιχείρηση να κάνουμε!

Αυτό για το οποίο ανησυχούν ξεκάθαρα οι ανώνυμοι συγγραφείς της Google είναι ότι η απόσταση από την πρώτη κατάσταση στη δεύτερη θα είναι πολύ μικρότερη από ό,τι πίστευε κανείς και δεν φαίνεται να μπορεί να κάνει τίποτα γι’ αυτό.

Εκτός, το σημείωμα υποστηρίζει: αγκάλιασέ το. Ανοίξτε, δημοσιεύστε, συνεργαστείτε, μοιραστείτε, συμβιβαστείτε. Όπως καταλήγουν:

Η Google θα πρέπει να καθιερωθεί ως ηγέτης στην κοινότητα ανοιχτού κώδικα, αναλαμβάνοντας την ηγεσία συνεργαζόμενη, αντί να αγνοεί, την ευρύτερη συζήτηση. Αυτό σημαίνει πιθανώς να κάνετε κάποια άβολα βήματα, όπως τη δημοσίευση των βαρών μοντέλων για μικρές παραλλαγές ULM. Αυτό σημαίνει αναγκαστικά παραίτηση από τον έλεγχο των μοντέλων μας. Αλλά αυτός ο συμβιβασμός είναι αναπόφευκτος. Δεν μπορούμε να ελπίζουμε ότι θα προωθήσουμε την καινοτομία και θα την ελέγξουμε.