Με αξία 1 δισεκατομμυρίων δολαρίων, η startup LLM του Kai-Fu Lee αποκαλύπτει μοντέλο ανοιχτού κώδικα

Kai-Fu Lee, ο επιστήμονας υπολογιστών γνωστός στη Δύση για το μπεστ σέλερ του

AI Υπερδυνάμεις

και στην Κίνα για τα στοιχήματά του στους μονόκερους τεχνητής νοημοσύνης, έχει ένα νέο εγχείρημα — και μια μεγάλη φιλοδοξία.

Στα τέλη Μαρτίου, ο Lee ξεκίνησε μια εταιρεία που ονομάζεται

01.AI

με το όραμα να αναπτύξει ένα εγχώριο μοντέλο μεγάλης γλώσσας για την κινεζική αγορά. Το εγχείρημα τον θέτει σε ανταγωνισμό με άλλους εξέχοντες κινέζους τεχνολογικούς ηγέτες, συμπεριλαμβανομένου του ιδρυτή της Sogou, Wang Xiaochuan, ο οποίος συγκεντρώνει γρήγορα ταλέντο και επιχειρηματικά κεφάλαια για να δημιουργήσει τα αντίστοιχα της OpenAI στην Κίνα.

«Νομίζω ότι η αναγκαιότητα είναι η μητέρα της καινοτομίας και υπάρχει σαφώς μια τεράστια αναγκαιότητα στην Κίνα», είπε ο Lee στο TechCrunch σε συνέντευξή του, εξηγώντας το κίνητρο πίσω από την έναρξη του 01.AI. «Σε αντίθεση με τον υπόλοιπο κόσμο, η Κίνα δεν έχει πρόσβαση στο OpenAI και την Google επειδή αυτές οι δύο

εταιρείες

δεν διέθεσαν τα προϊόντα τους στην Κίνα, οπότε νομίζω ότι πολλές που κάνουν LLM προσπαθούν να κάνουν το ρόλο τους στη δημιουργία μιας λύσης για μια αγορά που πραγματικά χρειάζεται αυτό».

Η ανάπτυξη της 01.AI είναι μια κατάλληλη αντανάκλαση της ταχείας ανάπτυξης στον τομέα της γενετικής τεχνητής νοημοσύνης. Επτά μήνες μετά την ίδρυσή της, η startup κυκλοφόρησε το πρώτο της μοντέλο, το ανοιχτού κώδικα

Yi-34B

. Η απόφαση να εισαγάγει ένα ανοιχτό LLM ως το ντεμπούτο του προϊόν είναι ένας τρόπος να «ανταποδώσει» στην κοινωνία, είπε ο Lee. Για τους ανθρώπους που αισθάνθηκαν ότι το LLaMA είναι ένα «δώρο του θεού» για αυτούς, «προσφέραμε μια συναρπαστική εναλλακτική», πρόσθεσε.

Μέχρι στιγμής, το Yi-34B, το οποίο είναι ένα δίγλωσσο (αγγλικά και κινέζικα) βασικό μοντέλο εκπαιδευμένο με 34 δισεκατομμύρια παραμέτρους και σημαντικά μικρότερο από άλλα ανοιχτά μοντέλα όπως το Falcon-180B και το Meta LlaMa2-70B,

ήρθε πρώτο μεταξύ των προεκπαιδευμένων μοντέλων LLM,

σύμφωνα με την κατάταξη του Hugging Face

.

«Εξακολουθούμε να πιστεύουμε ότι τα μεγαλύτερα μοντέλα, όταν εκπαιδεύονται καλά, σε μεγάλο αριθμό δεδομένων υψηλής ποιότητας, θα ξεπερνούν πάντα σημαντικά μικρότερα μοντέλα συγκρίσιμης ποιότητας και συγκρίσιμης τεχνολογίας, έτσι νομίζω [Yi-34B] Η απόδοση των πολύ μεγαλύτερων μοντέλων είναι κάτι που συνήθως δεν βλέπουμε», είπε ο Lee. «Αισθανόμαστε αρκετά σίγουροι καθώς κυκλοφορήσαμε μοντέλα που είναι 100 έως 400 δισεκατομμύρια τον επόμενο χρόνο, ενάμιση χρόνο, αυτά τα μοντέλα θα είναι δραματικά καλύτερα από το σημερινό μοντέλο που ανακοινώσαμε».

Η ικανότητα της startup να ξεκινά γρήγορα την εκπαίδευση μοντέλων είναι αναμφίβολα αποτέλεσμα της ομαλής συγκέντρωσης κεφαλαίων της, η οποία είναι κρίσιμη για την εξασφάλιση κορυφαίων ταλέντων και επεξεργαστών τεχνητής νοημοσύνης. Ενώ αρνήθηκε να αποκαλύψει πόσα έχει συγκεντρώσει η 01.AI, ο Lee είπε ότι αποτιμάται σε 1 δισεκατομμύριο δολάρια αφού έλαβε χρηματοδότηση από τη Sinovation Ventures, την Alibaba Cloud και άλλους άγνωστους επενδυτές.

Η 01.AI έχει ήδη αυξηθεί σε περισσότερους από 100 υπαλλήλους, περισσότεροι από τους μισούς από τους οποίους είναι ειδικοί LLM από μεγάλες πολυεθνικές και κινεζικές εταιρείες τεχνολογίας. Ο αντιπρόεδρος τεχνολογίας του, για παράδειγμα, είναι πρώιμο μέλος του

Bard

της Google και ο επικεφαλής αρχιτέκτονας του ήταν ιδρυτικό μέλος του TensorFlow και εργάστηκε μαζί με διάσημους ερευνητές όπως ο Jeff Dean και ο Samy Bengio στο Google Brain. Τα βασικά πρόσωπα πίσω από το Yi-34B είναι ο Wenhao Huang, βετεράνος της Microsoft στην Ασία, και ο Ethan Dai, ο οποίος κατείχε ανώτερες θέσεις τεχνητής νοημοσύνης στις Huawei και Alibaba.

Έχοντας υποστηρίξει πάνω από δέκα μονόκερους και δημιούργησε επτά εταιρείες μέσω της Sinovation Ventures, ο Lee είναι πιθανώς ένας από τους πιο καλά συνδεδεμένους επενδυτές και επιχειρηματίες στην Κίνα.

«Έχουν περάσει, ξέρετε, πάνω από 25 χρόνια από την ίδρυση της Microsoft Research Asia, και ό,τι έχω κάνει ήταν να αποκτήσω εξαιρετικά μεγάλα ταλέντα», είπε ο Lee, ο οποίος ίδρυσε το Microsoft Research Asia, το μεγαλύτερο ερευνητικό κέντρο του αμερικανικού γίγαντα στο εξωτερικό. πριν κατευθυνθείτε στο Google China. Με τα χρόνια, η Microsoft Research Asia έχει κερδίσει τη φήμη ως το «West Point» για την καλλιέργεια των επιχειρηματιών τεχνητής νοημοσύνης της Κίνας.

«Τώρα, φυσικά, θέλετε να πληρώνετε τους ανθρώπους δίκαια και πρέπει να είστε ανταγωνιστικοί στις αμοιβές, αλλά πραγματικά πιστεύω ότι αφορά επίσης τους ανθρώπους που πιστεύουν ότι μπορούν να κάνουν τη διαφορά και πιστεύουν ότι η εταιρεία μπορεί να πετύχει», πρόσθεσε ο Lee.

Δεν είναι μυστικό ότι η κατασκευή LLM είναι μια δαπανηρή επιχείρηση. Για να διατηρήσει τις δραστηριότητές της υψηλής έντασης μετρητών, η 01.AI έχει σχέδια για δημιουργία εσόδων από την αρχή. Ενώ η εταιρεία θα συνεχίσει να παρέχει ανοιχτό κώδικα ορισμένα από τα μοντέλα της, στόχος της είναι να δημιουργήσει ένα υπερσύγχρονο ιδιόκτητο μοντέλο που χρησιμεύει ως βάση για μια ποικιλία εμπορικών προϊόντων.

“Εμείς

δεν μπορώ να ανοίξω τα πάντα ανοιχτού κώδικα», είπε ο Lee. «Γνωρίζαμε αρκετά το γεγονός ότι αυτά τα μεγάλα γλωσσικά μοντέλα απαιτούν πολύ υπολογισμό και επομένως είναι πολύ ακριβά. Όταν συγκεντρώνουμε πολλά χρήματα, τα περισσότερα από αυτά θα δαπανηθούν για τη GPU. Δεδομένου αυτού, έπρεπε πρώτα να αποκτήσουμε όσο περισσότερη GPU μπορούσαμε, κάτι που κάναμε».

Όπως και άλλοι παίκτες LLM στην Κίνα, η 01.AI έχει προληπτικά αποθηκεύσει GPU εν αναμονή των κυρώσεων των ΗΠΑ. δανείστηκε χρήματα για να αγοράσει μεταποιητές ακόμη και πριν λάβει χρηματοδότηση. Τον περασμένο χρόνο, η κυβέρνηση Μπάιντεν αύξησε τους περιορισμούς στην πρόσβαση της Κίνας σε

τσιπ

τεχνητής νοημοσύνης υψηλής τεχνολογίας,

ωθώντας τις κινεζικές εταιρείες να πληρώνουν διογκωμένες τιμές για μάρκες

. Η προνοητικότητα ανταμείφθηκε — η 01.AI έχει τώρα μια

προσφορά

που θα αρκεί

τουλάχιστον τους επόμενους 12-18 μήνες.

Πέρα από το ότι προκαλούν πονοκεφάλους στις κινεζικές επιχειρήσεις, οι κυρώσεις των ΗΠΑ ήταν καταλύτης για την καινοτομία, ενθαρρύνοντάς τις να βελτιστοποιήσουν τη χρήση της υπο

λογιστική

ς ισχύος. «Με μια ομάδα υποδομής πολύ υψηλής ποιότητας, για κάθε 1000 GPU, μπορεί να είμαστε σε θέση να αποσπάσουμε φόρτο εργασίας 2000 GPU», είπε ο Lee.

Η πορεία του 01.AI προς τη δημιουργία εσόδων εξαρτάται σε μεγάλο βαθμό από την ικανότητά του να βρίσκει κατάλληλο προϊόν στην αγορά για τα ακριβά μοντέλα τεχνητής νοημοσύνης του. Ενώ οι κορυφαίοι επιστήμονες LLM είναι σπάνιοι, δεν υπάρχει έλλειψη ταλέντων προϊόντων στην Κίνα.

«Η Κίνα δεν είναι μπροστά από τις ΗΠΑ στο LLM, αλλά δεν υπάρχει αμφιβολία ότι η Κίνα μπορεί να δημιουργήσει καλύτερες εφαρμογές από τους Αμερικανούς προγραμματιστές, κυρίως λόγω του εκπληκτικού οικοσυστήματος διαδικτύου για κινητά που χτίστηκε τα τελευταία 12 χρόνια περίπου», υποστήριξε ο Lee.

Αν και ο ιδρυτής δεν έδωσε λεπτομέρειες για τις υπηρεσίες που βρίσκονται σε εξέλιξη, άφησε να εννοηθεί ότι η εταιρεία πειραματίζεται με έννοιες στις κατευθύνσεις παραγωγικότητας και κοινωνικών δικτύων και θα ήταν «απογοητευμένος» αν η 01.AI δεν κυκλοφόρησε μια εφαρμογή σε αυτό το ημερολόγιο έτος.

Ο απώτερος στόχος της startup, σύμφωνα με τον Lee, είναι να γίνει ένα οικοσύστημα όπου οι εξωτερικοί προγραμματιστές μπορούν να δημιουργήσουν εύκολα εφαρμογές. «Το καθήκον δεν είναι απλώς να προωθήσουμε καλά ερευνητικά μοντέλα, αλλά ακόμα πιο σημαντικό να κάνουμε την ανάπτυξη εφαρμογών εύκολη, ώστε να υπάρχουν συναρπαστικές εφαρμογές», είπε. “Στο τέλος της μέρας. Είναι ένα παιχνίδι οικοσυστήματος». Ο χρόνος θα δείξει αν η προσπάθεια τεχνητής νοημοσύνης του Lee θα αποδώσει καρπούς.