Η πρωτοπόρος των μηχανών αναζήτησης της Κίνας αποκαλύπτει ένα μοντέλο ανοιχτού κώδικα μεγάλης γλώσσας για να ανταγωνιστεί το OpenAI

Τον Φεβρουάριο, ο ιδρυτής της Sogou Wang Xiaochuan

είπε

στο Weibo ότι «η Κίνα χρειάζεται το δικό της

OpenAI

». Ο Κινέζος επιχειρηματίας πλησιάζει τώρα πιο κοντά στο όνειρό του, καθώς η νεοσύστατη εταιρεία Baichuan Intelligence παρουσίασε το μοντέλο μεγάλης γλώσσας επόμενης γενιάς.

Baichuan-13B

σήμερα.

Το Baichuan διαφημίζεται ως ένας από τους πιο πολλά υποσχόμενους προγραμματιστές LLM της Κίνας, χάρη στο ιστορικό παρελθόν του ιδρυτή του ως θαύμα της επιστήμης των υπολογιστών από το Πανεπιστήμιο Tsinghua και ίδρυσης του παρόχου μηχανών αναζήτησης Sogou, που αργότερα εξαγοράστηκε από την Tencent.

Ο Wang παραιτήθηκε από το Sogou στα τέλη του 2021. Καθώς το

ChatGPT

κατακλύζει τον κόσμο, ο επιχειρηματίας ξεκίνησε το Baichuan

τον Απρίλιο

και κέρδισε γρήγορα 50 εκατομμύρια δολάρια σε χρηματοδότηση από μια ομάδα αγγέλων επενδυτών.

Όπως και άλλα εγχώρια LLM της Κίνας, το Baichuan, ένα μοντέλο 13 δισεκατομμυρίων παραμέτρων που βασίζεται στην αρχιτεκτονική του Transformer (η οποία περιλαμβάνει επίσης το GPT), εκπαιδεύεται σε κινεζικά και αγγλικά δεδομένα. (Οι παράμετροι αναφέρονται σε μεταβλητές που χρησιμοποιεί το μοντέλο για τη δημιουργία και την ανάλυση κειμένου.) Το μοντέλο είναι ανοιχτού κώδικα και βελτιστοποιημένο για εμπορική εφαρμογή, σύμφωνα με τη σελίδα του στο GitHub.

Το Baichuan-13 εκπαιδεύεται σε 1,4 τρισεκατομμύρια μάρκες.

Συγκριτικά, του

Meta



Είδος μικρής καμήλας


χρησιμοποιεί 1 τρισεκατομμύριο μάρκες στο μοντέλο 13 δισεκατομμυρίων παραμέτρων. Ο Wang είπε προηγουμένως σε ένα


συνέντευξη


ότι η startup του ήταν σε καλό δρόμο να κυκλοφορήσει ένα μοντέλο μεγάλης κλίμακας συγκρίσιμο με το GPT-3.5 του OpenAI μέχρι το τέλος αυτού του έτους.

Έχοντας ξεκινήσει μόλις πριν από τρεις μήνες, η Baichuan έχει ήδη επιτύχει μια αξιοσημείωτη ταχύτητα ανάπτυξης.

Μέχρι το τέλος Απριλίου

η ομάδα είχε αυξηθεί σε 50 άτομα και τον Ιούνιο, κυκλοφόρησε το πρώτο της LLM, το μοντέλο προεκπαίδευσης Baichuan-7B που διαθέτει 7 δισεκατομμύρια παραμέτρους.

Τώρα, το θεμελιώδες μοντέλο Baichuan-13B είναι διαθέσιμο δωρεάν σε ακαδημαϊκούς και προγραμματιστές που έχουν λάβει επίσημη έγκριση για να το χρησιμοποιήσουν για εμπορικούς σκοπούς. Είναι σημαντικό ότι στην εποχή των αμερικανικών κυρώσεων για τσιπ τεχνητής νοημοσύνης στην Κίνα, το μοντέλο προσφέρει παραλλαγές που μπορούν να λειτουργήσουν σε υλικό καταναλωτικής ποιότητας, συμπεριλαμβανομένων των καρτών γραφικών 3090 της

Nvidia

.

Άλλες κινεζικές εταιρείες που έχουν επενδύσει πολλά σε μεγάλα γλωσσικά μοντέλα περιλαμβάνουν τον γίγαντα των μηχανών αναζήτησης Baidu. Zhipu.ai, spinoff του Πανεπιστημίου Tsinghua με επικεφαλής τον καθηγητή

Τανγκ Τζι

; καθώς και το ερευνητικό ινστιτούτο IDEA με επικεφαλής τον Χάρι Σουμ, ο οποίος ήταν συνιδρυτής της

Microsoft

Research Asia.

Τα μεγάλα γλωσσικά μοντέλα της Κίνας αναδύονται γρήγορα καθώς η χώρα προετοιμάζεται να εφαρμόσει μερικούς από τους πιο αυστηρούς κανονισμούς τεχνητής νοημοσύνης στον κόσμο.

Όπως αναφέρουν οι Financial Times

, η Κίνα αναμένεται να καταρτίσει κανονισμούς για τη γενετική τεχνητή νοημοσύνη με ιδιαίτερη έμφαση στο περιεχόμενο, υποδεικνύοντας εντεινόμενο έλεγχο σε σχέση με τους κανόνες που εισήχθησαν τον Απρίλιο. Οι εταιρείες μπορεί επίσης να χρειαστεί να αποκτήσουν άδεια πριν λανσάρουν μεγάλα μοντέλα γλωσσών, κάτι που θα μπορούσε να επιβραδύνει τις προσπάθειες της Κίνας να ανταγωνιστεί τις ΗΠΑ στον εκκολαπτόμενο κλάδο.