Το εργαλείο του Martian αλλάζει αυτόματα μεταξύ LLM για μείωση του κόστους

Οι Shriyash Upadhyay και Etan Ginsberg, ερευνητές

τεχν

ητής νοημοσύνης από το Πανεπιστήμιο της Πενσυλβάνια, είναι της γνώμης ότι πολλές μεγάλες εταιρείες τεχνητής νοημοσύνης θυσιάζουν τη βασική έρευνα επιδιώκοντας την ανάπτυξη ανταγωνιστικών, ισχυρών μοντέλων τεχνητής νοημοσύνης. Το δίδυμο κατηγορεί τη δυναμική της αγοράς: όταν οι εταιρείες συγκεντρώνουν σημαντικά κεφάλαια, η πλειονότητα συνήθως πηγαίνει προς τις προσπάθειες να παραμείνουν μπροστά από τους ανταγωνιστές αντί να μελετήσουν τα θεμελιώδη.

«Κατά τη διάρκεια της έρευνάς μας για τα LLM [at UPenn,] τα παρατηρήσαμε σχετικά με τις τάσεις στον κλάδο της τεχνητής νοημοσύνης», είπαν οι Upadhyay και Ginsberg στο TechCrunch σε μια συνέντευξη μέσω email. «

Η πρόκληση

είναι να κάνει την έρευνα AI κερδοφόρα».

Ο Upadhyay και ο Ginsberg σκέφτηκαν ότι ο καλύτερος τρόπος για να το αντιμετωπίσουν αυτό θα μπορούσε να είναι η ίδρυση μιας δικής τους εταιρείας — μιας εταιρείας της οποίας τα προϊόντα επωφελούνται από την ερμηνευτικότητα. Η αποστολή της εταιρείας θα ευθυγραμμιζόταν φυσικά με την περαιτέρω έρευνα ερμηνείας και όχι με την έρευνα ικανοτήτων, υπέθεσαν, οδηγώντας σε ισχυρότερη έρευνα.

Αυτή η εταιρεία,

άρειος

, βγήκε σήμερα από το stealth με χρηματοδότηση 9 εκατομμυρίων δολαρίων από επενδυτές, συμπεριλαμβανομένων των NEA, Prosus Ventures, Carya Venture Partners και

General Catalyst

. Τα έσοδα διατίθενται για την ανάπτυξη προϊόντων, τη διεξ

αγωγή

έρευνας στις εσωτερικές λειτουργίες των μοντέλων και την ανάπτυξη της ομάδας δέκα εργαζομένων της Martian, λένε οι Upadhyay και Ginsberg.

Το πρώτο προϊόν της Martian είναι ένας «μοντέλο δρομολογητή», ένα εργαλείο που δέχεται μια προτροπή που προορίζεται για ένα μοντέλο μεγάλης γλώσσας (LLM) — ας πούμε GPT-4 — και το δρομολογεί αυτόματα στο «καλύτερο» LLM. Από προεπιλογή, ο δρομολογητής μοντέλου επιλέγει το LLM με τον καλύτερο χρόνο λειτουργίας, σύνολο δεξιοτήτων (π.χ. επίλυση μαθηματικών προβλημάτων) και αναλογία κόστους προς απόδοση για το εν λόγω μήνυμα.

«Ο τρόπος με τον οποίο οι εταιρείες χρησιμοποιούν επί του παρόντος τα LLM είναι να επιλέγουν ένα μόνο LLM για κάθε τελικό σημείο στο οποίο στέλνουν όλα τα αιτήματά τους», δήλωσαν οι Upadhyay και Ginsberg. «Αλλά σε μια εργασία όπως η δημιουργία ενός ιστότοπου, διαφορετικά μοντέλα θα ταιριάζουν καλύτερα σε ένα συγκεκριμένο αίτημα ανάλογα με το πλαίσιο που καθορίζει ο χρήστης (ποια γλώσσα, ποιες δυνατότητες, πόσα είναι διατεθειμένοι να πληρώσουν, κ.λπ.)… Χρησιμοποιώντας μια ομάδα των μοντέλων σε μια

εφαρμογή

, μια εταιρεία μπορεί να επιτύχει υψηλότερη απόδοση και χαμηλότερο κόστος από ό,τι οποιοδήποτε μεμονωμένο LLM θα μπορούσε να επιτύχει μόνο του».

Υπάρχει αλήθεια σε αυτό. Το να βασίζεσαι αποκλειστικά σε ένα high-end LLM όπως το GPT-4 μπορεί να είναι απαγορευτικό από πλευράς κόστους για ορισμένες, αν όχι τις περισσότερες, εταιρείες. Ο Διευθύνων Σύμβουλος της Permutable.ai, μιας εταιρείας πληροφοριών αγοράς, πρόσφατα

αποκάλυψε

κοστίζει στην εταιρεία πάνω από 1 εκατομμύριο δολάρια ετησίως για την επεξεργασία περίπου 2 εκατομμυρίων άρθρων την ημέρα χρησιμοποιώντας τα προηγμένα μοντέλα του OpenAI.

Δεν χρειάζεται κάθε εργασία ακριβότερη ιπποδύναμη των μοντέλων, αλλά μπορεί να είναι δύσκολο να κατασκευαστεί ένα σύστημα που αλλάζει έξυπνα εν κινήσει. Εκεί έρχεται το Martian – και η ικανότητά του να εκτιμά την απόδοση ενός μοντέλου χωρίς να το τρέχει πραγματικά -.

«Η Martian μπορεί να δρομολογηθεί σε φθηνότερα μοντέλα σε αιτήματα που έχουν παρόμοια απόδοση με τα πιο ακριβά μοντέλα και μόνο σε ακριβά μοντέλα όταν είναι απαραίτητο», πρόσθεσαν. “Ο δρομολογητής μοντέλων ευρετηριάζει νέα μοντέλα καθώς βγαίνουν, ενσωματώνοντάς τα σε εφαρμογές με μηδενική τριβή ή χειρωνακτική εργασία που απαιτείται.”

Τώρα, το μοντέλο δρομολογητή του Martian δεν είναι νέας τεχνολογίας. Τουλάχιστον μία άλλη εκκίνηση, η Credal, παρέχει ένα εργαλείο αυτόματης εναλλαγής μοντέλων. Επομένως, η άνοδός του θα εξαρτηθεί από την ανταγωνιστικότητα της τιμολόγησης της Martian — και την ικανότητά της να προσφέρει σε εμπορικά σενάρια υψηλού πονταρίσματος.

Οι Upadhyay και Ginsberg ισχυρίζονται ότι έχει ήδη υπάρξει κάποια απορρόφηση, μεταξύ άλλων μεταξύ των εταιρειών «πολλών δισεκατομμυρίων δολαρίων».

«Η κατασκευή ενός πραγματικά αποτελεσματικού δρομολογητή μοντέλων είναι εξαιρετικά δύσκολη γιατί απαιτεί την κατανόηση του τρόπου με τον οποίο λειτουργούν βασικά αυτά τα μοντέλα», είπαν. «Αυτή είναι η σημαντική ανακάλυψη που πρωτοστατήσαμε».