Η OctoML λανσάρει το OctoAI, μια αυτοβελτιστοποιούμενη υπολογιστική υπηρεσία για την τεχνητή νοημοσύνη

Οταν

OctoML

που κυκλοφόρησε το 2019, η κύρια εστίασή του ήταν η βελτιστοποίηση μοντέλων μηχανικής εκμάθησης (ML). Από τότε, η εταιρεία πρόσθεσε χαρακτηριστικά που διευκολύνουν την ανάπτυξη μοντέλων ML (και συγκέντρωσε 132 εκατομμύρια δολάρια). Σήμερα, η εταιρεία λανσάρει την πιο πρόσφατη επανάληψη της υπηρεσίας της — και παρόλο που δεν είναι αρκετά σημαντική, μετατοπίζει την έμφαση της εταιρείας από τη βελτιστοποίηση μοντέλων στη βοήθεια των επιχειρήσεων να χρησιμοποιούν υπάρχοντα μοντέλα ανοιχτού κώδικα και να τα προσαρμόζουν με δικά τους δεδομένα ή χρήση την υπηρεσία να φιλοξενεί τα δικά τους προσαρμοσμένα μοντέλα. Η νέα πλατφόρμα OctoML – με το όνομα OctoAI – είναι μια αυτοβελτιστοποιούμενη υπολογιστική υπηρεσία για την τεχνητή νοημοσύνη, με ιδιαίτερη έμφαση στη γενετική τεχνητή νοημοσύνη, που βοηθά τις επιχειρήσεις να δημιουργήσουν εφαρμογές βασισμένες σε ML και να τις θέσουν σε παραγωγή χωρίς να χρειάζεται να ανησυχούν για την υποκείμενη υποδομή.

«Η προηγούμενη πλατφόρμα επικεντρώθηκε στους μηχανικούς ML και στη βελτιστοποίηση και τη συσκευασία των μοντέλων σε κοντέινερ που θα μπορούσαν να αναπτυχθούν σε διαφορετικά σύνολα υλικού», εξήγησε ο συνιδρυτής και Διευθύνων Σύμβουλος της OctoML, Luis Ceze. «Μάθαμε πάρα πολλά από αυτό, αλλά η επόμενη φυσική εξέλιξη είναι να έχουμε μια πλήρως διαχειριζόμενη υπηρεσία υπολογιστών που να αφαιρεί όλα αυτά [ML infrastructure] Μακριά.”

Με το OctoAI, οι χρήστες απλώς αποφασίζουν τι θέλουν να δώσουν προτεραιότητα (σκεφτείτε τον λανθάνοντα χρόνο έναντι του κόστους) και το OctoAI θα επιλέξει αυτόματα το κατάλληλο υλικό για αυτούς. Η υπηρεσία θα βελτιστοποιήσει επίσης αυτόματα αυτά τα μοντέλα (με αποτέλεσμα επιπλέον εξοικονόμηση κόστους και κέρδη απόδοσης) και θα αποφασίσει εάν είναι καλύτερο να τα εκτελείτε σε GPU της

Nvidia

ή σε μηχανές Inferentia της AWS. Αυτό αφαιρεί πολλή από την πολυπλοκότητα της παραγωγής μοντέλων, κάτι που εξακολουθεί συχνά να αποτελεί εμπόδιο για πολλά έργα ML. Οι χρήστες που θέλουν να έχουν τον πλήρη έλεγχο του τρόπου λειτουργίας των μοντέλων τους μπορούν, φυσικά, να ορίσουν τις δικές τους παραμέτρους και να αποφασίσουν σε ποιο υλικό θα πρέπει να λειτουργούν. Ο Ceze, ωστόσο, πιστεύει ότι οι περισσότεροι χρήστες θα επιλέξουν να αφήσουν την OctoAI να διαχειρίζεται όλα αυτά για αυτούς.

Συντελεστές εικόνας:

OctoML

Βοηθά επίσης το γεγονός ότι η OctoML προσφέρει επιταχυνόμενες εκδόσεις δημοφιλών μοντέλων βάσης όπως Dolly 2, Whisper, FILM, FLAN-UL2 και Stable Diffusion εκτός συσκευασίας, με περισσότερα μοντέλα στο δρόμο. Η OctoML κατάφερε να εκτελέσει το Stable Diffusion

τρεις φορές πιο γρήγορα

και μειώστε το κόστος κατά 5 φορές σε σύγκριση με το μοντέλο βανίλιας.

Αξίζει να σημειωθεί ότι ενώ η OctoML θα συνεχίσει να εργάζεται με υπάρχοντες πελάτες που θέλουν να χρησιμοποιούν την υπηρεσία μόνο για τη βελτιστοποίηση των μοντέλων τους, η εστίαση της εταιρείας στο μέλλον θα είναι σε αυτή τη νέα υπολογιστική πλατφόρμα.