Η Microsoft Research κυκλοφόρησε το Orca 2 LLM, το οποίο μπορεί να ταιριάζει με την απόδοση μεγαλύτερων μοντέλων

Η Microsoft μπορεί να έχει συνεργαστεί με τα μοντέλα μεγάλων γλωσσών OpenAI και GPT για να βοηθήσει στη δημιουργία παραγωγικών υπηρεσιών AI όπως το Copilot (παλαιότερα γνωστό ως

Bing

Chat). Ωστόσο, η εταιρεία εργάζεται και σε δικά της LM. Αυτή την εβδομάδα, η Microsoft Research ανακοίνωσε την κυκλοφορία του Orca 2, μιας δεύτερης έκδοσης της γλώσσας Orca

Σε

μια ανάρτηση ιστολογίου

, η Microsoft δήλωσε ότι το Orca 2 σχεδιάστηκε ειδικά για να είναι ένα μικρότερο LM, αλλά μπορεί ακόμα να χρησιμοποιηθεί για να απαντήσει σε περίπλοκες ερωτήσεις όπως τα LLM. Το Orca 2 διατίθεται σε δύο μεγέθη (7 δισεκατομμύρια και 13 δισεκατομμύρια παραμέτρους) και κατασκευάστηκαν εν μέρει χρησιμοποιώντας το Llama 2 LLM που βοήθησε να κυκλοφορήσει με το Meta νωρίτερα φέτος. Η εταιρεία βελτίωσε το

μοντέλο

που βασίζεται στο Llama 2 «σε προσαρμοσμένα, υψηλής ποιότητας συνθετικά δεδομένα».

Η Microsoft δήλωσε ότι αυτό επέτρεψε στα μοντέλα Orca 2 να χειριστούν προβλήματα που ταίριαζαν με την απόδοση άλλων μοντέλων γλώσσας “5-10 φορές μεγαλύτερης”, δήλωσε:

Το Orca 2 εκπαιδεύεται με ένα διευρυμένο, εξαιρετικά προσαρμοσμένο συνθετικό σύνολο δεδομένων. Τα δεδομένα εκπαίδευσης δημιουργήθηκαν έτσι ώστε να διδάσκουν στην Orca 2 διάφορες τεχνικές συλλογιστικής, όπως μεθόδους επεξ

εργασία

ς βήμα-βήμα, ανάκληση και στη συνέχεια δημιουργία, ανάκληση-λόγος-δημιουργία, εξ

αγωγή

-δημιουργία και μεθόδους άμεσης απάντησης, ενώ παράλληλα του διδάσκει να επιλέγει διαφορετικές στρατηγικές λύσης για διαφορετικές εργασίες.

Τα μοντέλα Orca 2 αντιμετώπισαν έναν αριθμό μεγαλύτερων γλωσσικών μοντέλων όπως το Llama 2 και το WizardLM με μια σειρά σημείων αναφοράς που κάλυπταν θέματα όπως “κατανόηση γλώσσας, συλλογισμός κοινής λογικής, συλλογισμός πολλαπλών βημάτων, επίλυση μαθηματικών προβλημάτων, κατανόηση ανάγνωσης” και περισσότερο. Το blog ανέφερε:

Τα προκαταρκτικά μας

αποτελέσματα

δείχνουν ότι η απόδοση του Orca 2 ξεπερνά σημαντικά τα μοντέλα παρόμοιου μεγέθους. Επίσης, επιτυγχάνει επίπεδα απόδοσης παρόμοια ή καλύτερα από εκείνα μοντέλων τουλάχιστον 10 φορές μεγαλύτερων, αναδεικνύοντας τη δυνατότητα εξοπλισμού μικρότερων μοντέλων με καλύτερες συλλογιστικές δυνατότητες.

Ενώ η Microsoft παραδέχτηκε ότι το Orca 2 έχει περιορισμούς, οι δοκιμές μέχρι στιγμής δείχνουν “δυνατότητες για μελλοντικές εξελίξεις”. Η Microsoft κυκλοφορεί το Orca 2 ως έργο ανοιχτού κώδικα, ώστε να μπορούν να εργαστούν και άλλοι σε αυτό.