Η Microsoft επισημαίνει πώς εκπαιδεύει μοντέλα μικρών γλωσσών

Τι πρέπει να ξέρετε

• Η Microsoft δημοσίευσε πρόσφατα μια νέα ανάρτηση ιστολογίου που υπογραμμίζει τις προσπάθειές της για τη διδασκαλία μοντέλων μικρών γλωσσών πώς να συλλογίζονται.
• Παρουσίασε το Orca 2, ένα μικρό γλωσσικό μοντέλο που επιδεικνύει ισχυρές συλλογιστικές ικανότητες μιμούμενοι τα ίχνη συλλογιστικής βήμα προς βήμα πιο ικανών LLM όπως το
  
  ChatGPT
  
  και το Bing Chat.
• Σύμφωνα με τα σημεία αναφοράς, το Orca 2 διαθέτει προηγμένες δυνατότητες απόδοσης σε σύγκριση με άλλα LLMS όταν τίθεται σε δοκιμή για να χειριστεί περίπλοκες εργασίες.
• Η Microsoft σκοπεύει να εκπαιδεύσει μικρότερα μοντέλα γλώσσας χρησιμοποιώντας LLM, επεκτείνοντας τελικά τις δυνατότητές τους.

Δεν υπάρχει αμφιβολία ότι η Microsoft έχει βάλει όλα τα στοιχήματά της στη γενετική τεχνητή νοημοσύνη, ειδικά αφού έκανε μια

επένδυση

πολλών δισεκατομμυρίων δολαρίων στην τεχνολογία, επεκτείνοντας περαιτέρω τη συνεργασία της με το OpenAI.

Μιλώντας για το OpenAI, έχουμε γίνει μάρτυρες αυτού που οι περισσότεροι θα μπορούσαν να αναφέρουν ως μια αλλαγή παραδείγματος που επηρεάζει την ανώτατη διοίκηση της εταιρείας τεχνολογίας. Το διοικητικό συμβούλιο του OpenAI αφαίρεσε τον Sam Altman από τη θέση του, επικαλούμενος την έλλειψη εμπιστοσύνης στις ηγετικές του ικανότητες. Λίγο αργότερα, στον Altman προσφέρθηκε δουλειά στη Microsoft, επικεφαλής της ομάδας Advanced AI, μαζί με τον Greg Brockman (πρώην συνιδρυτής του OpenAI που παραιτήθηκε λίγο μετά την αποπομπή του Altman).

Καθώς όλα αυτά εκτυλίσσονται, η Microsoft δημοσίευσε μια νέα ανάρτηση ιστολογίου που υπογραμμίζει τις προσπάθειές της προς αυτή την κατεύθυνση

διδασκαλία μικρών γλωσσικών μοντέλων πώς να συλλογίζονται

. Πριν από λίγους μήνες, η εταιρεία έκανε το ντεμπούτο της, Orca. “Ένα μοντέλο γλώσσας 13 δισεκατομμυρίων που επέδειξε ισχυρές συλλογιστικές ικανότητες μιμούμενοι τα ίχνη συλλογιστικής βήμα προς βήμα πιο ικανών LLM.”

Και τώρα, αποκάλυψε το Orca 2 (το οποίο διατίθεται σε δύο μεγέθη – 7 δισεκατομμύρια και 13 δισεκατομμύρια παραμέτρους) ως μέρος των προσπαθειών της να αξιοποιήσει τις δυνατότητες μικρότερων LM. Σύμφωνα με τη Microsoft, το Orca 2 αθλητικά «βελτιωμένα σήματα και μέθοδοι εκπαίδευσης μπορούν να ενδυναμώσουν μικρότερα γλωσσικά μοντέλα για να επιτύχουν βελτιωμένες συλλογιστικές ικανότητες». Αυτό είναι ένα σημαντικό κατόρθωμα, δεδομένου ότι αυτές οι δυνατότητες βρίσκονται συχνά σε μεγαλύτερα μοντέλα γλώσσας, συμπεριλαμβανομένων των ChatGPT και Bing Chat.

Ομολογουμένως, και τα δύο

chatbot

αντιμετώπισαν πολλές αποτυχίες κατά τη διάρκεια αυτού του έτους, με αρκετούς χρήστες να αναφέρουν ότι το ChatGPT γίνεται πιο χαζό εν μέσω ισχυρισμών ότι το OpenAI βρίσκεται στα πρόθυρα της χρεοκοπίας. Από την άλλη πλευρά, μια έκθεση ανέφερε ότι η βάση χρηστών του Bing έχει παραμείνει στάσιμη για τρεις συνεχόμενους μήνες, παρά τις τεράστιες επενδύσεις της Microsoft στην τεχνολογία.

Η Microsoft αναφέρει περαιτέρω ότι το Orca 2 βρίσκεται μίλια μπροστά από άλλα παρόμοια μοντέλα, ακόμη και το αρχικό μοντέλο Orca. Επιπλέον, η εταιρεία ανέφερε ότι διαθέτει προηγμένα επίπεδα απόδοσης σε σύγκριση με άλλα μεγαλύτερα μοντέλα όταν χειρίζεται περίπλοκες εργασίες που δοκιμάζουν “προηγμένες συλλογιστικές ικανότητες σε ρυθμίσεις μηδενικής λήψης”.

Η ομάδα Advanced AI της Microsoft βρίσκεται στο προσκήνιο

Εν μέσω του φιάσκου του OpenAI το Σαββατοκύριακο, ο Διευθύνων Σύμβουλος της Microsoft,

Satya Nadella

, ανακοίνωσε ότι ο Sam Altman θα ενταχθεί στην εταιρεία ως επικεφαλής της ομάδας Advanced AI. Μια δουλειά που ταιριάζει στις δυνατότητες και τις δεξιότητές του.

Μετά τα ατυχή νέα του Altman, περισσότερα από 500 στελέχη του OpenAI έγραψαν επιστολή στο διοικητικό συμβούλιο ζητώντας την επαναφορά του, αναφέροντας ότι η απόφαση υπονόμευσε το όραμά τους. Οι εργαζόμενοι ανέφεραν ότι θα εγκατέλειπαν την εταιρεία εάν δεν ικανοποιούνταν τα αιτήματά τους, αναφέροντας περαιτέρω ότι «δεν υπάρχει OpenAI χωρίς τους ανθρώπους του».

Σύμφωνα με πηγές που γνωρίζουν την κατάσταση, η Microsoft είναι έτοιμη να απορροφήσει όλους τους υπαλλήλους του OpenAI στο τμήμα τεχνητής νοημοσύνης εάν αποφασίσουν να τηρήσουν την υπόσχεσή τους και να εγκαταλείψουν την εταιρεία.

Η Microsoft είναι πιθανό να αξιοποιήσει την ομάδα του OpenAI για να πετύχει περισσότερα με το Orca 2. Κατά συνέπεια, αυτό θα επιτρέψει στην εταιρεία να χρησιμοποιεί LLM για να εκπαιδεύει μικρότερα μοντέλα γλώσσας, επεκτείνοντας τελικά τις δυνατότητες μικρότερων γλωσσικών μοντέλων.

Πιστεύετε ότι η Microsoft είναι σε καλό δρόμο με τα εγχειρήματά της στο Orca 2;

Μοιραστείτε τις σκέψεις σας μαζί μας στα σχόλια.