Το Microsoft LASER απομακρύνει τις ανακρίβειες LLM

Κατά τη διάρκεια

του

Ιανουαρίου

Ερευνητικό Φόρουμ της Microsoft

ο Dipendra Misra, ανώτερος ερευνητής στο

Microsoft

Research Lab NYC και στο AI Frontiers, εξήγησε πώς η Μείωση Επιλεκτικής Κατάταξης Επίπεδων (ή LASER) μπορεί να κάνει τα μεγάλα γλωσσικά μοντέλα πιο ακριβή.

Με το LASER, οι

ερευνητές

μπορούν να «επέμβουν» και να αντικαταστήσουν

μι

α μήτρα βάρους με μια κατά προσέγγιση μικρότερη. Τα βάρη είναι οι συναφείς συνδέσεις

που

κάνουν τα μοντέλα. Όσο μεγαλύτερο είναι το βάρος, τόσο περισσότερο το μοντέλο βασίζεται σε αυτό. Επομένως, η αντικατάσταση κάτι με περισσότερους συσχετισμούς και πλαίσια καθιστά το μοντέλο λιγότερο ακριβές; Με βάση τα αποτελέσματα των δοκιμών τους, η απάντηση, παραδόξως, είναι αρνητική.

«Πραγματοποιούμε παρέμβαση χρησιμοποιώντας LASER στο LLM, οπότε θα περίμενε κανείς ότι η απώλεια μοντέλου θα αυξηθεί καθώς κάνουμε περισσότερη προσέγγιση, που σημαίνει ότι το μοντέλο θα έχει κακή απόδοση, σωστά, επειδή πετάμε πληροφορίες από ένα LLM , το οποίο εκπαιδεύεται σε μεγάλο όγκο δεδομένων», είπε ο Misra. «Αλλά προς έκπληξή μας, διαπιστώνουμε ότι εάν πραγματοποιηθεί ο σωστός τύπος παρέμβασης LASER, η απώλεια μοντέλου δεν αυξάνεται αλλά στην πραγματικότητα μειώνεται».

Ο Misra είπε ότι η ομάδα του χρησιμοποίησε επιτυχώς LASER σε τρία διαφορετικά μοντέλα ανοιχτού κώδικα: RoBERTa, Llama 2 και Eleuther’s GPT-J. Είπε, κατά καιρούς, η βελτίωση του μοντέλου αυξήθηκε κατά 20 έως 30 ποσοστιαίες μονάδες. Για παράδειγμα, η απόδοση του GPT-J για την πρόβλεψη φύλου με βάση τις βιογραφίες αυξήθηκε από 70,9 τοις εκατό ακρίβεια σε 97,5 τοις εκατό μετά από μια παρέμβαση LASER.