Νέα συνεργασία για την κυκλοφορία του LLM StarCoder2 από Nvidia, Hugging Face και ServiceNow
Οι Nvidia, Hugging Face και ServiceNow κυκλοφόρησαν μια οικογένεια LLM που ονομάζεται StarCoder2 με στόχο τη δημιουργία κώδικα που παρέχει «νέα πρότυπα για απόδοση, διαφάνεια και οικονομική αποδοτικότητα. Η οικογένεια μοντέλων περιλαμβάνει ένα μοντέλο 3 δισεκατομμυρίων παραμέτρων που έχει εκπαιδευτεί από την ServiceNow, ένα μοντέλο 7 δισεκατομμυρίων παραμέτρων που εκπαιδεύεται από το Hugging Face και ένα μοντέλο 15 δισεκατομμυρίων παραμέτρων που εκπαιδεύεται από την NVIDIA.
Το StarCoder2 έχει εκπαιδευτεί στον προγραμματισμό 619 και μπορεί να εκτελέσει εξειδικευμένες εργασίες όπως δημιουργία πηγαίου κώδικα, δημιουργία ροής
εργασία
ς, σύνοψη κειμένου και πολλά άλλα. Η Nvidia είπε ότι οι προγραμματιστές μπορούν να το χρησιμοποιήσουν για συμπλήρωση κώδικα, προηγμένη σύνοψη κώδικα, ανάκτηση αποσπασμάτων κώδικα και πολλά άλλα για να ενισχύσουν την παραγωγικότητά τους.
Όσον αφορά τις βελτιώσεις σε σχέση με τα αρχικά StarCoder LLM, η Nvidia είπε ότι το νέο μοντέλο 3 δισεκατομμυρίων παραμέτρων ταιριάζει με την απόδοση του αρχικού μοντέλου StarCoder 15 δισεκατομμυρίων παραμέτρων. Αυτό επιτεύχθηκε χρησιμοποιώντας ένα νέο σύνολο δεδομένων κώδικα που ονομάζεται Stack v2, το οποίο είναι επτά φορές μεγαλύτερο από το Stack v1. Οι νέες
τεχν
ικές
εκπαίδευση
ς σημαίνουν επίσης ότι το μοντέλο μπορεί να κατανοήσει καλύτερα γλώσσες προγραμματισμού χαμηλών πόρων όπως COBOL, μαθηματικά και συζητήσεις πηγαίου κώδικα προγράμματος.
Σχολιάζοντας την είδηση, ο Leandro von Werra, μηχανικός μηχανικής
μάθηση
ς στο Hugging Face, είπε:
«Οι κοινές προσπάθειες των Hugging Face, ServiceNow και NVIDIA επιτρέπουν την κυκλοφορία ισχυρών βασικών μοντέλων που εξουσιοδοτούν την κοινότητα να δημιουργήσει ένα ευρύ φάσμα εφαρμογών πιο αποτελεσματικά με πλήρη διαφάνεια δεδομένων και εκπαίδευσης. Το StarCoder2 είναι μια απόδειξη των δυνατοτήτων του ανοιχτού κώδικα και της ανοιχτής
επιστήμη
ς καθώς εργαζόμαστε για τον εκδημοκρατισμό της υπεύθυνης τεχνητής νοημοσύνης».
Το StarCoder2 διατίθεται με την άδεια BigCode Open RAIL-M, η οποία επιτρέπει πρόσβαση και χρήση χωρίς δικαιώματα. Ο πηγαίος κώδικας είναι διαθέσιμος στη σελίδα GitHub του έργου BigCode, ενώ τα μοντέλα είναι διαθέσιμα για λήψη από το Hugging Face.
Εάν θέλετε να μάθετε περισσότερα για το έργο, απλώς μεταβείτε στο έργο BigCode
Σελίδα Αγκαλιασμένο πρόσωπο
όπου μπορείτε να βρείτε το StarCoder2 και τα πρωτότυπα StarCoder LLM.
Πηγή:
Nvidia
(function(d, s, id) {var js, fjs = d.getElementsByTagName(s)[0];if (d.getElementById(id)) return;js = d.createElement(s); js.defer=true; js.id = id;js.src = “https://connect.facebook.net/en_US/sdk.js#xfbml=1&appId=141241332490&version=v2.8”;fjs.parentNode.insertBefore(js, fjs);}(document, ‘script’, ‘facebook-jssdk’));
VIA:
NeoWin.net
