ΕΝΑ
ομάδα ερευνητών
συν
εργαζόμενοι
με το MIT έχουν βρει
μι
α λύση σε ένα περίεργο πρόβλημα με το ChatGPT και άλλα μεγάλα μοντέλα γλώσσας. Καθώς αυτά τα μοντέλα μιλούν με τους χρήστες, αρχίζουν σταδιακά να καταρρέουν, οδηγώντας τελικά την απόδοση του bot σε γρήγορη πτώση. Με αυτή τη λύση, όμως, αυτό θα μπορούσε να ανήκει στο παρελθόν.
Το ζήτημα, σημειώνουν οι ερευνητές, προέρχεται από την κρυφή μνήμη κλειδιού-τιμής, η οποία είναι ουσιαστικά η μνήμη συνομιλίας του bot. Όταν αυτή η κρυφή μνήμη γεμίσει και χρειάζεται να διατηρηθεί περισσότερο, συχνά αφήνει τα πρώτα
κομμάτια
δεδομένων να βγουν έξω για να δημιουργηθεί χώρος.
Αυτή η κίνηση μπορεί πραγματικά να προκαλέσει πτώση της απόδοσης του ChatGPT και άλλων LLM. Ως εκ τούτου, η διασφάλιση ότι τα πρώτα λίγα σημεία δεδομένων παραμένουν στη μνήμη είναι σημαντική για τη διατήρηση του LLM προς τα
εμπ
ρός χωρίς προβλήματα, ακόμα κι αν η συνομιλία συνεχιστεί για μεγάλο χρονικό διάστημα.
YouTube
Οι ερευνητές ονομάζουν τη νέα μέθοδο StreamingLLM, η οποία επιτρέπει στο AI να παραμένει αποτελεσματικό ακόμα και όταν μια συνομιλία εκτείνεται σε περισσότερες από τέσσερα εκατομμύρια λέξεις. Οι ερευνητές το δοκίμασαν σε σχέση με μια άλλη μέθοδο, η οποία βοηθά στην αποφυγή σφαλμάτων και προβλημάτων απόδοσης, επανυπολογίζοντας συνεχώς μέρος των προηγούμενων συνομιλιών.
Το StreamingLLM είχε στην πραγματικότητα περισσότερες από 22 φορές ταχύτερη απόδοση, γεγονός που θα επέτρεπε στην απόδοση στο ChatGPT και σε άλλα LLM να παραμείνει συνεπής ακόμη και κατά τη διάρκεια μεγαλύτερων συνομιλιών, επιτρέποντάς σας να έχετε καλύτερα αποτελέσματα από το ChatGPT και πολλά άλλα. Οι συντάκτες της μελέτης λένε ότι το StreamingLLM θα επέτρεπε στο chatbot να έχει συνεχείς συνομιλίες όλη την ημέρα χωρίς να απαιτείται επανεκκίνηση.
Η κατανόηση της σχέσης που παίζει η κρυφή μνήμη με τον τρόπο με τον οποίο το chatbot ανταποκρίνεται στις ανθρώπινες εισαγωγές είναι σημαντική. Βοήθησε να τονιστεί το ζήτημα για το οποίο οι ερευνητές έπρεπε να δώσουν λύση. Δημοσίευσαν τα ευρήματά τους σε α
νέο χαρτί
που εμφανίζεται στο
arXiv
διακομιστή προεκτύπωσης.
Επί του παρόντος, το StreamingLLM έχει ενσωματωθεί στο TensorRT-LLM της Nvidia, αλλά θα μπορούσε να εμφανιστεί σε άλλα
chatbots
, όπως το ChatGPT, το Claude και άλλα, εάν αυτές οι εταιρείες βλέπουν την ίδια αξία που είχε η Nvidia.
VIA:
bgr.com
