Σε τι χρησιμοποιούνται τα μεγάλα γλωσσικά μοντέλα;

Με τον διαδικτυακό κόσμο να έχει εμμονή με τα chatbots, ορισμένες φράσεις AI (τεχνητής νοημοσύνης) μπαίνουν στην κύρια συζήτηση. Ένα από αυτά είναι μοντέλα μεγάλων γλωσσών ή LLM και δεν μπορείτε να διαβάσετε για το OpenAI ή τα chatbots όπως το ChatGPT και το Google Bard για πολύ χωρίς να το συναντήσετε. Αλλά εκτός της επιστήμης των υπολογιστών, δεν γνωρίζουν πολλοί άνθρωποι τι είναι αυτή η τεχνολογία.

Τα μοντέλα μεγάλων γλωσσών τροφοδοτούν την τεχνολογία chatbot AI που συζητείται τόσο πολύ αυτές τις μέρες.

Και

είτε ανυπομονείτε να δείτε εάν η

τεχνητή νοημοσύνη

μπορεί να σας βοηθήσει να γράψετε ένα email στο Android σας (πιθανότατα είναι ήδη) είτε ανησυχείτε μήπως οι μαθητές απατούν με chatbots (

υπάρχουν πολλά να ξεπακετάρεις εκεί

), είναι σημαντικό να κατανοήσουμε πώς λειτουργούν. Ας βουτήξουμε λοιπόν στο μαθηματικό τέλμα που είναι τα μεγάλα γλωσσικά μοντέλα και ας δούμε τι συμβαίνει!

Τι είναι τα μεγάλα γλωσσικά μοντέλα (LLM);

Αυτά τα μοντέλα, που βασίζονται στη μηχανική μάθηση και την τεχνολογία νευρωνικών δικτύων, αναλύουν και επισημαίνουν διαφορετικά μέρη μιας γλώσσας, ώστε να μπορούν να «μιλούν» σαν άτομο. Ή, στην περίπτωση του ChatGPT (και της άλλης οικογένειας GPT όπως το GPT-3 και το GPT-4), μιμηθείτε διαφορετικούς τόνους και συνομιλίες, και μερικοί είναι καλύτεροι από άλλους. Αυτό είναι μέρος της πειθαρχίας επεξεργασίας φυσικής γλώσσας ή NLP. Τα μεγάλα γλωσσικά μοντέλα αποτελούν βασικό μέρος της τεχνητής νοημοσύνης του chatbot και είναι κατασκευασμένα για να συνεχίσουν να μαθαίνουν, εφόσον μπορούν να επεξεργάζονται περισσότερα παραδείγματα ανθρώπινης γλώσσας.

Οι LLM δεν μαθαίνουν γραμματική όπως οι άνθρωποι. Αντίθετα, ακολουθούν μια μοναδική διαδικασία που επισημαίνει διαφορετικά μέρη – ας πούμε, λέξεις σε μια πρόταση – έτσι ώστε οι LLM να μπορούν να κάνουν μια καλή μαθηματική εικασία για το πώς να γράφουν ή να μιλάνε. Με αρκετή μελέτη, αυτά τα μοντέλα βαθιάς μάθησης μπορούν να κάνουν μια καλή εικασία, αρκετά καλά για να μιμηθούν ένα δοκίμιο κολεγίου ή έναν χρήσιμο εκπρόσωπο εξυπηρέτησης πελατών.

Πώς λειτουργούν τα μεγάλα γλωσσικά μοντέλα;

Τα LLM είναι εγγενώς πολύπλοκα και δεν έχουμε τον χρόνο να δώσουμε ολόκληρο μάθημα κολεγίου για αυτά (αν και αυτό θα ήταν διασκεδαστικό). Αντίθετα, ας αναλύσουμε μερικά από τα σημαντικά μέρη τους και πώς λειτουργούν αυτά τα μοντέλα μηχανικής μάθησης.

Tokenization

Tokenization είναι η διαδικασία μετατροπής της καθημερινής ανθρώπινης γλώσσας σε ακολουθίες που μπορεί να κατανοήσει το LLMS, μέρος της επεξεργασίας φυσικής γλώσσας. Αυτό περιλαμβάνει την αντιστοίχιση τμημάτων (συνήθως λέξεων ή τμημάτων λέξεων) αριθμητικών τιμών και την κωδικοποίησή τους για γρήγορη ανάλυση. Σκεφτείτε το σαν τον τρόπο διδασκαλίας της φωνητικής με AI. Ο στόχος του Tokenization είναι να δημιουργήσει διανύσματα περιβάλλοντος, τα οποία είναι σαν φύλλα εξαπάτησης ή τύπους για να μαντέψει η τεχνητή νοημοσύνη πώς πάει μια πρόταση.

Όσο περισσότερο η τεχνητή νοημοσύνη μελετά τη γλώσσα και λαμβάνει πληροφορίες σχετικά με το πώς ταιριάζει η γλώσσα μεταξύ τους, τόσο καλύτερες εικασίες μπορεί να κάνει για το ποιες λέξεις ακολουθούν σε ορισμένα είδη προτάσεων. Προσθέστε το μαζί ξανά και ξανά και θα έχετε μοντέλα που μπορούν να αναπαράγουν διαφορετικούς τρόπους με τους οποίους οι άνθρωποι μιλούν στο Διαδίκτυο.

Μοντέλα μετασχηματιστών

Ένα μοντέλο μετασχηματιστή είναι ένα νευρωνικό δίκτυο που αναλύει διαδοχικά δεδομένα και αναζητά σημάδια σχετικά με το πώς αυτά τα δεδομένα ταιριάζουν μεταξύ τους, όπως ποιες λέξεις είναι πιο πιθανό να ακολουθούν άλλες λέξεις. Αυτά τα μοντέλα αποτελούνται από μπλοκ ή στρώματα, το καθένα εστιάζεται σε διαφορετικό τύπο ανάλυσης για να κατανοήσει ποιες λέξεις ταιριάζουν μεταξύ τους και ποιες όχι. Μερικές φορές, παίρνουν τα δικά τους ονόματα, όπως το BERT ανοιχτού κώδικα. Διαμορφώνουν μοντέλα θεμελίωσης που αποτελούν τη βάση για όλα τα LLM.

Τα εύσημα για τη δημιουργία μετασχηματιστών δίνονται γενικά στους μηχανικούς της Google στα τέλη της δεκαετίας του 2010. Όπως αναφέρθηκε παραπάνω, τα μοντέλα μετασχηματιστών δεν μαθαίνουν γλώσσα. Αντίθετα, χρησιμοποιούν αλγόριθμους για να καταλάβουν πώς οι άνθρωποι γράφουν λέξεις. Τροφοδοτήστε ένα μοντέλο μετασχηματιστή με ένα σωρό ιστολόγια hipster για τον καφέ και μαθαίνει γρήγορα πώς να γράφει ένα γενικό κομμάτι hipster για τον καφέ. Εν τω μεταξύ, οι τεχνικές μηχανικής μάθησης, όπως η ενισχυτική μάθηση, παρέχουν στο μοντέλο ανατροφοδότηση σχετικά με το πότε είναι λάθος. Τα μοντέλα μετασχηματιστών αποτελούν το θεμέλιο της δημιουργίας γλωσσών LLM και μπορεί να είναι όλο και πιο περίπλοκα ανάλογα με τον σκοπό τους, τόσο πολύπλοκα που χρειάζονται πολλούς διακομιστές για να κρατήσουν το μοντέλο μεγάλης κλίμακας.

Οι δημιουργοί τους επινοούν δημιουργικούς τρόπους ταξινόμησης των λέξεων, ώστε τα μοντέλα να καταλαβαίνουν πώς λειτουργούν. Για παράδειγμα, η κωδικοποίηση θέσης ενσωματώνει τη σειρά των λέξεων σε προτάσεις, έτσι ώστε το μοντέλο να γνωρίζει πάντα με ποια σειρά εμφανίζονται, ακόμα κι αν οι λέξεις παρέχονται τυχαία. Οι μηχανισμοί προσοχής, όπως η αυτοπροσοχή, αποδίδουν μεγαλύτερη σημασία σε ορισμένα μέρη των προτάσεων από άλλα, επιτρέποντας στα μοντέλα να αναγνωρίσουν τι τονίζουν οι άνθρωποι όταν γράφουν.

Προτροπές

Οι προτροπές είναι οι εισροές που δίνουν οι προγραμματιστές στα LLM για να κάνουν διακριτικές και να αναλύσουν, βασικά δεδομένα

εκπαίδευση

ς για διαφορετικές περιπτώσεις χρήσης. Οι προτροπές μπορεί να είναι σχεδόν οτιδήποτε. Για τα chatbots, για παράδειγμα, οι προτροπές είναι πάρα πολλές διαδικτυακές γραφές, δοκίμια, άρθρα και βιβλία (

γι’ αυτό κάποιοι συγγραφείς κάνουν μήνυση

). Όσο περισσότερες προτροπές λάβει ένα LLM στη διαδικασία εκπαίδευσης, τόσο καλύτερα μπορεί να προβλέψει την επόμενη λέξη και να δημιουργήσει προτάσεις. Αυτό συμβαίνει επειδή η γλώσσα, ειδικά η περιστασιακή γλώσσα που χρησιμοποιούν οι άνθρωποι στο διαδίκτυο, είναι περιττή και συχνά προβλέψιμη.

Οι προτροπές επηρεάζουν επίσης τον τρόπο με τον οποίο η τεχνητή νοημοσύνη ακούγεται και ανταποκρίνεται σε πράγματα, γεγονός που μπορεί να προκαλέσει προβλήματα. Πολλοί από εμάς θυμόμαστε ότι μια από τις πρώτες προσπάθειες της Microsoft για διαδικτυακή σύνδεση

Το AI έκλεισε γρήγορα αφού έγινε Ναζί

επειδή οι προτροπές του ήταν από χρήστες του Twitter. Η επιλογή των κατάλληλων προτροπών για μια τεχνητή νοημοσύνη βαθιάς εκμάθησης είναι απαραίτητη. Υπηρεσίες όπως το ChatGPT προσπαθούν να δημιουργήσουν ένα ευρύ δίκτυο παρέχοντας σημαντικές παραμέτρους σχετικά με το τι δεν πρέπει να συμπεριληφθεί. Περιλαμβάνεται πολλή λεπτομέρεια και οι συχνές τροποποιήσεις στους αλγόριθμους εκμάθησης βοηθούν τα μοντέλα AI να μάθουν πώς να χειρίζονται δεδομένα ή να εκτελούν συγκεκριμένες εργασίες.

Τα chatbot χρησιμοποιούν μεγάλα μοντέλα γλώσσας, σωστά; Είναι καλό αυτό;

Τα σημερινά νέα chatbot τεχνητής νοημοσύνης κάνουν, έτσι δημιουργούν κείμενο και απαντούν σε ερωτήσεις. Τα βασικά chatbots, όπως αυτά που βρίσκονται στα αναδυόμενα παράθυρα ιστοτόπων επωνυμίας ή στα καταστήματα Facebook, δεν χρησιμοποιούν αυτήν την τεχνολογία και μετά βίας πληρούν τις προϋποθέσεις ως AI σε πολλές περιπτώσεις. Ωστόσο, υπηρεσίες όπως η οικογένεια των GPT, το Bard της Google, το Bing AI, το Pi και άλλες χρησιμοποιούν διαφορετικά είδη LLM. Ένας αυξανόμενος αριθμός εφαρμογών χρησιμοποιεί απλούστερα μοντέλα για να μιμηθούν την ανθρώπινη ομιλία,

όπως οι πιο πρόσφατες εφαρμογές θεραπείας

(με ανάμεικτα αποτελέσματα).

Σε αυτό το σημείο, μπορεί να αναρωτιέστε εάν τα LLM είναι υπεύθυνα για την τέχνη που δημιουργείται από την τεχνητή νοημοσύνη από πράγματα όπως το DALL-E 2 και το Midjourney. Βασικά, ναι, το οπτικά δημιουργούμενο AI είναι εκδόσεις των LLM. Χρησιμοποιούν παρόμοια μοντέλα για να εξετάσουν οπτικές πτυχές αντί για γραπτή γλώσσα. Έτσι μπορούν να κατανοήσουν κατά προσέγγιση αντικείμενα, θέματα και διαφορετικά στυλ τέχνης.

Αλλά τα δεδομένα τέχνης και κειμένου δεν είναι τα μόνα πράγματα για τα οποία είναι χρήσιμα τα LLM. Αυτά είναι μόνο η αρχή. Τα υπερσύγχρονα συστήματα AI μαθαίνουν μοριακές δομές και αλληλουχία πρωτεϊνών με τον ίδιο τρόπο, κάτι που βοηθά τους επιστήμονες και τις φαρμακευτικές εταιρείες να ανακαλύψουν νέες λύσεις. Διαχειρίζονται μικρές εργασίες κωδικοποίησης και μεταδεδομένα για να κάνουν τους ιστότοπους καλύτερους και πιο προσιτούς. Και τα μοντέλα γενικής χρήσης βοηθούν τους ανθρώπους να επικοινωνούν καλύτερα σε διαφορετικές γλώσσες. Ακόμη και οι καθημερινές χρήσεις, όπως η σύνοψη μεγάλων αναφορών για πολυάσχολους αναγνώστες, έχουν πλεονεκτήματα μεγάλης κλίμακας.

Είναι επικίνδυνα τα μεγάλα γλωσσικά μοντέλα;

Επικίνδυνο με την έννοια ότι πρόκειται να δημιουργήσουν

ρομπότ

δολοφόνων για να καταλάβουν τη Γη; Όχι. Επίσης, πιθανότατα δεν πρόκειται να αναλάβουν πολλές δουλειές εκτός και αν αυτές οι εργασίες είναι απλές και επαναλαμβανόμενες. Για LLM, το πλαίσιο είναι δύσκολο. Δεν μπορούν εύκολα να κατανοήσουν νέες πληροφορίες και δεν μπορούν ποτέ να σκεφτούν τι να πουν πριν τις πουν.

Ωστόσο, αυτά τα μοντέλα έχουν άλλα προβλήματα που μπορεί να τα καταστήσουν επικίνδυνα. Τα περισσότερα προβλήματα συνοψίζονται σε μερικές βασικές αιτίες:

Μπορούν να διαδώσουν παραπληροφόρηση ή μεροληπτικές απόψεις

: Οι LLM και τα chatbot τους δεν γνωρίζουν εάν οι πληροφορίες είναι ακριβείς. Ξέρουν μόνο, με κυριολεκτικό τρόπο, τι τους έχουν πει και πώς να το επαναλάβουν με διαφορετικούς τρόπους. Τα chatbots έχουν πιαστεί να διαδίδουν παραπληροφόρηση και έχουν κατηγορηθεί για

πολιτική

προκατάληψη, μεταξύ άλλων προβλημάτων. Είναι δύσκολο να δημιουργήσετε ένα μεγάλο μοντέλο γλώσσας με πληροφορίες στο Διαδίκτυο που δεν αντιμετωπίζουν προβλήματα παραπληροφόρησης. Και μερικές φορές, τα chatbot που λειτουργούν με LLM παράγουν ψεύτικες πληροφορίες, συμπεριλαμβανομένων ψεύτικων οικονομικών αριθμών για εταιρείες και ψεύτικων υποθέσεων για δικηγόρους. Οι προγραμματιστές τεχνητής νοημοσύνης μερικές φορές αποκαλούν αυτές τις παραισθήσεις και είναι δύσκολο να τις βελτιστοποιήσουν.

Μπορούν να επιτρέψουν επικίνδυνη συμπεριφορά

: Μπορεί να έχετε ακούσει τις ιστορίες για το πώς το exploit της γιαγιάς του ChatGPT έδωσε τη γιαγιά παράνομα κλειδιά σε λογισμικό με άδεια χρήσης ή

σας λέει πώς να φτιάξετε ναπάλμ

, παρά τα φίλτρα για την αποτροπή συμπεριφοράς όπως αυτή. Όταν ένα μεγάλο μοντέλο γλώσσας καταναλώνει αρκετές πληροφορίες, μπορεί να σας διδάξει πώς να κάνετε οτιδήποτε, και για τα σημερινά chatbots, αυτό μπορεί να περιλαμβάνει πολλά στοιχεία του Dark Web. Μέχρι στιγμής, οι δημιουργοί δεν έχουν βρει έναν αποτελεσματικό τρόπο να το σταματήσουν εντελώς.

Αποτελούν κίνδυνο ιδιωτικότητας

: Τα τεράστια σύνολα δεδομένων που τροφοδοτούνται σε μεγάλα γλωσσικά μοντέλα μπορούν επίσης να περιέχουν ορισμένες ευαίσθητες πληροφορίες, συμπεριλαμβανομένων των πληροφοριών σας. Αυτό περιλαμβάνει πληροφορίες για εσάς που είναι εύκολο να βρείτε στο διαδίκτυο ή στα δημόσια μέσα κοινωνικής δικτύωσης. Μπορεί να περιλαμβάνει ακόμη και συνομιλίες που είχατε στο διαδίκτυο ή διαδικτυακή δραστηριότητα που χρησιμοποιούν οι διαφημιστές. Δεδομένου ότι τα LLM AI είναι νέα, δεν υπάρχει πολύ ισχυρή προστασία απορρήτου που να το αποτρέπει.

Είναι ενεργειακά γουρούνια

: Τα LLM είναι τεράστια και καταναλώνουν έναν τόνο ενέργειας. Αυτά είναι κακά νέα για τις εταιρείες που προσπαθούν να μειώσουν το αποτύπωμα άνθρακα και οδηγεί σε πολλά σχετικά περιβαλλοντικά κόστη.

Δεν έχουν ηθική

: Οι χρήστες μπορούν να χρησιμοποιήσουν εργαλεία όπως το ChatGPT για να δημιουργήσουν σχεδόν οτιδήποτε θέλουν. Τώρα, τα σχολεία χρειάζονται νέους τρόπους για τον εντοπισμό ψεύτικων δοκιμίων τεχνητής νοημοσύνης. Οι χρήστες μπορούν να ζητήσουν από το ChatGPT να δημιουργήσει προσβλητικό ή μίσος περιεχόμενο ή να του ζητήσουν να υποδυθεί κάποιον για γατόψαρο, εκβιασμό ή άλλους σκοπούς. Μπορεί ακόμη και να γράψει κώδικα για κακόβουλο λογισμικό ή να δημιουργήσει ψεύτικη έρευνα σχετικά με το γιατί τα εμβόλια δεν λειτουργούν. Αυτά είναι ζητήματα που δεν μπορούν να λυθούν με ένα απλό φίλτρο και μόλις αρχίζουμε να βλέπουμε τις συνέπειες.

Σχεδιάζοντας το μέλλον της τεχνολογίας με LLM

Τα μεγάλα γλωσσικά μοντέλα χρησιμοποιούν προηγμένα εργαλεία τεχνητής νοημοσύνης για να κατηγοριοποιήσουν τη γλώσσα (ή άλλα δεδομένα) με τέτοιο τρόπο που τους επιτρέπει να κατανοήσουν πώς επικοινωνούν οι άνθρωποι. Αυτό επηρεάζεται σε μεγάλο βαθμό από τις παραμέτρους που έχουν οριστεί και τις προτροπές που τροφοδοτούνται στα LLM, με τον τρόπο που σχηματίζονται εργαλεία όπως το ChatGPT.

Το μέλλον των LLM μπορεί να φαίνεται τρομακτικό και για καλό λόγο. Όμως, παρά τις παγίδες που δημιουργεί αυτή η νέα τεχνολογία, τα LLM έχουν πολλές ισχυρές και θετικές χρήσεις. Έχουμε πολλά να μάθουμε για το πώς να τα χρησιμοποιήσουμε, πώς να τα δομήσουμε έτσι ώστε να είναι ασφαλή στη χρήση και πώς να τα τροφοδοτήσουμε με τις σωστές προτροπές. Deepfakes και ssay cheat είναι μόνο μερικά από τα αποτελέσματα όταν κάνουμε τα πράγματα λάθος. Καλώς ήρθατε στην άγρια ​​δύση της τεχνητής νοημοσύνης που βασίζεται στη γλώσσα. Θα είναι αρκετή βόλτα.