Πώς να εκτελέσετε ένα AI τύπου ChatGPT στον δικό σας υπολογιστή

Μπορείτε να εκτελέσετε ένα AI τύπου ChatGPT στον δικό σας υπολογιστή με το Alpaca, ένα chatbot που δημιουργήθηκε από ερευνητές του Stanford. Υποστηρίζει Windows, macOS και Linux. Χρειάζεστε απλώς τουλάχιστον 8 GB μνήμης RAM και περίπου 30 GB ελεύθερου αποθηκευτικού χώρου.

Τα chatbots είναι στη μόδα αυτή τη στιγμή και όλοι θέλουν ένα κομμάτι της δράσης. Η Google έχει τον Bard, η Microsoft έχει το Bing Chat και το ChatGPT του OpenAI είναι πρακτικά συνώνυμο με το AI σε αυτό το σημείο. Τι γίνεται όμως αν δεν θέλετε να βασιστείτε σε μια υπηρεσία cloud για το chatbot σας; Έχουμε ένα AI τύπου ChatGPT που μπορείτε να κατεβάσετε — ένα Alpaca.

Τι είναι το Alpaca;

Το Alpaca είναι ένα μοντέλο γλώσσας (ένα chatbot, βασικά), παρόμοιο

ChatGPT. Είναι ικανό να απαντά σε ερωτήσεις, να συλλογίζεται, να λέει αστεία και σχεδόν οτιδήποτε άλλο περιμένουμε από τα chatbot. Το Alpaca δημιουργήθηκε από


Ερευνητές του Στάνφορντ

με τελειοποίηση

Το LLaMA του Facebook.

Σε αντίθεση με το ChatGPT και τα περισσότερα άλλα chatbot που είναι διαθέσιμα σήμερα, το Alpaca εκτελείται πλήρως στον δικό σας υπολογιστή. Αυτό σημαίνει ότι κανείς δεν μπορεί να κατασκοπεύει τις συνομιλίες σας ή αυτό που ζητάτε από την Alpaca και ότι οι ανταλλαγές σας δεν μπορούν να διαρρεύσουν κατά λάθος. Σημαίνει επίσης ότι δεν χρειάζεται να πληρώνετε μηνιαίες χρεώσεις, μπορείτε να εκπαιδεύσετε περαιτέρω το μοντέλο ώστε να ταιριάζει καλύτερα στις ανάγκες σας εάν διαθέτετε το υλικό και μπορείτε να το ενσωματώσετε σε οποιαδήποτε εφαρμογή θέλετε. Περιορίζεστε μόνο από το υλικό σας και τα προγραμματιστικά σας κομμάτια.

Ωστόσο, λειτουργεί επίσης όμορφα ως ένα κανονικό παλιό chatbot με το οποίο μπορείτε να μιλήσετε και θα σας δείξουμε πώς να το εκτελείτε σε σχεδόν οποιοδήποτε υπολογιστή εκεί έξω.

Πώς συγκρίνεται το Alpaca με το ChatGPT;

Απλώς θα το βγάλουμε από τη μέση:

Το ChatGPT, ιδιαίτερα το ChatGPT με GPT-4, είναι πιο έξυπνο και γρήγορο από το Alpaca αυτή τη στιγμή.

Η ταχύτητα του Alpaca περιορίζεται ως επί το πλείστον από τον υπολογιστή στον οποίο λειτουργεί — εάν έχετε έναν απίστευτα γρήγορο υπολογιστή παιχνιδιών με έναν τόνο πυρήνων και άφθονη μνήμη RAM, θα έχετε καλή απόδοση από αυτό. Οι πιο αργοί υπολογιστές με λιγότερους πυρήνες θα χρειαστούν περισσότερο χρόνο για να δημιουργήσουν απαντήσεις. Φυσικά, δεν είναι ακριβώς δίκαιο ή ακόμη και λογικό να το συγκρίνουμε με το ChatGPT από αυτή την άποψη — δεν γνωρίζουμε σε τι είδους υπολογιστή λειτουργεί το ChatGPT, αλλά είναι σίγουρα πιο δυνατός από τον μέσο επιτραπέζιο υπολογιστή σας.

Υπάρχουν τρεις κύριες παραλλαγές του Alpaca επί του παρόντος, 7B, 13B και 30B. Σε γενικές γραμμές, όσο μεγαλύτερος είναι ο αριθμός, τόσο πιο έξυπνο θα είναι το chatbot.

Το Alpaca, ειδικά το μοντέλο 7B, είναι αισθητά «πιο χαζό» από το ChatGPT. Δεν έχει νόημα και σίγουρα όχι

περάσουν το τεστ Turing

. Ωστόσο, το 7B είναι εξαιρετικό αν θέλετε μια πρόταση συνταγής.

Τα μοντέλα 13B και 30B είναι μια άλλη ιστορία. Το 13B είναι ικανό να παρέχει μια συνεκτική, ανθρώπινη συνομιλία και μπορεί να απαντήσει σε σύνθετες ερωτήσεις. Το 30B είναι ακόμα πιο εντυπωσιακό, αν έχετε το υλικό για να το εκτελέσετε, και βρίσκεται σε εντυπωσιακή απόσταση από το ChatGPT. Θα αποδειχθεί φιλοσοφικά ή θα κάνει ένα αστείο χωρίς να χάσει ούτε ένα ρυθμό αν σας ζητηθεί.

Τι χρειάζεστε για να τρέξετε το Alpaca;

Το Alpaca έχει αρκετά ευέλικτες απαιτήσεις συστήματος. Αυτές οι οδηγίες είναι πάνω από το ελάχιστο, αλλά είναι καλές οδηγίες. Θα το εγκαταστήσουμε και στα Windows. Εάν το εγκαθιστάτε σε σύστημα με Linux ή macOS, απλώς παραλείψτε την ενότητα Windows Subsystem for Linux — δεν σας αφορά.

• 16 GB
  
  ΕΜΒΟΛΟ
  
• 35 GB αποθηκευτικού χώρου σε SSD αν θέλετε και τα τρία μοντέλα.
  • 4 GB για το μοντέλο 7Β, 8 GB για το μοντέλο 13Β και 20 GB για το μοντέλο 30Β
  • 500MB για προεπιλεγμένο Ubuntu με WSL2
  • Λίγα περισσότερα GB μεταξύ άλλων εξαρτήσεων
• Μια σύγχρονη CPU είναι ιδανική
  • Οποιαδήποτε CPU Ryzen
  • Επεξεργαστής Intel 7ης γενιάς ή νεότερος
• Υποσύστημα Windows για Linux 2 (WSL2)
• GIT
• Λιμενεργάτης
• Ένα κοινοτικό έργο,
  
  Ραβδωτό μάλλινο ύφασμα
  
  που δίνει στην Alpaca μια ωραία διεπαφή ιστού

Προειδοποίηση:

Προς το παρόν, δεν υπάρχει λόγος να υποπτευόμαστε ότι το συγκεκριμένο έργο έχει σοβαρά σφάλματα ασφαλείας ή είναι κακόβουλο. Εξετάσαμε τον κώδικα και τρέξαμε μόνοι μας το λογισμικό και δεν βρήκαμε τίποτα σχετικό. Αυτό δεν σημαίνει ότι είναι ή θα παραμείνει ασφαλές. Να είστε πάντα προσεκτικοί με πράγματα που βρίσκετε στο Διαδίκτυο και να επανεκτιμάτε την ασφάλεια περιοδικά.

Πώς να εκτελέσετε τοπικά το Alpaca στον υπολογιστή σας

Είναι σημαντικό να ακολουθήσετε αυτά τα βήματα με τη σειρά που δίνονται. Το Docker πιθανότατα θα σπάσει αν δεν το κάνετε, απαιτώντας πλήρη επανεγκατάσταση τόσο του WSL2 όσο και του Docker.

Εγκαταστήστε το υποσύστημα Windows για Linux 2

της Microsoft

Το Υποσύστημα Windows για Linux 2 (WSL2) σάς επιτρέπει να εκτελείτε λογισμικό Linux στα Windows. Έχει χαμηλό γενικό κόστος και είναι πραγματικά βολικό σε πολλές περιπτώσεις. Το Docker για Windows βασίζεται στο WSL2, επομένως πρέπει πρώτα να εγκαταστήσουμε το WSL2.

Σημείωση:

Εάν έχετε ήδη εγκαταστήσει το WSL2, απλώς εκτελέστε το wsl –update στο PowerShell για να βεβαιωθείτε ότι όλα είναι ενημερωμένα.

Ανοίξτε ένα παράθυρο PowerShell ως Διαχειριστής και, στη συνέχεια, πληκτρολογήστε την εντολή:


wsl --install


Θα χρειαστεί λίγος χρόνος για τη λήψη όλων των αρχείων WSL2 και του Ubuntu. Πρέπει να επανεκκινήσετε τον υπολογιστή σας μετά την ολοκλήρωση της εγκατάστασης.

Μόλις ολοκληρωθεί η επανεκκίνηση, ανοίξτε ξανά το PowerShell (όχι απαραίτητα ως διαχειριστής) και εκτελέστε:


wsl -l -v


Θα πρέπει να δείτε κάτι σαν την παρακάτω εικόνα εάν όλα λειτουργούσαν σωστά. Επίσης, δεν χρειάζεται να εγκαταστήσετε συγκεκριμένα το Ubuntu. Μπορείτε να εγκαταστήσετε οποιαδήποτε διανομή θέλετε, το Ubuntu είναι απλώς η προεπιλογή.

ΣΧΕΤΙΖΕΤΑΙ ΜΕ:



Πώς να εκτελέσετε το ChatGPT χρησιμοποιώντας το ShellGPT από το τερματικό του Ubuntu

Εγκαταστήστε το Docker

Το Docker είναι ένα πρόγραμμα που σας επιτρέπει να εκτελείτε προγράμματα σε ένα “κοντέινερ”. Τα κοντέινερ είναι παρόμοια με τις εικονικές μηχανές, αλλά τείνουν να έχουν λιγότερα γενικά έξοδα και έχουν μεγαλύτερη απόδοση για πολλές εφαρμογές. Ο Serge χρησιμοποιεί το Docker για να κάνει την εγκατάσταση εξαιρετικά βολική.

ΣΧΕΤΙΖΕΤΑΙ ΜΕ:



Τι κάνει το Docker και πότε πρέπει να το χρησιμοποιήσετε;

Πρώτα, κατεβάστε το

Εγκαταστάτης Docker

από τον ιστότοπο του Docker. Εάν πρόκειται να εκτελείτε το Docker σε Linux ή macOS, βεβαιωθείτε ότι έχετε πάρει το κατάλληλο πρόγραμμα εγκατάστασης.

Σημείωση:

Εάν εκτελείτε έναν διακομιστή Linux χωρίς κεφάλι, θα το θέλετε

ακολουθήστε τις κατάλληλες οδηγίες για τη διανομή Linux σας

για να ξεκινήσει ο Docker.

Εκτελέστε το πρόγραμμα εγκατάστασης και ετοιμαστείτε να περιμένετε μερικά λεπτά. Ο Docker θα πάρει λίγο χρόνο και θα στήσει ένα σωρό πράγματα στα παρασκήνια. Μόλις ολοκληρωθεί, θα θέλετε να επανεκκινήσετε τον υπολογιστή σας.

Μετά την επανεκκίνηση, ανοίξτε το PowerShell και εκτελέστε

wsl -l -v

πάλι. Αυτή τη φορά θα πρέπει να δείτε και κάποιες εγγραφές που σχετίζονται με το Docker.

Εγκαταστήστε το GIT στα Windows

Η τελευταία προϋπόθεση είναι το Git, το οποίο θα χρησιμοποιήσουμε για να κατεβάσουμε (και να ενημερώσουμε) αυτόματα τον Serge από το Github. Δεν είναι απολύτως απαραίτητο, καθώς μπορείτε πάντα να κάνετε λήψη του ZIP και να το εξαγάγετε χειροκίνητα, αλλά το Git είναι καλύτερο.

Μεταβείτε στον ιστότοπο του Git και

κατεβάστε τη σωστή έκδοση

για το λειτουργικό σας σύστημα. Οι χρήστες των Windows πρέπει απλώς να εκτελέσουν το εκτελέσιμο αρχείο. Φροντίστε να κοιτάξετε τουλάχιστον τις επιλογές εγκατάστασης αντί να κάνετε απλώς γρήγορο κλικ σε όλες τις επιλογές. Ένα, που φαίνεται στο στιγμιότυπο οθόνης παρακάτω, είναι απολύτως κρίσιμο.

Μόλις ολοκληρωθεί η εγκατάσταση του Git, είστε έτοιμοι να εγκαταστήσετε το Serge και το Alpaca.

Εγκαταστήστε το Serge and Alpaca

Πρώτα, βεβαιωθείτε ότι το Docker Desktop εκτελείται. Στη συνέχεια, ανοίξτε το PowerShell ή

Το τερματικό των Windows με ένα παράθυρο PowerShell ανοιχτό (όχι ως διαχειριστής) και εκτελέστε την ακόλουθη εντολή:


git clone https://github.com/nsarrazin/serge.git && cd serge


Αυτό κάνει λήψη των αρχείων από το GitHub σε έναν φάκελο στον υπολογιστή σας και, στη συνέχεια, αλλάζει τον ενεργό κατάλογο στον φάκελο που δημιουργήθηκε.

Η επόμενη εντολή που πρέπει να εκτελέσετε είναι:


cp .env.sample .env


Αυτή η γραμμή δημιουργεί ένα αντίγραφο του .env.sample και ονομάζει το αντίγραφο “.env”. Το αρχείο περιέχει ορίσματα που σχετίζονται με το

τοπικός

βάση δεδομένων που αποθηκεύει τις συνομιλίες σας και τη θύρα που χρησιμοποιεί ο τοπικός διακομιστής web όταν συνδέεστε.

Στη συνέχεια, τρέξτε:


docker compose up -d


Το Docker compose συνδέει έναν αριθμό διαφορετικών δοχείων σε μια τακτοποιημένη συσκευασία. Μπορείτε να ελέγξετε το αρχείο docker-compose.yml στον φάκελο Serge εάν θέλετε να δείτε πιο συγκεκριμένα τι περιλαμβάνει εδώ.

Η τελευταία εντολή θα ξεκινήσει μια λήψη και εδώ πρέπει να κάνετε μια επιλογή πριν συνεχίσετε. Υπάρχουν τρεις διαφορετικές παραλλαγές που μπορείτε να κάνετε λήψη: 7B, 13B και 30B. Το 7B είναι το πιο απλό και «χαζό» μοντέλο, ενώ το 30B είναι το πιο εξελιγμένο και πιο έξυπνο. 13Β είναι η μέση λύση.

Οι εγκαταστάσεις Linux (και πιθανώς macOS) θα μπορούν να ξεφύγουν με λιγότερη μνήμη RAM συστήματος από τις εγκαταστάσεις των Windows – τα Windows είναι λίγο βαρύ RAM. Μάλλον θα πρέπει να ξεκινήσετε πρώτα με την παραλλαγή 7Β αφού είναι η λιγότερο απαιτητική επιλογή. Μπορείτε πάντα να κάνετε λήψη 13B ή 30B αργότερα, εάν θέλετε.

Εκτελέστε την ακόλουθη εντολή για λήψη του μοντέλου 7B (ή αντικαταστήστε το 13B ή 30B).


docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B


Να είστε έτοιμοι να περιμένετε, ειδικά αν επιλέξετε την παραλλαγή 30Β. Ο διακομιστής Huggingface φαίνεται να ξεπερνά τα 20 megabyte ανά δευτερόλεπτο, επομένως θα βλέπετε τα 50 δευτερόλεπτα ανά gigabyte που έχετε κατεβάσει στο καλύτερο σενάριο.

Χρησιμοποιήστε Serge και Alpaca

Το Docker και όλα τα απαιτούμενα κοντέινερ εκτελούνται αυτήν τη στιγμή, εάν έχετε ακολουθήσει αυτές τις οδηγίες, ωστόσο, θα πρέπει να τα ενεργοποιήσετε ξανά εάν κάνετε επανεκκίνηση του υπολογιστή σας. Για να το κάνετε αυτό, απλώς ανοίξτε το Docker Desktop και κάντε κλικ στα μικρά τριγωνικά κουμπιά. Τα εικονίδια στα αριστερά της στήλης “Όνομα” γίνονται πράσινα όταν τα κοντέινερ είναι σε λειτουργία.

Όλα είναι εγκατεστημένα και έτοιμα για χρήση σε αυτό το σημείο. Απλώς ανοίξτε το πρόγραμμα περιήγησής σας και πληκτρολογήστε “

localhost:8008″ στη γραμμή διευθύνσεων, όπως θα κάνατε για να επισκεφτείτε το Facebook ή οποιονδήποτε άλλο ιστότοπο.

Σημείωση:

Εάν φιλοξενείτε το Alpaca/Serge σε άλλον υπολογιστή, θα πρέπει να εισαγάγετε την τοπική διεύθυνση IP αυτής της συσκευής αντί για τον localhost.

Στην κύρια οθόνη εμφανίζονται οι προηγούμενες συνομιλίες σας στα αριστερά και οι ρυθμίσεις για μια νέα συνομιλία εμφανίζονται στη μέση.

Υπάρχει ένας μεγάλος αριθμός διαθέσιμων ρυθμίσεων, αλλά υπάρχουν πέντε στις οποίες θα πρέπει πραγματικά να δώσετε προσοχή:

• 
  Θερμοκρασία
  
  – Καθορίζει πόσο ελεύθερα απαντά το AI. Οι χαμηλότεροι αριθμοί οδηγούν σε πιο άκαμπτες απαντήσεις, ενώ οι υψηλότεροι αριθμοί είναι πιο δημιουργικοί.
• 
  Μέγιστο δημιουργημένο μήκος κειμένου σε διακριτικά
  
  – Πόσο μεγάλες μπορεί να είναι οι απαντήσεις που γράφει το bot.
• 
  Επιλογή μοντέλου
  
  – Επιλέξτε ανάμεσα σε 7B, 13B, 30B και οποιοδήποτε άλλο μοντέλο εγκαθιστάτε.
• 
  n_threads
  
  – Ο αριθμός των νημάτων που μπορεί να χρησιμοποιήσει ο Serge/Alpaca στην CPU σας. Η κατανομή περισσότερων θα βελτιώσει την απόδοση
• 
  Προειδοποίηση
  
  
  για την προετοιμασία μιας συνομιλίας
  
  – Παρέχει το πλαίσιο πριν από την έναρξη της συνομιλίας για να μεροληπτεί τον τρόπο με τον οποίο απαντά το chatbot.

Σε αυτήν την περίπτωση, αυξήσαμε τη θερμοκρασία και τα νήματα, επιλέξαμε το μοντέλο 13B και είπαμε στο chatbot ότι είναι πειρατής.

Εδώ είναι ένα δείγμα του πώς πήγε η συζήτηση.

Μπορείτε να μιλήσετε για οτιδήποτε θέλετε με το Alpaca και δεν χρειάζεται να ανησυχείτε για το τι συμβαίνει στα δεδομένα σας. Παραμένει στη συσκευή σας, υπό τον έλεγχό σας ανά πάσα στιγμή.

Θυμηθείτε, το ChatGPT, το Alpaca και άλλα chatbots φαίνονται αξιόπιστα, αλλά δεν είναι αυτή τη στιγμή. Ενσαρκώνουν πολύ το συναίσθημα: «Αν δεν μπορείτε να τους θαμπώσετε με λαμπρότητα, μπερδέψτε τους με BS». Η τάση τους να φτιάχνουν πράγματα έχει ονομαστεί «παραισθήσεις». Μην βασίζεστε σε αυτά για οτιδήποτε ουσιαστικό, ειδικά όχι για κάτι κρίσιμο για τη δουλειά ή την υγεία σας. Αυτή τη στιγμή θα πρέπει να χρησιμοποιούνται μόνο για ψυχαγωγικούς ή πειραματικούς σκοπούς.

Ωστόσο, η τεχνολογία θα βελτιωθεί μόνο με τον καιρό – δεν θα αργήσει να δούμε το Alpaca (ή άλλο τοπικά εκτελούμενο AI) ενσωματωμένο σε διακομιστές Discord, mods Minecraft και σε οποιονδήποτε αριθμό άλλων δημιουργικών εφαρμογών. Περαιτέρω βελτίωση θα έχει επίσης ως αποτέλεσμα ταχύτερα και ακριβέστερα μοντέλα που μπορούν να λειτουργούν σε ασθενέστερο υλικό.