Η νέα εφαρμογή της Nvidia που επιτρέπει την εκτέλεση μοντέλων GenAI στον υπολογιστή

Η Nvidia, πάντα πρόθυμη να δώσει κίνητρα για αγορές των πιο πρόσφατων GPU της, κυκλοφορεί ένα εργαλείο που επιτρέπει στους κατόχους καρτών GeForce RTX 30 Series και 40 Series να εκτελούν ένα chatbot με τεχνητή νοημοσύνη εκτός σύνδεσης σε υπολογιστή με

Windows

.

Το εργαλείο που ονομάζεται Chat with RTX, επιτρέπει στους χρήστες να προσαρμόσουν ένα μοντέλο GenAI σύμφωνα με τις γραμμές του ChatGPT του OpenAI συνδέοντάς το με έγγραφα,

αρχεία

και σημειώσεις που μπορεί στη συνέχεια να υποβάλει ερωτήματα.

«Αντί να αναζητούν σημειώσεις ή αποθηκευμένο περιεχόμενο, οι χρήστες μπορούν απλώς να πληκτρολογούν ερωτήματα», γράφει η Nvidia σε μια ανάρτηση ιστολογίου. «Για παράδειγμα, θα μπορούσε κανείς να ρωτήσει, “Ποιο ήταν το εστιατόριο που συνέστησε ο σύντροφός μου όταν βρισκόταν στο Λας Βέγκας;” και το Chat with RTX θα σαρώσει τα τοπικά αρχεία στα οποία το υποδεικνύει ο χρήστης και θα δώσει την απάντηση με βάση το περιεχόμενο.”

Η συνομιλία με το RTX είναι από προεπιλογή το μοντέλο ανοιχτού κώδικα της εκκίνησης AI Mistral, αλλά υποστηρίζει άλλα μοντέλα που βασίζονται σε κείμενο, συμπεριλαμβανομένου του Meta’s Llama 2. Η Nvidia προειδοποιεί ότι η λήψη όλων των απαραίτητων αρχείων θα καταναλώσει αρκετό χώρο αποθήκευσης — 50 GB έως 100 GB, ανάλογα με το μοντέλο ( ιθ) επιλεγμένο.

Επί του παρόντος, το Chat with RTX λειτουργεί με μορφές κειμένου, PDF, .doc, .docx και .xml. Εάν κατευθύνετε την

εφαρμογή

σε έναν φάκελο που περιέχει τυχόν υποστηριζόμενα αρχεία, θα φορτωθούν τα αρχεία στο σύνολο δεδομένων λεπτομερούς ρύθμισης του μοντέλου. Επιπλέον, το Chat with RTX μπορεί να λάβει τη διεύθυνση URL μιας λίστας αναπαραγωγής

YouTube

για να φορτώσει τις μεταγραφές των βίντεο στη λίστα αναπαραγωγής, επιτρέποντας σε όποιο μοντέλο επιλεγεί να υποβάλει ερώτημα στο περιεχόμενό του.

Τώρα, υπάρχουν ορισμένοι περιορισμοί που πρέπει να έχετε κατά νου, τους οποίους η Nvidia στην πίστωσή της περιγράφει σε έναν οδηγό πώς να κάνετε.

Συντελεστές εικόνας:

Nvidia

Η συνομιλία με το RTX δεν μπορεί να θυμηθεί το πλαίσιο, πράγμα που σημαίνει ότι η εφαρμογή δεν θα λάβει υπόψη τυχόν προηγούμενες ερωτήσεις όταν απαντά σε επακόλουθες ερωτήσεις. Για παράδειγμα, αν ρωτήσετε “Τι είναι ένα κοινό πουλί στη Βόρεια Αμερική;” και συνεχίστε με το “Ποια είναι τα χρώματά του;”, Η συνομιλία με το RTX δεν θα καταλάβει ότι μιλάτε για πουλιά.

Η Nvidia αναγνωρίζει επίσης ότι η συνάφεια των απαντήσεων της εφαρμογής μπορεί να επηρεαστεί από μια σειρά παραγόντων, για τους οποίους μερικούς είναι πιο εύκολο να ελεγχθούν από άλλους — συμπεριλαμβανομένης της φράσης της ερώτησης, της απόδοσης του επιλεγμένου μοντέλου και του μεγέθους του συνόλου δεδομένων λεπτομερούς ρύθμισης. Το να ζητάτε γεγονότα που καλύπτονται σε μερικά έγγραφα είναι πιθανό να αποφέρει καλύτερα αποτελέσματα από το να ζητάτε μια περίληψη ενός εγγράφου ή μιας σειράς εγγράφων. Και η ποιότητα της απόκρισης γενικά θα βελτιωθεί με μεγαλύτερα σύνολα δεδομένων — όπως και το να υποδεικνύει περισσότερο περιεχόμενο για ένα συγκεκριμένο θέμα στη Συνομιλία με RTX, λέει η Nvidia.

Έτσι, το Chat with RTX είναι περισσότερο παιχνίδι από οτιδήποτε άλλο που μπορεί να χρησιμοποιηθεί στην παραγωγή. Ωστόσο, υπάρχει κάτι που πρέπει να ειπωθεί για τις εφαρμογές που διευκολύνουν την εκτέλεση μοντέλων τεχνητής νοημοσύνης σε τοπικό επίπεδο – κάτι που είναι κάτι σαν μια αυξανόμενη τάση.

Σε μια πρόσφατη έκθεση, το Παγκόσμιο Οικονομικό Φόρουμ προέβλεψε μια «δραματική» ανάπτυξη σε προσιτές συσκευές που μπορούν να εκτελούν μοντέλα GenAI εκτός σύνδεσης, συμπεριλαμβανομένων υπολογιστών, smartphone, συσκευών Internet of Things και εξοπλισμού δικτύωσης. Οι λόγοι, είπε το WEF, είναι τα σαφή οφέλη: Όχι μόνο τα μοντέλα εκτός σύνδεσης είναι εγγενώς πιο ιδιωτικά – τα δεδομένα που επεξεργάζονται δεν αφήνουν ποτέ τη συσκευή στην οποία εκτελούνται – αλλά είναι χαμηλότερης καθυστέρησης και πιο οικονομικά από τα μοντέλα που φιλοξενούνται στο cloud.

Φυσικά, ο εκδημοκρατισμός των εργαλείων για την εκτέλεση και την εκπαίδευση μοντέλων ανοίγει την πόρτα σε κακόβουλους παράγοντες — μια πρόχειρη Αναζήτηση

Google

αποφέρει πολλές καταχωρίσεις για μοντέλα προσαρμοσμένα σε τοξικό περιεχόμενο από αδίστακτες γωνιές του ιστού. Αλλά οι υποστηρικτές εφαρμογών όπως το Chat with RTX υποστηρίζουν ότι τα οφέλη υπερτερούν των βλαβών. Θα πρέπει να περιμένουμε και να δούμε.