Δοκιμή του Chatbot AI της NVIDIA με τεχνολογία RTX: Υποσχόμενες ενδείξεις για το μέλλον

Η

NVIDIA

κάνει πολλά ενδιαφέροντα πράγματα γύρω από την τεχνητή νοημοσύνη, αλλά η επιχείρησή της που απευθύνεται στους καταναλωτές εξακολουθεί να επικεντρώνεται κυρίως στο

gaming

. Τώρα στοχεύει να συγκεντρώσει και

τι

ς δύο κατηγορίες με την εισαγωγή του Chat with RTX, ενός chatbot AI που τρέχει τοπικά στον υπολογιστή σας. Το λογισμικό αξιοποιεί πυρήνες Tensor-RT που είναι ενσωματωμένοι στις GPU gaming της NVIDIA — θα χρειαστείτε μια κάρτα RTX 30 ή 40 για να τη χρησιμοποιήσετε — και χρησιμοποιεί μοντέλα μεγάλων γλωσσών (LLM) για να παρέχει χρήσιμες πληροφορίες για τα δικά σας δεδομένα.

Η βασική διαφορά είναι ότι σε αντίθεση με το ChatGPT και το Copilot, το Chat with RTX εκτελείται εξ ολοκλήρου στον υπολογιστή σας και δεν στέλνει δεδομένα σε διακομιστή cloud. Το τροφοδοτείτε με το σχετικό σύνολο δεδομένων και προσφέρει απαντήσεις με βάση τις πληροφορίες που περιέχονται μέσα. Ένα άλλο ωραίο χαρακτηριστικό είναι ότι μπορείτε να μοιράζεστε συνδέσμους YouTube και το Chat with RTX ερμηνεύει το περιεχόμενο του βίντεο και απαντά σε ερωτήσεις — αυτό γίνεται με την αφαίρεση των δεδομένων από το αρχείο υπότιτλων.

Η συνομιλία με το RTX είναι

διαθέσιμο ως δωρεάν λήψη

, και το πρόγραμμα εγκατάστασης είναι 35 GB. Υπάρχουν μερικές προϋποθέσεις. θα χρειαστείτε μια κάρτα σειράς RTX 30 ή 40 με τουλάχιστον 8 GB VRAM και ένα μηχάνημα με τουλάχιστον 16 GB μνήμης RAM. Ενώ η NVIDIA συνιστά τα

Windows

11, δεν είχα προβλήματα με την εκτέλεση του βοηθητικού προγράμματος στον υπολογιστή μου με Windows 10. Αυτήν τη στιγμή, το Chat with RTX είναι διαθέσιμο μόνο στα Windows, χωρίς καμία αναφορά για το πότε θα κυκλοφορήσει στο Linux.

Χρειάζεται μια ώρα για να εγκαταστήσετε τα δύο μοντέλα γλώσσας — Mistral 7B και LLaMA 2 — και καταλαμβάνουν λίγο λιγότερο από 70 GB. Μόλις εγκατασταθεί, ανοίγει ένα παράθυρο γραμμής εντολών με μια ενεργή περίοδο λειτουργίας και μπορείτε να κάνετε ερωτήσεις μέσω μιας διεπαφής που βασίζεται σε πρόγραμμα περιήγησης.

Η NVIDIA παρέχει ένα προεπιλεγμένο σύνολο δεδομένων για τη δοκιμή της Συνομιλίας με RTX, αλλά έδειξα το βοηθητικό πρόγραμμα στον φάκελο “Λήψεις”, ο οποίος έχει μερικές εκατοντάδες ανακοινώσεις τύπου, οδηγούς αναθεώρησης και όλα τα άρθρα μου σε μορφή κειμένου (.txt). Το chatbot μπορεί να αναλύει αρχεία PDF, έγγραφα Word και απλό κείμενο και, όπως αναφέρθηκε ήδη, μπορείτε να συνδέσετε βίντεο YouTube και να κάνετε ερωτήσεις.

Το Chat with RTX κάνει εξαιρετική δουλειά με τη σύνοψη των λεπτομερειών και λειτουργεί πολύ καλά με στοχευμένες ερωτήσεις, όπως η ημερομηνία κυκλοφορίας ενός τηλεφώνου. Δεν υπάρχει πρόβλεψη για την υποβολή επακόλουθων ερωτήσεων αυτή τη στιγμή, αλλά αυτό είναι πιθανό να αλλάξει σε επόμενες εκδόσεις.

Αν και κάνει καλή δουλειά στην εμφάνιση σχετικών πληροφοριών, δεν είναι χωρίς μερικά προβλήματα. Ρώτησα το chatbot τι προγράμματα οδήγησης χρησιμοποιούνται στο

Fiio FX15 IEM που εξέτασα στο Android Central

. Το FX15 χρησιμοποιεί έναν συνδυασμό τριών διαφορετικών προγραμμάτων οδήγησης και ενώ το chatbot απάντησε σωστά στο ερώτημα, συνδέθηκε με ένα έγγραφο εγκατάστασης του Intel Management Engine αντί για τον οδηγό ανασκόπησης Fiio όπου υπάρχουν αυτές οι πληροφορίες.

Ομοίως, ρώτησα το chatbot εάν το MP600 mini της Corsair χρησιμοποιεί αποθήκευση TLC και μπόρεσε να δώσει τη σωστή απάντηση μόνο τη δεύτερη φορά (και ναι, η μονάδα έχει αποθήκευση TLC).

Η συνομιλία με το RTX είναι ακόμα σε beta, αλλά σαφώς υπάρχουν πολλές δυνατότητες εδώ. Η δυνατότητα εκτέλεσης ενός τοπικού chatbot AI είναι μεγάλη υπόθεση και κάνει εξαιρετική δουλειά στην εμφάνιση πληροφοριών από τα δεδομένα που παρέχετε. Όσο για τη δική μου περίπτωση χρήσης, είναι υπέροχο να έχω ένα τοπικό chatbot που μπορεί να συνοψίζει δελτία τύπου και να επισημαίνει χρήσιμες λεπτομέρειες, και αυτό είναι που θα χρησιμοποιήσω το Chat with RTX για να συνεχίσω.

Αν σας ιντριγκάρει αυτό που προσφέρει η NVIDIA, μπορείτε εύκολα να εγκαταστήσετε το Chat με RTX στον δικό σας υπολογιστή και να το δοκιμάσετε — μπορεί να μην είναι τόσο ισχυρό όσο το ChatGPT, αλλά η δυνατότητα χρήσης των δικών σας δεδομένων είναι ένας καλός παράγοντας διαφοροποίησης.