Το Nvidia Chat με RTX σάς επιτρέπει να εκτελείτε LLM τοπικά σε GPU της σειράς RTX 30 και 40

Η Nvidia έχει

απελευθερώθηκε

την εφαρμογή Chat with RTX για Windows. Μπορεί να τρέξει δύο μεγάλα μοντέλα γλώσσας (LLM), το Llama 2 και το Mistral, απευθείας στις κάρτες γραφικών της σειράς RTX 30 και της σειράς RTX 40 και απαντά στις ερωτήσεις σας σχετικά με το περιεχόμενο, όπως έγγραφα, φωτογραφίες και βίντεο, που συνδέετε στην εφαρμογή . Μπορεί επίσης να φορτώσει μεταγραφές ενός βίντεο YouTube και χρησιμοποιώντας αυτό, μπορεί να απαντήσει στις απορίες σας σχετικά με το βίντεο.

Βασικά, το Chat with RTX σάς επιτρέπει να εκτελείτε LLM τοπικά στον υπολογιστή σας χωρίς να χρειάζεστε το Διαδίκτυο, το οποίο, σύμφωνα με την Nvidia, θα σας πάρει “

γρήγορα και ασφαλή αποτελέσματα.

“Η εταιρεία λέει ότι είναι “

διαδήλωση

», και με αυτό, υποθέτουμε ότι η επωνυμία σημαίνει ότι είναι μια έκδοση beta της εφαρμογής. Ευτυχώς, η εφαρμογή είναι διαθέσιμη δωρεάν. Το μέγεθός του είναι 35 GB και μπορείτε να το κατεβάσετε απευθείας από

Επίσημος ιστότοπος της Nvidia

.

Το Chat with RTX είναι η πρώτη εφαρμογή του είδους της και κάνει τα LLM πιο προσιτά και ανοίγει έναν εντελώς νέο κόσμο δυνατοτήτων. Η Nvidia θα μπορούσε να αναπτύξει πολλές άλλες δυνατότητες στην εφαρμογή και να την καταστήσει χρήσιμη με αδιανόητους τρόπους. Έχει περάσει μόνο ενάμιση χρόνο από τότε που το OpenAI κυκλοφόρησε το ChatGPT και ήδη βλέπουμε τόσες πολλές καινοτομίες στον κόσμο του GenAI. Το μέλλον του GenAI θα είναι πολύ ενδιαφέρον.