Η NVIDIA φέρνει έως και 5x επιτάχυνση AI σε υπολογιστές με Windows 11 με GPU RTX 40 & RTX 30

Η NVIDIA φέρνει μια τεράστια επιτάχυνση στους φόρτους εργασίας AI σε εκατομμύρια υπολογιστές με Windows 11 που τροφοδοτούνται από τις τελευταίες RTX GPU της.

Περισσότεροι από 100 εκατομμύρια υπολογιστές με Windows θα επωφεληθούν από την επιτάχυνση της απόδοσης AI της NVIDIA χάρη στο

TensorRT-LLM

για GPU RTX

Σε συνέχεια της προηγούμενης ανακοίνωσής της, η NVIDIA έχει τώρα

αποκάλυψε

ότι το TensorRT-LLM προστίθεται στα Windows 11 και θα ενεργοποιηθεί για περισσότερους από 100 εκατομμύρια χρήστες RTX όταν κυκλοφορήσει στην πιο πρόσφατη σουίτα προγραμμάτων οδήγησης στις 21 Νοεμβρίου. Η ανακοίνωση έγινε κατά τη διάρκεια του Ignite της Microsoft, μιας σημαντικής εκδήλωσης που συζητά το

μέλλον

της τεχνητής νοημοσύνης και πώς θα μεταμορφώσει το

οικοσύστημα

των Windows καθώς προχωράμε.

Σήμερα, η NVIDIA επιβεβαίωσε ότι η επιτάχυνση AI TensorRT-LLM θα είναι διαθέσιμη για όλους τους επιτραπέζιους υπολογιστές και φορητούς υπολογιστές RTX με περισσότερα από 8 GB VRAM. Εκτός από το TensorRT-LLM, η NVIDIA και η Microsoft φέρνουν επίσης βελτιώσεις DirectML για να ενισχύσουν δημοφιλή μοντέλα τεχνητής νοημοσύνης όπως το

Stable

Diffusion και το Llama 2.

Έχοντας μια GPU NVIDIA RTX που υποστηρίζει TensorRT-LLM σημαίνει ότι θα έχετε όλα τα δεδομένα και τα έργα σας διαθέσιμα τοπικά αντί να τα αποθηκεύσετε στο cloud. Αυτό θα εξοικονομούσε χρόνο και θα είχε πιο ακριβή αποτελέσματα. Το RAG ή το Retrieval Augamanted Generation είναι μία από τις τεχνικές που χρησιμοποιούνται για την ταχύτερη απόδοση των αποτελεσμάτων της τεχνητής νοημοσύνης, χρησιμοποιώντας μια τοπική βιβλιοθήκη που μπορεί να γεμίσει με το σύνολο δεδομένων που θέλετε να περάσει το LLM και στη συνέχεια να αξιοποιήσει τις δυνατότητες υποτίμησης της γλώσσας αυτού του LLM για να σας παρέχει ακριβείς Αποτελέσματα.

Για όσους θέλουν να δοκιμάσουν την τελευταία έκδοση του TensorRT-LLM, θα είναι διαθέσιμη για εγκατάσταση στο

επίσημος σύνδεσμος Github εδώ

και μπορείτε επίσης να πάρετε τα πιο πρόσφατα βελτιστοποιημένα μοντέλα από

Ο πόρος NGC της NVIDIA

.

Το OpenAI έγινε καλύτερο στα Windows με το TensorRT-LLM της NVIDIA

Μια άλλη βασική ενημέρωση έρχεται στο OpenAI, ένα πολύ δημοφιλές API συνομιλίας που βασίζεται σε AI που έχει ένα ευρύ φάσμα εφαρμογών, όπως βοήθεια με έγγραφα, email, σύνοψη περιεχομένου ιστού, ανάλυση δεδομένων και πολλά άλλα. Για άλλη μια φορά, τα δεδομένα πρέπει να μεταφορτωθούν ή να εισαχθούν με μη αυτόματο τρόπο από τον χρήστη, επομένως η πρόσβαση στα τοπικά δεδομένα είναι μάλλον περιορισμένη, ειδικά εάν πρόκειται για μεγάλο σύνολο δεδομένων.

Για να το λύσουν αυτό, η NVIDIA και η Microsoft θα προσφέρουν μια διεπαφή API στο ChatAPI του OpenAI μέσω ενός νέου περιτυλίγματος που όχι μόνο θα προσθέτει επιτάχυνση TensorRT-LLM σε υπολογιστές με Windows αλλά θα επιτρέπει επίσης στους χρήστες να έχουν πρόσβαση σε παρόμοια ροή εργασίας όπως θα εκτελούνταν τοπικά σε έναν υπολογιστή με RTX ή στο σύννεφο. Επομένως, δεν χρειάζεται να ανεβάσετε κανένα σύνολο δεδομένων στο ChatAPI, καθώς ολόκληρο το σύνολο δεδομένων θα είναι διαθέσιμο στο ChatAPI σαν να ήταν διαθέσιμο τοπικά.

Το προσαρμοσμένο περιτύλιγμα θα λειτουργεί με σχεδόν οποιοδήποτε LLM που έχει βελτιστοποιηθεί για TensorRT-LLM. Μερικά παραδείγματα βελτιστοποιημένων LLM περιλαμβάνουν τα Llama 2, Mistral, NV LLM) και άλλα θα προστεθούν σύντομα. Θα είναι επίσης διαθέσιμο στη σελίδα NVIDIA GitHub.

Αυτές οι ανακοινώσεις δείχνουν ότι η NVIDIA θέλει να επιταχύνει την

τεχνητή νοημοσύνη

όχι μόνο για τις επιχειρήσεις αλλά και για το κοινό. Με την τεχνητή νοημοσύνη, το λογισμικό είναι πιο σημαντικό από το υλικό που το εκτελεί και οι εξελίξεις όπως το TensorRT-LLM και η μεταφορά του σε εκατομμύρια χρήστες RTX είναι σίγουρα τεράστια υπόθεση. Ο δρόμος προς την υπεροχή της τεχνητής νοημοσύνης θα θερμανθεί τα επόμενα χρόνια, καθώς περισσότεροι ανταγωνιστές προσπαθούν να προσελκύσουν το κοινό με τις μοναδικές προσεγγίσεις τους στην τεχνητή νοημοσύνη, αλλά αυτή τη στιγμή, η NVIDIA διαθέτει τόσο την τεχνογνωσία υλικού όσο και λογισμικού για να ανοίξει ομαλά το δρόμο μπροστά τους.