Η Obscure startup κερδίζει το διάσημο βραβείο CES 2024 — πιθανότατα δεν το έχετε ακούσει ποτέ, αλλά η Panmnesia είναι η εταιρεία που θα μπορούσε να κάνει το ChatGPT 6 (ή 7) φορές πιο γρήγορο

Το πολυπόθητο Βραβείο Καινοτομίας στην επικείμενη εκδήλωση

Consumer Electronics

Show (CES) 2024 τον Ιανουάριο αποσπάστηκε από μια κορεατική startup για τον επιταχυντή τεχνητής νοημοσύνης της.

Η Panmnesia έχει κατασκευάσει τη

συσκευή

επιτάχυνσης AI στην

τεχνολογία

Compute Express Link (CXL) 3.0, η οποία επιτρέπει την κοινή χρήση μιας εξωτερικής πισίνας μνήμης με κεντρικούς υπολογιστές και εξαρτήματα όπως η CPU, η οποία μπορεί να μεταφραστεί σε σχεδόν απεριόριστη χωρητικότητα μνήμης. Αυτό οφείλεται στην ενσωμάτωση ενός ελεγκτή CXL 3.0 στο τσιπ επιτάχυνσης.

Το CXL χρησιμοποιείται για τη σύνδεση συσκευών συστήματος – συμπεριλαμβανομένων επιταχυντών, επεκτάσεων μνήμης, επεξεργαστών και διακοπτών. Συνδέοντας πολλαπλούς επιταχυντές και επεκ

τάσεις

μνήμης χρησιμοποιώντας διακόπτες CXL, η τεχνολογία μπορεί να παρέχει αρκετή μνήμη σε ένα εντατικό σύστημα για εφαρμογές τεχνητής νοημοσύνης.

Τι σημαίνει το CXL 3.0 για LLM

Η χρήση του CXL 2.0 σε συσκευές όπως αυτή θα επέτρεπε σε συγκεκριμένους κεντρικούς υπολογιστές πρόσβαση στο αποκλειστικό τμήμα της ομαδοποιημένης εξωτερικής μνήμης τους, ενώ η τελευταία γενιά επιτρέπει στους οικοδεσπότες να έχουν πρόσβαση σε ολόκληρο το χώρο συγκέντρωσης όπως και όταν χρειάζεται.

«Πιστεύουμε ότι η τεχνολογία CXL μας θα είναι ο ακρογωνιαίος λίθος για το σύστημα επιτάχυνσης τεχνητής νοημοσύνης επόμενης γενιάς», δήλωσε ο ιδρυτής και διευθύνων σύμβουλος της Panmesia, Myoungsoo Jung.


δήλωση


.

«Παραμένουμε αφοσιωμένοι στην προσπάθειά μας να φέρουμε επανάσταση όχι μόνο για το σύστημα επιτάχυνσης AI, αλλά και άλλα περιβάλλοντα γενικής χρήσης, όπως κέντρα δεδομένων, υπολογιστικό νέφος και υπολογιστές υψηλής απόδοσης».

Η τεχνολογία της Panmnesia λειτουργεί παρόμοια με τον τρόπο με τον οποίο τα συμπλέγματα διακομιστών μπορούν να μοιράζονται εξωτερικά SSD για την αποθήκευση δεδομένων και θα ήταν ιδιαίτερα χρήσιμη για διακομιστές επειδή συχνά θα πρέπει να έχουν πρόσβαση σε περισσότερα δεδομένα που μπορούν να κρατήσουν στη μνήμη που είναι ενσωματωμένη.

Αυτή η συσκευή έχει κατασκευαστεί ειδικά για εφαρμογές τεχνητής νοημοσύνης μεγάλης κλίμακας – και οι δημιουργοί της ισχυρίζονται ότι είναι 101 φορές πιο γρήγορη στην εκτέλεση λειτουργιών αναζήτησης που βασίζονται σε AI από τις συμβατικές

υπηρεσίες

, οι οποίες χρησιμοποιούν SSD για αποθήκευση δεδομένων, συνδεδεμένα μέσω δικτύων. Η αρχιτεκτονική ελαχιστοποιεί επίσης το ενεργειακό κόστος και τις λειτουργικές δαπάνες.

Εάν χρησιμοποιηθεί στη διαμόρφωση των διακομιστών που χρησιμοποιούν όπως το OpenAI για να φιλοξενήσουν μεγάλα γλωσσικά μοντέλα (LLM) όπως το ChatGPT, μαζί με υλικό από άλλους προμηθευτές, ενδέχεται να βελτιώσει δραστικά την απόδοση αυτών των μοντέλων.