Η οικονομική εκτέλεση μοντέλων τεχνητής νοημοσύνης: 5.000 $ για απίστευτη απόδοση

Η εκκίνηση CPU Tachyum έχει πει στο παρελθόν ό

τι

μία από τις μονάδες Prodigy Universal Processor της μπορεί να ανταγωνιστεί δεκάδες GPU Nvidia H200. Ο επεξεργαστής 5nm 192 πυρήνων προσφέρει 4,5 φορές την απόδοση των καλύτερων επεξεργαστών για φόρτους εργασίας στο cloud και ισχυρίζεται ότι είναι έξι φορές πιο αποτελεσματικός από τις GPU για τεχνητή νοημοσύνη.

Τώρα η εταιρεία ανακοίνωσε το Prodigy ATX Platform, έναν σταθμό εργασίας AI

που

υπόσχεται να τρέχει προηγμένα μοντέλα AI με μόλις 5.000 $. Το φιλόδοξο σύστημα, το οποίο διαθέτει εντυπωσιακή μνήμη 1 TB, έχει σχεδιαστεί για να κάνει τα εξελιγμένα μοντέλα AI προσβάσιμα σε ένα ευρύτερο κοινό.

Η πλατφόρμα Prodigy ATX είναι χτισμένη γύρω από έναν επεξεργαστή Prodigy 96 πυρήνων, ο οποίος έχει σχεδιαστεί με ενεργοποιημένο μόνο το ήμισυ του καλουπιού του, μια στρατηγική που στοχεύει στη μείωση της κατανάλωσης ενέργειας και στη βελτίωση της απόδοσης, μειώνοντας έτσι το κόστος και καθιστώντας την πλατφόρμα πιο προσιτή.

Αποτελεσματικό για LLMs

Το σύστημα αναμένεται να είναι εξοπλισμένο με 1TB DDR5-6400 SDRAM που χρησιμοποιεί 16 μονάδες μνήμης, προσφέροντας μέγιστο

εύρος

ζώνης 819,2 GB/s. Ο σχεδιασμός του συστήματος περιλαμβάνει τρεις υποδοχές PCIe x16 5.0, τρεις υποδοχές M.2-2280 NVMe με διασύνδεση PCIe 5.0 x4 και υποδοχές SATA για SSD και HDD.

Η Tachyum λέει ότι η πλατφόρμα Prodigy ATX της είναι ιδιαίτερα αποτελεσματική για την εκτέλεση LLM που είναι διαβόητες για τις υψηλές απαιτήσεις χωρητικότητας μνήμης.

Σύμφωνα με πληροφορίες, ένα μόνο σύστημα Prodigy μπορεί να τρέξει ένα μοντέλο ChatGPT4 με 1,7 τρισεκατομμύρια παραμέτρους, κάτι που θα απαιτούσε 52 GPU NVIDIA H100 για να λειτουργήσει με σημαντικά υψηλότερο κόστος και κατανάλωση ενέργειας.

Παρά τις εντυπωσιακές προδιαγραφές, υπάρχουν αμφιβολίες για την οικονομική βιωσιμότητα της πλατφόρμας Prodigy ATX για το Tachyum. Οπως και

Tom’s Hardware

επισημαίνει, το συνολικό κόστος των στοιχείων του συστήματος, εξαιρουμένου του επεξεργαστή Prodigy, εκτιμάται ότι είναι περίπου $4800. Ωστόσο, ο Διευθύνων Σύμβουλος της Tachyum, Dr. Radoslav Danilak, παραμένει αισιόδοξος, δηλώνοντας ότι οι ισχυρές δυνατότητες τεχνητής νοημοσύνης της πλατφόρμας θα επιτρέψουν σε οργανισμούς όλων των μεγεθών να ανταγωνιστούν σε πρωτοβουλίες τεχνητής νοημοσύνης.

«Η γενετική τεχνητή νοημοσύνη θα χρησιμοποιηθεί ευρέως πολύ πιο γρήγορα από ό,τι αναμενόταν αρχικά», είπε ο Δρ Danilak. “Σε ένα ή δύο χρόνια, η τεχνητή νοημοσύνη θα είναι απαραίτητο στοιχείο σε ιστότοπους, chatbot και άλλα κρίσιμα στοιχεία παραγωγικότητας για να διασφαλιστεί μια καλή

εμπ

ειρία χρήστη. Οι ισχυρές δυνατότητες AI του Prodigy επιτρέπουν στα LLM να λειτουργούν πολύ πιο εύκολα και οικονομικά από την υπάρχουσα CPU + GPGPU- βασισμένα συστήματα, που δίνουν τη δυνατότητα σε οργανισμούς όλων των μεγεθών να ανταγωνίζονται σε πρωτοβουλίες τεχνητής νοημοσύνης που διαφορετικά θα κυριαρχούνταν από τους μεγαλύτερους παίκτες στον κλάδο τους».

Η κυκλοφορία του Prodigy ATX Platform έχει καθυστερήσει πολλές φορές, με το πιο πρόσφατο σχέδιο να καθορίζει την κυκλοφορία του επεξεργαστή για το δεύτερο εξάμηνο του

2024

. Μένει να δούμε αν το Tachyum μπορεί να τηρήσει τις υποσχέσεις του και να φέρει επανάσταση στο τοπίο της τεχνητής νοημοσύνης.