Ο πάροχος AI LLM που υποστηρίζεται από τον συνιδρυτή της MLPerf, τα στοιχήματα είναι διαθέσιμα σε ώριμο AMD Instinct MI GPU — αλλά πού είναι τα MI300;

Με τη ζήτηση για εταιρικά μοντέλα μεγάλων γλωσσών (LLM) να αυξάνεται τον τελευταίο χρόνο περίπου, η Lamini άνοιξε τις πόρτες στο LLM Superstation που τροφοδοτείται από τις GPU Instinct MI της AMD.

Η εταιρεία ισχυρίζεται ότι εκτελούσε LLM σε περισσότερες από 100 ενστικτώδεις GPU της AMD κρυφά τον τελευταίο χρόνο σε κατασ

τάσεις

παραγωγής – ακόμη και πριν από την κυκλοφορία του ChatGPT. Με το LLM Superstation, ανοίγει τις πόρτες σε περισσότερους δυνητικούς πελάτες να χρησιμοποιούν τα μοντέλα τους στην υποδομή του.

Αυτές οι πλατφόρμες τροφοδοτούνται από επιταχυντές AMD Instinct MI210 και MI250, σε αντίθεση με τις κορυφαίες στον κλάδο GPU

Nvidia

H100 που. Επιλέγοντας τις GPU της AMD, γελοιοποιεί η Lamini, οι επιχειρήσεις «μπορούν να σταματήσουν να ανησυχούν για τον χρόνο παράδοσης των 52 εβδομάδων».

GPU AMD έναντι Nvidia για LLM

Αν και οι GPU της Nvidia – συμπεριλαμβανομένων των H100 και A100 – είναι αυτές που χρησιμοποιούνται πιο συχνά για την τροφοδοσία LLM όπως το ChatGPT, το υλικό της AMD είναι συγκρίσιμο.

Για παράδειγμα, το Instinct MI250 προσφέρει έως και 362 teraflops υπολογιστική ισχύ για φόρτους

εργασία

ς AI, με το MI250X να ωθεί τα 383 teraflops. Η GPU Nvidia A100, αντίθετα, προσφέρει έως και 312 teraflops υπολογιστικής ισχύος, σύμφωνα με την αδελφή τοποθεσία TechRadar Pro


Tom’s Hardware


.

“Χρησιμοποιώντας το

λογισμικό

Lamini, η ROCm έχει επιτύχει ισοτιμία λογισμικού με το CUDA για LLM”, δήλωσε ο CTO της Lamini, Greg Diamos, ο οποίος είναι επίσης ο συνιδρυτής της MLPerf. “Επιλέξαμε το Instinct MI250 ως βάση για το Lamini επειδή τρέχει τα μεγαλύτερα μοντέλα των πελατών μας. ζήτηση και ενσωματώνει βελτιστοποιήσεις μικρορύθμισης.

«Χρησιμοποιούμε τη μεγάλη χωρητικότητα HBM (128 GB) στο MI250 για την εκτέλεση μεγαλύτερων μοντέλων με χαμηλότερη πολυπλοκότητα λογισμικού από τα συμπλέγματα A100».

Οι GPU της AMD μπορούν, θεωρητικά, σίγουρα να ανταγωνιστούν αυτές της Nvidia. Αλλά η πραγματική ουσία είναι η διαθεσιμότητα, με συστήματα όπως το Lamini’s LLM Superstation να προσφέρουν στις επιχειρήσεις την ευκαιρία να αναλάβουν άμεσα φόρτο εργασίας.

Υπάρχει επίσης το ερωτηματικό, ωστόσο, σχετικά με την επόμενη σε σειρά GPU της AMD, την MI300. Οι επιχειρήσεις μπορούν επί του παρόντος να δοκιμάσουν το MI300A τώρα, ενώ το MI300X πραγματοποιείται δειγματοληψία τους επόμενους μήνες.

Σύμφωνα με το Tom’s Hardware, το MI300X προσφέρει έως και 192 GB μνήμη, που είναι διπλάσια από το H100, αν και δεν γνωρίζουμε ακόμη πλήρως πώς φαίνεται η υπολογιστική απόδοση. Ωστόσο, σίγουρα θα είναι συγκρίσιμο με το H100. Αυτό που θα έδινε πραγματική ώθηση στο LLM Superstation της Lamini είναι η δημιουργία και η προσφορά της υποδομής του που τροφοδοτείται από αυτές τις GPU επόμενης γενιάς.