Ο υπερυπολογιστής Frontier με τροφοδοσία AMD χρησιμοποιεί 3K από τις 37K MI250X GPU του για να επιτύχει μια τεράστια εκτέλεση παραμέτρων LLM 1 τρισεκατομμύριο, συγκρίσιμη με το ChatGPT-4

Ο υπερυπολογιστής Frontier που τροφοδοτείται από την AMD με GPU Instinct MI250X πέτυχε εκτέλεση LLM παραμέτρων 1 τρισεκατομμύριο, συναγωνιζόμενος το ChatGPT-4.

Ο υπερυπολογιστής Frontier σημειώνει νέα ρεκόρ στο χώρο του LLM Training, με την ευγενική

προσφορά

των CPU EPYC της AMD και των GPU Instinct

κορυφαία απόδοση HPC

αλλά είναι και το

2ος πιο αποτελεσματικός υπερυπολογιστής στον πλανήτη

. Έκθεση υποβολής για

Arxiv

από ιδιώτες αποκάλυψε ότι ο υπερυπολογιστής Frontier έχει επιτύχει την ικανότητα να εκπαιδεύει ένα τρισεκατομμύριο παραμέτρους μέσω του “υπερπαραμετρικού συντονισμού”, θέτοντας ένα νέο σημείο αναφοράς στον κλάδο.

Αυτό είναι «μόλις» 3k από το 37k MI250X στο Frontier. Για να κλέψεις από τον Φάινμαν, “Υπάρχει αρκετός χώρος στην κορυφή!” — Περιμένω πολλές ενδιαφέρουσες εργασίες που θα κλιμακωθούν περαιτέρω σε δεκάδες χιλιάδες κόμβους.

— Nicholas Malaya (@nicholasmalaya)

5 Ιανουαρίου 2024

Πριν πάμε στην ουσία, ας κάνουμε

μι

α γρήγορη ανακεφαλαίωση του τι περιέχει ο υπερυπολογιστής Frontier. Ο υπερυπολογιστής της ORNL έχει σχεδιαστεί από την αρχή με επεξεργαστές 3ης γενιάς EPYC Trento της AMD και επιταχυντές GPU Instinct MI250X. Είναι εγκατεστημένο στο Εθνικό Εργαστήριο Oak Ridge (ORNL) στο Tennessee των ΗΠΑ, όπου λειτουργεί από το Υπουργείο Ενέργειας (DOE). Επί του παρόντος έχει επιτύχει 1.194 Exaflop/s χρησιμοποιώντας 8.699.904 πυρήνες. Η

αρχιτεκτονική

HPE Cray EX συνδυάζει επεξεργαστές

AMD EPYC

3ης γενιάς βελτιστοποιημένες για HPC και AI, με επιταχυντές AMD Instinct 250X και διασύνδεση Slingshot-11. Η Frontier κατάφερε να διατηρήσει την πρώτη θέση στη λίστα των υπερυπολογιστών Top500.org, δείχνοντας την κυριαρχία της.

Τα νέα ρεκόρ που πέτυχε η Frontier είναι αποτέλεσμα της

εφαρμογή

ς αποτελεσματικών στρατηγικών για την εκπαίδευση των LLM και τη χρήση του ενσωματωμένου υλικού με τον πιο αποτελεσματικό τρόπο. Η ομάδα μπόρεσε να επιτύχει αξιοσημείωτα αποτελέσματα μέσω των εκτεταμένων δοκιμών των παραμέτρων 22 δισεκατομμυρίων, 175 δισεκατομμυρίων και 1 τρισεκατομμυρίων, και τα στοιχεία που προέκυψαν είναι αποτέλεσμα της βελτιστοποίησης και της τελειοποίησης της διαδικασίας εκπαίδευσης του μοντέλου. Τα αποτελέσματα επιτεύχθηκαν χρησιμοποιώντας έως και 3.000 επιταχυντές AI MI250X AI της AMD, οι οποίοι έχουν δείξει την ανδρεία τους παρά το γεγονός ότι είναι ένα σχετικά ξεπερασμένο κομμάτι υλικού.

Αυτό που είναι πιο ενδιαφέρον είναι ότι ολόκληρος ο υπερυπολογιστής Frontier φιλοξενεί 37.000 GPU MI250X, ώστε να μπορεί κανείς να φανταστεί το είδος της απόδοσης όταν χρησιμοποιείται ολόκληρη η πισίνα GPU για την τροφοδοσία των LLM. Η AMD βρίσκεται επίσης στα πρόθυρα της εφαρμογής των επιταχυντών GPU MI300 σε ολοκαίνουργιους υπερυπολογιστές με ισχυρό οικοσύστημα ROCm 6.0 που επιταχύνει περαιτέρω την απόδοση της τεχνητής νοημοσύνης.

Το μέλλον επιφυλάσσει πολλά για τον διακομιστή και το τμήμα του κέντρου δεδομένων και είναι σημαντικό να σημειωθεί ότι η Frontier χρησιμοποιεί επί του παρόντος υλικό που δεν είναι σχετικά νέο στον κλάδο. Με τις συνεχείς εξελίξεις στο τμήμα της γενετικής τεχνητής νοημοσύνης, είναι προφανές ότι οι αγορές θα χρειάζονταν περισσότερη υπολογιστική ισχύ για να προχωρήσουν μπροστά, γι’ αυτό και οι εξελίξεις στο υλικό που έχει σχεδιαστεί για αυτό το τμήμα είναι ζωτικής σημασίας για την εξέλιξη της επόμενης γενιάς.

Πηγή ειδήσεων:

Arvix