Η AMD λανσάρει το Instinct MI300X AI GPU Accelerator, Έως και 60% ταχύτερο από το NVIDIA H100

Η AMD ανακοίνωσε την επίσημη κυκλοφορία του κορυφαίου επιταχυντή AI GPU της, του MI300X, ο οποίος προσφέρει έως και 60% καλύτερη απόδοση από το H100 της

NVIDIA

.

Η AMD έχει επιτέλους την GPU για να αντιμετωπίσει το NVIDIA στο τμήμα AI, το MI300X έως και 60% πιο γρήγορα από το H100

Οι επιταχυντές τεχνητής νοημοσύνης της κατηγορίας AMD Instinct MI300 θα είναι μια άλλη μονάδα παραγωγής ισχύος chiplet, χρησιμοποιώντας προηγμένες τεχνολογίες συσκευασίας από την TSMC. Σήμερα, η AMD όχι μόνο ανακοίνωσε την κυκλοφορία αυτών των τσιπ, αλλά μοιράστηκε τα πρώτα σημεία αναφοράς απόδοσης του MI300X που φαίνονται υπέροχα. Η AMD χρησιμοποίησε για πρώτη φορά τις γενικές προδιαγραφές ως σύγκριση και τις

προσφορές

του επιταχυντή CDNA 3 (έναντι NVIDIA H100):

• 2,4 φορές μεγαλύτερη χωρητικότητα μνήμης
• 1,6Χ υψηλότερο εύρος ζώνης μνήμης
• 1,3X FP8 TFLOPS
• 1,3X FP16 TFLOPS
• Έως 20% ταχύτερα έναντι H100 (Llama 2 70B) σε σύγκριση 1v1
• Έως και 20% ταχύτερα έναντι H100 (FlashAttention 2) σε σύγκριση 1v1
• Έως και 40% ταχύτερα έναντι H100 (Llama 2 70B) σε διακομιστή 8v8
• Έως και 60% ταχύτερα έναντι H100 (Bloom 176B) σε διακομιστή 8v8

Σε γενικές γραμμές LLM Kernel TFLOP, το MI300X προσφέρει έως και 20% υψηλότερη απόδοση σε FlashAttention-2 και Llama 2 70B. Κοιτάζοντας από μια προοπτική πλατφόρμας που συγκρίνει μια λύση 8x MI300X με μια λύση 8X H100, βλέπουμε ένα πολύ μεγαλύτερο κέρδος 40% στο Llama 2 70B και ένα κέρδος 60% στο Bloom 176B.

Η AMD αναφέρει ότι στις προπονητικές επιδόσεις, το MI300X είναι στο ίδιο επίπεδο με τον ανταγωνισμό (H100) και προσφέρει ανταγωνιστική τιμή/απόδοση ενώ λάμπει σε φόρτους εργασίας συμπερασμάτων.

Η κινητήρια δύναμη πίσω από τους πιο πρόσφατους επιταχυντές MI300 είναι το ROCm 6.0. Η στοίβα λογισμικού έχει ενημερωθεί στην πιο πρόσφατη έκδοση με ισχυρά νέα χαρακτηριστικά που περιλαμβάνουν υποστήριξη για διάφορους φόρτους εργασίας AI, όπως μοντέλα Generative AI και Large γλωσσών.

Η νέα στοίβα λογισμικού υποστηρίζει τις πιο πρόσφατες μορφές υπολογιστών όπως FP16, Bf16 και FP8 (συμπεριλαμβανομένου του Sparity). Οι βελτιστοποιήσεις συνδυάζονται για να προσφέρουν έως και 2,6x επιτάχυνση στο vLLM μέσω βελτιστοποιημένων βιβλιοθηκών συμπερασμάτων, 1,4x επιτάχυνση στο HIP Graph μέσω βελτιστοποιημένου χρόνου εκτέλεσης και 1,3x επιτάχυνση Flash Attention μέσω βελτιστοποιημένων πυρήνων. Το ROCm 6 αναμένεται αργότερα αυτό το μήνα μαζί με τους επιταχυντές AI MI300. Θα είναι ενδιαφέρον να δούμε πώς συγκρίνεται το ROCm 6 με την τελευταία έκδοση της στοίβας CUDA της NVIDIA που είναι ο πραγματικός ανταγωνισμός της.

AMD Instinct MI300X – Προκαλώντας την υπεροχή της τεχνητής νοημοσύνης της NVIDIA με CDNA 3 και τεράστια μνήμη

Το AMD Instinct MI300X είναι το τσιπ που θα επισημανθεί περισσότερο αφού στοχεύει στους επιταχυντές Hopper της NVIDIA και Gaudi της Intel στο τμήμα AI. Αυτό το τσιπ έχει σχεδιαστεί αποκλειστικά στην αρχιτεκτονική CDNA 3 και υπάρχουν πολλά πράγματα που συμβαίνουν. Το τσιπ πρόκειται να φιλοξενήσει ένα μείγμα 5nm και 6nm IP, όλα συνδυαζόμενα για να προσφέρουν έως και 153 δισεκατομμύρια τρανζίστορ (MI300X).

Ξεκινώντας με το σχέδιο, ο κύριος παρεμβολέας τοποθετείται με μια παθητική μήτρα που στεγάζει το στρώμα διασύνδεσης χρησιμοποιώντας μια λύση Infinity Fabric 4ης γενιάς. Το interposer περιλαμβάνει συνολικά 28 μήτρες που περιλαμβάνουν οκτώ πακέτα HBM3, 16 εικονικές μήτρες μεταξύ των πακέτων HBM και τέσσερις ενεργές μήτρες και κάθε μία από αυτές τις ενεργές μήτρες λαμβάνει δύο υπολογιστικές μήτρες.

Η μνήμη είναι ένας άλλος τομέας όπου θα δείτε μια τεράστια

αναβάθμιση

με το MI300X να διαθέτει 50% περισσότερη χωρητικότητα HBM3 από τον προκάτοχό του, το MI250X (128 GB). Για να πετύχει μια δεξαμενή μνήμης 192 GB, η AMD εξοπλίζει το MI300X με 8 στοίβες HBM3 και κάθε στοίβα είναι 12-Hi, ενώ ενσωματώνει IC 16 Gb που μας δίνουν χωρητικότητα 2 GB ανά IC ή 24 GB ανά στοίβα.

Η μνήμη θα προσφέρει έως και 5,3 TB/s εύρους ζώνης και 896 GB/s Infinity Fabric Bandwidth. Για σύγκριση, ο επερχόμενος επιταχυντής AI H200 της NVIDIA προσφέρει χωρητικότητα 141 GB, ενώ ο Gaudi 3 από την Intel θα προσφέρει χωρητικότητα 144 GB. Οι μεγάλες δεξαμενές μνήμης έχουν μεγάλη σημασία στα LLM, τα οποία είναι ως επί το πλείστον δεσμευμένα στη μνήμη και η AMD μπορεί να δείξει την ικανότητά της στην τεχνητή νοημοσύνη, πρωτοστατώντας στο τμήμα μνήμης. Για συγκρίσεις:

• 
  Instinct MI300X –
  
  192 GB HBM3
• 
  Γκαουντί 3 –
  
  144 GB HBM3
• 
  H200 –
  
  141 GB HBM3e
• 
  MI300A –
  
  128 GB HBM3
• 
  MI250X –
  
  128 GB HBM2e
• 
  H100 –
  
  96 GB HBM3
• 
  Γκαουντί 2 –
  
  96 GB HBM2e

Όσον αφορά την κατανάλωση ενέργειας, το AMD Instinct MI300X βαθμολογείται στα 750W που είναι 50% αύξηση σε σχέση με τα 500W του Instinct MI250X και 50W περισσότερο από το NVIDIA H200.

Μία διαμόρφωση

επιδεικνύεται

είναι η σειρά διακομιστών G593-ZX1/ZX2 της Gigabyte που προσφέρουν έως και 8 επιταχυντές GPU MI300X και δύο επεξεργαστές AMD EPYC 9004. Αυτά τα συστήματα θα είναι εξοπλισμένα με έως και οκτώ τροφοδοτικά 3000W, συνολικής ισχύος 18000W. Η AMD παρουσίασε επίσης τη δική της πλατφόρμα Instinct MI300X, η οποία περιλαμβάνει 8 από αυτά τα τσιπ επιτάχυνσης AI, προσφέροντας ορισμένους σταθερούς αριθμούς στην πλατφόρμα NVIDIA HGX H100. Μερικοί αριθμοί που κοινοποιούνται από την AMD περιλαμβάνουν:

• 2,4 φορές υψηλότερη μνήμη HBM3 (1,5 TB έναντι 640 GB)
• 1,3 φορές περισσότερα υπολογιστικά FLOPS (10,4 PF έναντι 7,9 PF)
• Παρόμοιο αμφίδρομο εύρος ζώνης (896 GB/s έναντι 900 GB/s)
• Παρόμοιο εύρος ζώνης μονού κόμβου (448 GB/s έναντι 450 GB/s)
• Παρόμοιες δυνατότητες δικτύωσης (400 GbE έναντι 400 GbE)
• Παρόμοιο πρωτόκολλο PCIe (PCIe Gen 5 128 GB/s)

Προς το παρόν, η AMD θα πρέπει να γνωρίζει ότι οι ανταγωνιστές της προχωρούν επίσης στην τρέλα της τεχνητής νοημοσύνης με τη NVIDIA να έχει ήδη πειράξει μερικά τεράστια νούμερα για τις GPU της Hopper H200 2024 και τις GPU της Blackwell B100 και η Intel προετοιμάζει τις GPU της Guadi 3 και Falcon Shores για κυκλοφορία στο και τα επόμενα χρόνια. Εταιρείες όπως η Oracle, η

Dell

, η META και η OpenAI ανακοίνωσαν υποστήριξη για τα τσιπ AI Instinct MI300 της AMD στο οικοσύστημά τους.

Ένα πράγμα είναι σίγουρο αυτή τη στιγμή, οι πελάτες τεχνητής νοημοσύνης θα καταβροχθίσουν σχεδόν οτιδήποτε μπορούν να πάρουν και όλοι θα το εκμεταλλευτούν. Αλλά η AMD έχει μια πολύ τρομερή λύση που δεν στοχεύει απλώς να είναι εναλλακτική της NVIDIA αλλά ηγέτης στον τομέα της τεχνητής νοημοσύνης.

AMD Radeon

Instinct Accelerators