Η Samsung παρουσιάζει τη νέα μνήμη HBM3E για την επίτευξη ταχύτερης εκπαίδευσης Τεχνητής Νοημοσύνης

Η Samsung μόλις ανακοίνωσε το HBM3E 12H DRAM με προηγμένη τεχνολογία TC NCF – οι λάτρεις των ακρωνύμιων πρέπει να είναι ενθουσιασμένοι όταν το διαβάζουν, αλλά για όλους τους άλλους ορίστε τι σημαίνει αυτό. Το HBM σημαίνει “μνήμη υψηλού εύρους ζώνης” και κάνει αυτό που λέει στο tin.

Τον Οκτώβριο η Samsung παρουσίασε το HBM3E Shinebolt, μια βελτιωμένη έκδοση της τρίτης γενιάς HBM που θα μπορούσε να επιτύχει 9,8 Gbps ανά pin (και 1,2 terabyte ανά δευτερόλεπτο για ολόκληρο το πακέτο).

Στη συνέχεια, 12H. Αυτός είναι απλώς ο αριθμός των μαρκών που έχουν στοιβαχτεί κάθετα σε κάθε ενότητα, 12 σε αυτήν την περίπτωση. Αυτός είναι ένας τρόπος για να χωρέσει περισσότερη μνήμη σε μια μονάδα και η Samsung έχει φτάσει τα 36 GB με τη θήκη 12H, 50% περισσότερο από μια σχεδίαση 8H. Ωστόσο, το εύρος ζώνης παραμένει στα 1,2 terabyte ανά δευτερόλεπτο.

Τέλος, TC NCF. Αυτό σημαίνει θερμική συμπίεση μη αγώγιμη μεμβράνη, δηλαδή το υλικό που τοποθετείται ανάμεσα στα στοιβαγμένα τσιπ. Η Samsung εργάζεται για τη δημιουργία πιο λεπτών, έως 7μm τώρα, επομένως η στοίβα 12H έχει περίπου το ίδιο ύψος με μια στοίβα 8H, επιτρέποντας τη χρήση της ίδιας συσκευασίας HBM.

Ένα επιπλέον πλεονέκτημα του TC NCF φέρνει βελτιωμένες θερμικές ιδιότητες για τη βελτίωση της ψύξης. Ακόμα καλύτερα, η μέθοδος που χρησιμοποιείται σε αυτή τη νέα HBM3E 12H DRAM βελτιώνει επίσης τις αποδόσεις.

Σε τι θα χρησιμοποιηθεί αυτή η μνήμη; Όπως πρέπει να ρωτήσετε – το AI είναι όλη η δημοσιότητα αυτές τις μέρες. Για να είμαστε δίκαιοι, είναι μια εφαρμογή που απαιτεί πολλή μνήμη RAM. Πέρυσι η Nvidia πρόσθεσε τη Samsung στη λίστα των προμηθευτών της για μνήμη υψηλού εύρους ζώνης και η εταιρεία κατασκευάζει μερικά τρελά σχέδια.

Η GPU Nvidia H200 Tensor Core διαθέτει 141 GB HBM3E που τρέχει συνολικά με 4,8 terabyte ανά δευτερόλεπτο. Αυτό είναι πολύ πέρα ​​από αυτό που βλέπετε σε μια GPU καταναλωτή με GDDR. Για παράδειγμα, το RTX 4090 διαθέτει 24 GB GDDDR6 που τρέχει με μόλις 1 terabyte ανά δευτερόλεπτο.

Τέλος πάντων, με βάση αναφορές, το H200 χρησιμοποιεί έξι μονάδες 24 GB HBM3E 8H από τη Micron (συνολικά 144 GB αλλά μόνο 141 GB χρησιμοποιήσιμα). Η ίδια χωρητικότητα μπορεί να επιτευχθεί με μόνο τέσσερις μονάδες 12H, εναλλακτικά, χωρητικότητα 216 GB μπορεί να επιτευχθεί με έξι μονάδες 12H.

Σύμφωνα με τις εκτιμήσεις της Samsung, η πρόσθετη χωρητικότητα του νέου της σχεδιασμού 12H θα επιταχύνει την εκπαίδευση AI κατά 34% και θα επιτρέψει στις υπηρεσίες συμπερασμάτων να χειρίζονται «πάνω από 11,5 φορές» τον αριθμό των χρηστών.

Η έκρηξη της τεχνητής νοημοσύνης θα κρατήσει επιταχυντές όπως το H200 σε υψηλή ζήτηση, επομένως είναι επικερδές να είσαι προμηθευτής μνήμης – μπορείτε να δείτε γιατί εταιρείες όπως η Micron, η Samsung και η SK Hynix θέλουν ένα κομμάτι από την πίτα.

Πηγή