Meta στοιχηματίζει μεγάλα σε AI με προσαρμοσμένες μάρκες — και έναν υπερυπολογιστή

Σε μια εικονική εκδήλωση σήμερα το πρωί, η Meta σήκωσε τις κουρτίνες στις προσπάθειές της να αναπτύξει εσωτερική υποδομή για φόρτους εργασίας τεχνητής νοημοσύνης, συμπεριλαμβανομένης της παραγωγικής τεχνητής νοημοσύνης όπως ο τύπος που στηρίζει τα εργαλεία σχεδίασης και δημιουργίας διαφημίσεων που κυκλοφόρησε πρόσφατα.

Ήταν μια προσπάθεια προβολής ισχύος από τη Meta, η οποία ιστορικά αργούσε να υιοθετήσει συστήματα υλικού φιλικά προς την τεχνητή νοημοσύνη – παραλείποντας την ικανότητά της να συμβαδίζει με ανταγωνιστές όπως η Google και η Microsoft.

“Χτίζοντας το δικό μας [hardware] Οι δυνατότητες μας δίνουν έλεγχο σε κάθε επίπεδο της στοίβας, από τη σχεδίαση των κέντρων δεδομένων έως τα πλαίσια εκπαίδευσης», δήλωσε στο TechCrunch ο Alexis Bjorlin, Αντιπρόεδρος Υποδομής στη Meta. “Αυτό το επίπεδο κάθετης ολοκλήρωσης είναι απαραίτητο για να ωθήσει τα όρια της έρευνας της τεχνητής νοημοσύνης σε κλίμακα».

Την τελευταία δεκαετία περίπου, η Meta έχει ξοδέψει δισεκατομμύρια δολάρια για να στρατολογήσει κορυφαίους επιστήμονες δεδομένων και να δημιουργήσει νέα είδη τεχνητής νοημοσύνης, συμπεριλαμβανομένης της τεχνητής νοημοσύνης που τώρα τροφοδοτεί τις μηχανές ανακάλυψης, τα φίλτρα εποπτείας και τους προτεινόμενους διαφημίσεων που βρίσκονται σε όλες τις εφαρμογές και τις υπηρεσίες της. Αλλά η εταιρεία έχει πάλεψε να μετατρέψει πολλές από τις πιο φιλόδοξες ερευνητικές καινοτομίες της τεχνητής νοημοσύνης σε προϊόντα, ιδιαίτερα στον τομέα της τεχνητής νοημοσύνης.

Μέχρι το 2022, η Meta εκτελούσε σε μεγάλο βαθμό τους φόρτους εργασίας της με τεχνητή νοημοσύνη χρησιμοποιώντας έναν συνδυασμό CPU – οι οποίοι τείνουν να είναι λιγότερο αποτελεσματικοί για τέτοιου είδους εργασίες από τις GPU – και ένα προσαρμοσμένο τσιπ σχεδιασμένο για την επιτάχυνση αλγορίθμων AI. Η Meta απέσυρε μια μεγάλης κλίμακας διάθεση του προσαρμοσμένου τσιπ, η οποία είχε προγραμματιστεί για το 2022, και αντ' αυτού έκανε παραγγελίες για GPU της Nvidia αξίας δισεκατομμυρίων δολαρίων που απαιτούσαν σημαντικούς επανασχεδιασμούς πολλών από τα κέντρα δεδομένων της.

Σε μια προσπάθεια να αλλάξει τα πράγματα, η Meta έκανε σχέδια να ξεκινήσει την ανάπτυξη ενός πιο φιλόδοξου εσωτερικού τσιπ, που αναμένεται να κυκλοφορήσει το 2025, ικανό να εκπαιδεύει μοντέλα τεχνητής νοημοσύνης και να τα τρέχει. Και αυτό ήταν το βασικό θέμα της σημερινής παρουσίασης.

Η Meta αποκαλεί το νέο τσιπ Meta Training and Inference Accelerator, ή MTIA για συντομία, και το περιγράφει ως μέρος μιας «οικογένειας» τσιπ για την επιτάχυνση της εκπαίδευσης AI και την εξαγωγή συμπερασμάτων φόρτου εργασίας. (Το “Inferencing” αναφέρεται στην εκτέλεση ενός εκπαιδευμένου μοντέλου.) Το MTIA είναι ένα ASIC, ένα είδος τσιπ που συνδυάζει διαφορετικά κυκλώματα σε μία πλακέτα, επιτρέποντάς του να προγραμματιστεί για να εκτελεί μία ή πολλές εργασίες παράλληλα.

«Για να αποκτήσουμε καλύτερα επίπεδα αποδοτικότητας και απόδοσης σε όλους τους σημαντικούς φόρτους εργασίας μας, χρειαζόμασταν μια προσαρμοσμένη λύση που να έχει σχεδιαστεί από κοινού με το μοντέλο, τη στοίβα λογισμικού και το υλικό του συστήματος», συνέχισε η Bjorlin. «Αυτό παρέχει καλύτερη εμπειρία στους χρήστες μας σε μια ποικιλία υπηρεσιών.»

Τα προσαρμοσμένα τσιπ AI είναι όλο και περισσότερο το όνομα του παιχνιδιού μεταξύ των παικτών της Big Tech. Η Google δημιούργησε έναν επεξεργαστή, τον TPU (συντομογραφία της «μονάδας επεξεργασίας τανυστήρα»), για να εκπαιδεύει μεγάλα συστήματα τεχνητής νοημοσύνης που δημιουργούνται, όπως το PaLM-2 και το Imagen. Η Amazon προσφέρει ιδιόκτητα τσιπ σε πελάτες AWS τόσο για εκπαίδευση (Trainium) όσο και για εξαγωγή συμπερασμάτων (Inferentia). Και η Microsoft, σύμφωνα με πληροφορίεςσυνεργάζεται με την AMD για την ανάπτυξη ενός εσωτερικού τσιπ AI που ονομάζεται Athena.

Η Meta λέει ότι δημιούργησε την πρώτη γενιά του MTIA — MTIA v1 — το 2020, βασισμένο σε διαδικασία 7 νανομέτρων. Μπορεί να κλιμακωθεί πέρα ​​από την εσωτερική του μνήμη 128 MB σε έως και 128 GB, και σε μια δοκιμή αναφοράς σχεδιασμένη από Meta – η οποία, φυσικά, πρέπει να ληφθεί σοβαρά υπόψη – η Meta ισχυρίζεται ότι το MTIA χειρίστηκε «χαμηλή πολυπλοκότητα» και Μοντέλα τεχνητής νοημοσύνης «μέτριας πολυπλοκότητας» πιο αποτελεσματικά από μια GPU.

Απομένει να γίνει δουλειά στους τομείς της μνήμης και της δικτύωσης του τσιπ, λέει ο Meta, οι οποίοι παρουσιάζουν σημεία συμφόρησης καθώς το μέγεθος των μοντέλων τεχνητής νοημοσύνης μεγαλώνει, απαιτώντας τον φόρτο εργασίας να κατανεμηθεί σε πολλά τσιπ. (Όχι τυχαία, ο Meta πρόσφατα επίκτητος μια ομάδα με έδρα το Όσλο που χτίζει τεχνολογία δικτύωσης τεχνητής νοημοσύνης στο βρετανικό chip unicorn Graphcore.) Και προς το παρόν, η εστίαση του MTIA είναι αυστηρά στην εξαγωγή συμπερασμάτων — όχι στην εκπαίδευση — για «φόρτους εργασίας συστάσεων» σε όλη την οικογένεια εφαρμογών της Meta.

Ωστόσο, η Meta τόνισε ότι το MTIA, το οποίο συνεχίζει να βελτιώνει, αυξάνει «κατα πολύ» την αποδοτικότητα της εταιρείας όσον αφορά την απόδοση ανά Watt κατά την εκτέλεση φόρτου εργασίας προτάσεων — επιτρέποντας με τη σειρά της στη Meta να λειτουργεί «πιο βελτιωμένη» και «αιχμής» (φαινομενικά) Φόρτος εργασίας AI.

Ένας υπερυπολογιστής για AI

Ίσως μια μέρα, η Meta θα μεταβιβάσει το μεγαλύτερο μέρος του φόρτου εργασίας της AI σε τράπεζες MTIA. Προς το παρόν, όμως, το κοινωνικό δίκτυο βασίζεται στις GPU στον υπερυπολογιστή του που εστιάζεται στην έρευνα, το Research SuperCluster (RSC).

Αποκαλύφθηκε για πρώτη φορά τον Ιανουάριο του 2022, το RSC — που συναρμολογήθηκε σε συνεργασία με την Penguin Computing, την Nvidia και το Pure Storage — ολοκλήρωσε την κατασκευή της δεύτερης φάσης. Η Meta λέει ότι τώρα περιέχει συνολικά 2.000 συστήματα Nvidia DGX A100 με 16.000 GPU Nvidia A100.

Γιατί λοιπόν να φτιάξουμε έναν εσωτερικό υπερυπολογιστή; Λοιπόν, για ένα, υπάρχει η πίεση των ομοτίμων. Πριν από αρκετά χρόνια, η Microsoft έκανε μια μεγάλη υποχρέωση σχετικά με τον υπερυπολογιστή της AI που κατασκευάστηκε σε συνεργασία με το OpenAI και πιο πρόσφατα είπε ότι θα συνεργαστεί με τη Nvidia για να κατασκευάσει έναν νέο υπερυπολογιστή AI στο cloud Azure. Αλλού, η Google διαφημίζει τον δικό της υπερυπολογιστή που εστιάζει στην τεχνητή νοημοσύνη, ο οποίος διαθέτει 26.000 GPU Nvidia H100 — τοποθετώντας τον μπροστά από αυτόν της Meta.

Αλλά πέρα ​​από το να συμβαδίζει με τους Joneses, ο Meta λέει ότι το RSC παρέχει το πλεονέκτημα να επιτρέπει στους ερευνητές του να εκπαιδεύουν μοντέλα χρησιμοποιώντας πραγματικά παραδείγματα από τα συστήματα παραγωγής του Meta. Αυτό είναι σε αντίθεση με την προηγούμενη υποδομή AI της εταιρείας, η οποία αξιοποιούσε μόνο σύνολα δεδομένων ανοιχτού κώδικα και δημόσια διαθέσιμα.

«Ο υπερυπολογιστής RSC AI χρησιμοποιείται για την υπέρβαση των ορίων της έρευνας της τεχνητής νοημοσύνης σε διάφορους τομείς, συμπεριλαμβανομένης της γενετικής τεχνητής νοημοσύνης», δήλωσε εκπρόσωπος της Meta. «Πρόκειται πραγματικά για την παραγωγικότητα της έρευνας AI. Θέλαμε να παρέχουμε στους ερευνητές της τεχνητής νοημοσύνης μια υποδομή τελευταίας τεχνολογίας για να μπορούν να αναπτύξουν μοντέλα και να τους ενδυναμώσουν με μια πλατφόρμα εκπαίδευσης για να προωθήσουν την τεχνητή νοημοσύνη».

Στο αποκορύφωμά του, το RSC μπορεί να φτάσει σχεδόν τα 5 exaflops υπολογιστικής ισχύος, κάτι που η εταιρεία ισχυρίζεται ότι το καθιστά μεταξύ των ταχύτερων στον κόσμο. (Για να μην εντυπωσιάσει αυτό, αξίζει σημειώνοντας μερικοί ειδικοί βλέπουν τη μέτρηση απόδοσης του exaflops με λίγο αλάτι και ότι το RSC είναι μακριά υπεροπλισμένος από πολλούς από τους ταχύτερους υπερυπολογιστές του κόσμου.)

Η Meta λέει ότι χρησιμοποίησε το RSC για να εκπαιδεύσει το LLaMA, ένα βασανισμένο αρκτικόλεξο για το “Large Language Model Meta AI” — ένα μεγάλο μοντέλο γλώσσας που η εταιρεία μοιράστηκε ως “περιορισμένη κυκλοφορία” σε ερευνητές νωρίτερα μέσα στο έτος (και το οποίο ακολούθως διέρρευσε σε διάφορες διαδικτυακές κοινότητες). Το μεγαλύτερο μοντέλο LLaMA εκπαιδεύτηκε σε 2.048 GPU A100, λέει η Meta, κάτι που χρειάστηκε 21 ημέρες.

«Η δημιουργία των δικών μας υπερυπολογιστικών δυνατοτήτων μας δίνει τον έλεγχο σε κάθε επίπεδο της στοίβας. από το σχεδιασμό των κέντρων δεδομένων έως τα πλαίσια εκπαίδευσης», πρόσθεσε ο εκπρόσωπος. «Το RSC θα βοηθήσει τους ερευνητές τεχνητής νοημοσύνης της Meta να δημιουργήσουν νέα και καλύτερα μοντέλα τεχνητής νοημοσύνης που μπορούν να μάθουν από τρισεκατομμύρια παραδείγματα. εργασία σε εκατοντάδες διαφορετικές γλώσσες. αναλύστε απρόσκοπτα κείμενο, εικόνες και βίντεο μαζί. Ανάπτυξη νέων εργαλείων επαυξημένης πραγματικότητας. και πολλα ΑΚΟΜΑ.”

Μετακωδικοποιητής βίντεο

Εκτός από το MTIA, η Meta αναπτύσσει ένα άλλο τσιπ για να χειρίζεται συγκεκριμένους τύπους υπολογιστικού φόρτου εργασίας, αποκάλυψε η εταιρεία στη σημερινή εκδήλωση. Ονομάζεται Meta Scalable Video Processor ή MSVP, η Meta λέει ότι είναι η πρώτη της εσωτερικής ανάπτυξης λύση ASIC που έχει σχεδιαστεί για τις ανάγκες επεξεργασίας βίντεο κατ' απαίτηση και ζωντανής ροής.

Άρχισε ο Μέτα ιδεατοποιώντας προσαρμοσμένα τσιπ βίντεο από την πλευρά του διακομιστή πριν από χρόνια, οι αναγνώστες μπορεί να θυμούνται, ανακοινώνοντας ένα ASIC για εργασία διακωδικοποίησης βίντεο και συμπερασμάτων το 2019. Αυτό είναι ο καρπός ορισμένων από αυτές τις προσπάθειες, καθώς και μια νέα ώθηση για ανταγωνιστικό πλεονέκτημα στον τομέα του ζωντανού βίντεο συγκεκριμένα.

«Μόνο στο Facebook, οι άνθρωποι περνούν το 50% του χρόνου τους στην εφαρμογή παρακολουθώντας βίντεο», έγραψαν οι τεχνικοί υπεύθυνοι της Meta, Harikrishna Reddy και Yunqing Chen, σε μια συν-συγγραφική ανάρτηση ιστολογίου που δημοσιεύτηκε σήμερα το πρωί. «Για την εξυπηρέτηση της μεγάλης ποικιλίας συσκευών σε όλο τον κόσμο (κινητές συσκευές, φορητοί υπολογιστές, τηλεοράσεις κ.λπ.), τα βίντεο που ανεβαίνουν στο Facebook ή το Instagram, για παράδειγμα, μετατρέπονται σε πολλαπλές ροές bit, με διαφορετικές μορφές κωδικοποίησης, αναλύσεις και ποιότητα… MSVP είναι προγραμματιζόμενο και επεκτάσιμο και μπορεί να ρυθμιστεί ώστε να υποστηρίζει αποτελεσματικά τόσο τη διακωδικοποίηση υψηλής ποιότητας που απαιτείται για το VOD όσο και τη χαμηλή καθυστέρηση και τους ταχύτερους χρόνους επεξεργασίας που απαιτεί η ζωντανή ροή».

Η Meta λέει ότι το σχέδιό της είναι τελικά να μεταφορτώσει την πλειονότητα των «σταθερών και ώριμων» φόρτων εργασίας επεξεργασίας βίντεο στο MSVP και να χρησιμοποιήσει κωδικοποίηση βίντεο λογισμικού μόνο για φόρτους εργασίας που απαιτούν συγκεκριμένη προσαρμογή και «σημαντικά» υψηλότερη ποιότητα. Συνεχίζονται οι εργασίες για τη βελτίωση της ποιότητας του βίντεο με το MSVP χρησιμοποιώντας μεθόδους προεπεξεργασίας, όπως η έξυπνη απενεργοποίηση θορύβων και η βελτίωση της εικόνας, λέει ο Meta, καθώς και μέθοδοι μετα-επεξεργασίας, όπως η αφαίρεση τεχνουργημάτων και η υπερ-ανάλυση.

«Στο μέλλον, το MSVP θα μας επιτρέψει να υποστηρίξουμε ακόμη περισσότερες από τις πιο σημαντικές περιπτώσεις χρήσης και ανάγκες της Meta, συμπεριλαμβανομένων βίντεο σύντομης μορφής — επιτρέποντας την αποτελεσματική παράδοση γενετικού περιεχομένου τεχνητής νοημοσύνης, AR/VR και άλλου μεταφυσικού περιεχομένου», δήλωσαν οι Reddy και Chen.

Εστίαση AI

Αν υπάρχει ένα κοινό νήμα στις σημερινές ανακοινώσεις υλικού, είναι ότι η Meta προσπαθεί απεγνωσμένα να επιταχύνει τον ρυθμό σε ό,τι αφορά την τεχνητή νοημοσύνη, συγκεκριμένα τη γενετική τεχνητή νοημοσύνη.

Όσα είχαν τηλεγραφηθεί προηγουμένως. Τον Φεβρουάριο, ο Διευθύνων Σύμβουλος Mark Zuckerberg – ο οποίος φέρεται να έχει καταστήσει κορυφαία προτεραιότητα την αύξηση της υπολογιστικής ικανότητας της Meta για την τεχνητή νοημοσύνη – ανακοινώθηκεείπε πρόσφατα ότι η γενετική τεχνητή νοημοσύνη ήταν η περιοχή όπου αυτός και ο Ζούκερμπεργκ περνούσαν τον περισσότερο χρόνο. Και ο επικεφαλής επιστήμονας Yann LeCun έχει είπε ότι η Meta σχεδιάζει να αναπτύξει εργαλεία παραγωγής τεχνητής νοημοσύνης για τη δημιουργία αντικειμένων στην εικονική πραγματικότητα,

«Εξερευνούμε εμπειρίες συνομιλίας στο WhatsApp και το Messenger, εργαλεία οπτικής δημιουργίας για αναρτήσεις στο Facebook και το Instagram και διαφημίσεις, καθώς και εμπειρίες βίντεο και πολλαπλών μέσων με την πάροδο του χρόνου», δήλωσε ο Zuckerberg κατά τη διάρκεια της κλήσης κερδών του πρώτου τριμήνου της Meta τον Απρίλιο. «Περιμένω ότι αυτά τα εργαλεία θα είναι πολύτιμα για όλους, από τακτικά άτομα μέχρι δημιουργούς και επιχειρήσεις. Για παράδειγμα, αναμένω ότι θα προκύψει μεγάλο ενδιαφέρον για πράκτορες τεχνητής νοημοσύνης για επιχειρηματικά μηνύματα και υποστήριξη πελατών μόλις καταφέρουμε αυτή την εμπειρία. Με την πάροδο του χρόνου, αυτό θα επεκταθεί και στη δουλειά μας στο μετασύμπαν, όπου οι άνθρωποι θα μπορούν πολύ πιο εύκολα να δημιουργήσουν avatar, αντικείμενα, κόσμους και κώδικα για να τα συνδέσουν όλα μαζί».

Εν μέρει, η Meta αισθάνεται αυξανόμενη πίεση από τους επενδυτές ανησυχεί ότι η εταιρεία δεν κινείται αρκετά γρήγορα ώστε να κατακτήσει την (δυνητικά μεγάλη) αγορά της γενετικής τεχνητής νοημοσύνης. Δεν έχει απάντηση —ακόμα— σε chatbots όπως το Bard, το Bing Chat ή το ChatGPT. Ούτε έχει σημειώσει μεγάλη πρόοδο στη δημιουργία εικόνων, ένα άλλο βασικό τμήμα που έχει δει εκρηκτική ανάπτυξη.

Εάν οι προβλέψεις είναι σωστές, η συνολική διευθυνσιοδοτήσιμη αγορά για λογισμικό παραγωγής τεχνητής νοημοσύνης θα μπορούσε είναι 150 δισεκατομμύρια δολάρια. Η Goldman Sachs προβλέπει ότι θα αυξήσει το ΑΕΠ κατά 7%.

Ακόμη και ένα μικρό κομμάτι από αυτό θα μπορούσε να διαγράψει τα δισεκατομμύρια που έχασε η Meta σε επενδύσεις σε τεχνολογίες “μεταστρόφου”, όπως ακουστικά επαυξημένης πραγματικότητας, λογισμικό συσκέψεων και παιδικές χαρές VR όπως το Horizon Worlds. Reality Labs, το τμήμα της Meta που είναι υπεύθυνο για την τεχνολογία επαυξημένης πραγματικότητας, ανέφερε καθαρή ζημία 4 δισεκατομμυρίων δολαρίων το περασμένο τρίμηνο και η εταιρεία δήλωσε κατά τη διάρκεια της κλήσης του πρώτου τριμήνου ότι αναμένει «οι λειτουργικές ζημίες να αυξηθούν από έτος σε έτος το 2023».