Η μαγεία του εξαιρετικά γρήγορου LPU του Groq

Η Groq, με επικεφαλής τον πρώην μηχανικό και διευθύνοντα σύμβουλο της Google, Τζόναθαν Ρος, ισχυρίζεται ότι δη

μι

ούργησε την πρώτη Μονάδα Επεξεργασίας Γλώσσας (LPU) που λέει ότι μπορεί να προσφέρει τις μεγαλύτερες ταχύτητες για εφαρμογές

τεχν

ητής νοημοσύνης.

Είναι ένας τολμηρός ισχυρισμός, αλλά ένας ισχυρισμός που οι πιο πρόσφατες επιδείξεις δεν υποστηρίζουν, υποδηλώνοντας ότι θα μπορούσε κάλλιστα να αλλάξει το παιχνίδι για την

τεχνητή νοημοσύνη

.

Ο Ross, ο οποίος είχε σχεδιάσει στο παρελθόν τη μονάδα επεξεργασίας τανυστών (TPU) της Google, κυκλοφόρησε το Groq το 2016 για να δημιουργήσει ένα τσιπ ικανό να εκτελεί εργασίες συμπερασμάτων βαθιάς

μάθηση

ς πιο αποτελεσ

ματ

ικά από τις υπάρχουσες CPU και GPU.

Αστραπιαία

Ο επεξεργαστής Tensor Stream Processor (TSP) της εταιρείας παρομοιάζεται με μια γραμμή συναρμολόγησης, η οποία επεξεργάζεται εργασίες δεδομένων με διαδοχικό, οργανωμένο τρόπο. Αντίθετα, μια GPU είναι παρόμοια με έναν στατικό σταθμό εργασίας, όπου οι εργαζόμενοι πηγαινοέρχονται για να εφαρμόσουν βήματα επεξεργασίας. Η αποτελεσματικότητα του TSP έγινε εμφανής με την άνοδο του Generative AI, οδηγώντας τον Ross να μετονομάσει το TSP ως Μονάδα Επεξεργασίας Γλωσσών (LPU) για να αυξήσει την αναγνωρισιμότητά του.

Σε αντίθεση με τις GPU, οι LPU χρησιμοποιούν μια βελτιστοποιημένη προσέγγιση, εξαλείφοντας την ανάγκη για πολύπλοκο υλικό προγραμματισμού, διασφαλίζοντας συνεπή καθυστέρηση και απόδοση. Τα LPU είναι επίσης ενεργειακά αποδοτικά, μειώνοντας τα γενικά έξοδα διαχείρισης πολλαπλών νημάτων και αποφεύγοντας την υποχρησιμοποίηση των πυρήνων. Ο επεκτάσιμος σχεδιασμός τσιπ του Groq επιτρέπει τη σύνδεση πολλών TSP χωρίς παραδοσιακά σημεία συμφόρησης, απλοποιώντας τις απαιτήσεις υλικού για μοντέλα τεχνητής νοημοσύνης μεγάλης κλίμακας.

Η πρώτη δημόσια επίδειξη του Groq ήταν μια αστραπιαία μηχανή απαντήσεων AI που παρήγαγε απαντήσεις με εκατοντάδες λέξεις σε λιγότερο από ένα δευτερόλεπτο. Ο Matt Shumer δημοσίευσε το τεστ στο X και λέει ότι περισσότερα από τα 3/4 του χρόνου δαπανήθηκαν αναζητώντας και όχι δημιουργία.

Αν και αυτό είναι εντυπωσιακό, το να βλέπεις τον Groq να έρχεται αντιμέτωπος με το Chat-GPT είναι κάτι άλλο.

Αν θέλετε να δοκιμάσετε μόνοι σας το Groq, για να πάρετε μια ιδέα για το πόσο γρήγορο μπορεί να είναι για την τεχνητή νοημοσύνη, μεταβείτε σε αυτήν τη συνομιλία

σελίδα

. Χρησιμοποιήστε το αναπτυσσόμενο μενού στα αριστερά για εναλλαγή μεταξύ των διαφορετικών διαθέσιμων μοντέλων.