Η Intel ανοίγει την NPU βιβλιοθήκη της σε ανοιχτό κώδικα για τη βελτιστοποίηση των εφαρμογών AI
Η Intel έχει επιτέλους «ανοιχτού κώδικα» τη βιβλιοθήκη NPU Acceleration, επιτρέποντας στους προγραμματιστές και τους λάτρεις να συντονίζουν τις εφαρμογές τους ώστε να λειτουργούν καλύτερα με τους κινητήρες AI της Intel.
Η Open-Sourcing βιβλιοθηκών NPU της Intel αποκαλύπτει ότι οι αποκλειστικές μηχανές AI έχουν ένα υπέροχο μέλλον
Τα νέα προέρχονται από τον Τεχνολογικό Ευαγγελιστή της Intel, Tony Mongkolsmai, ο οποίος αποκάλυψε αρχικά τη νέα βιβλιοθήκη ανοιχτού κώδικα της εταιρείας.
Με αυτό το βήμα, η βιβλιοθήκη επιτάχυνσης NPU θα βοηθήσει τους προγραμματιστές να επωφεληθούν από NPU που υπάρχουν σε σειρές CPU, όπως η σειρά Meteor Lake “Core Ultra”. Βασίζεται στην Python και απλοποιεί την ανάπτυξη παρέχοντας μια διεπαφή υψηλού επιπέδου και υποστηρίζει δημοφιλή πλαίσια όπως το TensorFlow και το PyTorch, δίνοντας στους προγραμματιστές τη δύναμη να αξιοποιήσουν τις δυνατότητες της βιβλιοθήκης για να κάνουν πιο αποτελεσματικές εργασίες που σχετίζονται με την τεχνητή νοημοσύνη.
Για προγραμματιστές που έχουν ρωτήσει, ρίξτε μια ματιά στη βιβλιοθήκη Intel NPU Acceleration με νέο ανοιχτό κώδικα. Μόλις το δοκίμασα στον υπολογιστή μου MSI Prestige 16 AI Evo (τα windows αυτή τη φορά, αλλά η βιβλιοθήκη υποστηρίζει επίσης Linux) και ακολουθώντας την τεκμηρίωση του GitHub μπόρεσα να εκτελέσω το TinyLlama…
pic.twitter.com/UPMujuKGGT
— Tony Mongkolsmai (@tonymongkolsmai)
1 Μαρτίου 2024
Ο Tony εκτελούσε τη βιβλιοθήκη επιτάχυνσης NPU σε φορητό υπολογιστή MSI Prestige 16 AI Evo, ο οποίος διαθέτει τους επεξεργαστές Intel Core Ultra. Θα μπορούσε να τρέξει μοντέλα TinyLlama και Gemma-2b-it LLM στο μηχάνημα χωρίς διαταραχές απόδοσης, υποδεικνύοντας τις δυνατότητες που γοητεύουν οι NPU της Intel και πώς αυτές προωθούν ένα περιβάλλον τεχνητής νοημοσύνης αιχμής για προγραμματιστές. Δείτε πώς περιγράφει η ίδια η ομάδα ανάπτυξης της Intel τη βιβλιοθήκη:
Η Intel NPU Acceleration Library είναι μια βιβλιοθήκη Python που έχει σχεδιαστεί για να ενισχύει την αποτελεσματικότητα των εφαρμογών σας αξιοποιώντας την ισχύ της Intel Neural Processing Unit (NPU) για την εκτέλεση υπολογισμών υψηλής ταχύτητας σε συμβατό υλικό.
Στην προσπάθειά μας να βελτιώσουμε σημαντικά την απόδοση της βιβλιοθήκης, κατευθύνουμε τις προσπάθειές μας προς την εφαρμογή μιας σειράς βασικών χαρακτηριστικών, όπως:
Κβαντισμός 8 bit
4-bit Quantization και GPTQ
NPU-Εγγενές συμπέρασμα μικτής ακρίβειας
Υποστήριξη Float16
BFloat16 (Μορφή Brain Floating Point)
torch.compile
υποστήριξη
Εφαρμογή οριζόντιας σύντηξης LLM MLP
Συμπέρασμα στατικού σχήματος
Συμπέρασμα MHA NPU
Έτερος υπολογισμός NPU/GPU
Χαρτί
Είναι υπέροχο να βλέπουμε την ανοιχτή πηγή της βιβλιοθήκης επιτάχυνσης NPU, καθώς θα οδηγούσε τελικά σε μια βελτιωμένη εφαρμογή εφαρμογών AI που εκτελούνται σε αποκλειστικούς κινητήρες AI της Intel. Θα είναι ενδιαφέρον να δούμε τι είδους εξελίξεις βλέπουμε σε τέτοιους κινητήρες να προχωρούν, καθώς, όπως δήλωσε ο ίδιος ο Tony, υπάρχουν πολλά συσκευασμένα για καταναλωτές και προγραμματιστές.
Πηγή ειδήσεων:
Tony Mongkolsmai
VIA:
wccftech.com
