Νέας γενιάς Intel Gaudi AI επιταχυντές με υποστήριξη μοντέλων Llama 2 και παραμέτρους έως 70B
Οι επιταχυντές AI Gaudi 2 της Intel είναι η πιο βιώσιμη εναλλακτική λύση στα τσιπ της NVIDIA και το Hugging Face έχει αποδείξει την ικανότητά του να δημιουργεί κείμενο χρησιμοποιώντας το Llama 2.
Οι επιταχυντές Intel Gaudi 2 που παρουσιάστηκαν στη γενιά κειμένου με χρήση ανοιχτού κώδικα Llama 2 LLM με έως και 70 δισεκατομμύρια παραμέτρους
Καθώς η Intel επεκτείνει το οικοσύστημα λογισμικού τεχνητής νοημοσύνης της, η εταιρεία στοχεύει στους πιο δημοφιλείς φόρτους εργασίας τεχνητής νοημοσύνης που περιλαμβάνουν LLM (Large Language Models). Η εργασία γίνεται δυνατή χρησιμοποιώντας
Habana Optimum
που χρησιμεύει ως βιβλιοθήκες μετασχηματιστών και διαχυτών διεπαφής και επεξεργαστές Intel Habana Gaudi όπως ο Gaudi 2. Η εταιρεία έχει ήδη
αποδείχθηκε
τις δυνατότητες AI και την απόδοση των επεξεργαστών Gaudi 2 έναντι των GPU A100 της NVIDIA που είναι μία από τις δημοφιλείς επιλογές στην αγορά, αλλά το Gaudi 2 κάνει αξιέπαινη δουλειά προσφέροντας ταχύτερη απόδοση σε ανταγωνιστικό TCO.
Για την τελευταία επίδειξη, το Hugging Face δείχνει την ευκολία δημιουργίας κειμένου με το Llama 2 (7b, 13b, 70b) χρησιμοποιώντας τον ίδιο σωλήνα Optimum Habana και τον επιταχυντή AI Intel Gaudi 2. Το τελικό αποτέλεσμα δείχνει ότι όχι μόνο το τσιπ Gaudi 2 μπορούσε να δεχτεί μεμονωμένες/πολλαπλές προτροπές, αλλά ήταν πολύ εύκολο στη χρήση και μπορούσε επίσης να χειριστεί προσαρμοσμένα πρόσθετα μέσα σε σενάρια.
Με την επανάσταση του Generative AI (GenAI) σε πλήρη εξέλιξη, η δημιουργία κειμένου με μοντέλα μετασχηματιστών ανοιχτού κώδικα όπως το Llama 2 έχει γίνει η συζήτηση της πόλης. Οι λάτρεις της τεχνητής νοημοσύνης καθώς και οι προγραμματιστές προσπαθούν να αξιοποιήσουν τις παραγωγικές ικανότητες τέτοιων μοντέλων για δικές τους περιπτώσεις και εφαρμογές. Αυτό το άρθρο δείχνει πόσο εύκολο είναι να δημιουργήσετε κείμενο με την οικογένεια μοντέλων Llama 2 (7b, 13b και 70b) χρησιμοποιώντας το Optimum Habana και μια προσαρμοσμένη κατηγορία αγωγών – θα μπορείτε να εκτελέσετε τα μοντέλα με λίγες μόνο γραμμές κώδικα!
Αυτή η προσαρμοσμένη κατηγορία αγωγών έχει σχεδιαστεί για να προσφέρει μεγάλη ευελιξία και ευκολία στη χρήση. Επιπλέον, παρέχει υψηλό επίπεδο αφαίρεσης και εκτελεί τη δημιουργία κειμένου από άκρο σε άκρο που περιλαμβάνει προεπεξεργασία και μετα-επεξεργασία. Υπάρχουν πολλοί τρόποι χρήσης του αγωγού – μπορείτε να το εκτελέσετε
run_pipeline.py
script από το αποθετήριο Optimum Habana, προσθέστε την κλάση pipeline στα δικά σας σενάρια python ή αρχικοποιήστε τις κλάσεις LangChain με αυτήν.Παρουσιάσαμε μια προσαρμοσμένη διοχέτευση δημιουργίας κειμένου στον επιταχυντή Intel Gaudi 2 AI που δέχεται μεμονωμένες ή πολλαπλές προτροπές ως είσοδο. Αυτός ο αγωγός προσφέρει μεγάλη ευελιξία όσον αφορά το μέγεθος του μοντέλου καθώς και τις παραμέτρους που επηρεάζουν την ποιότητα δημιουργίας κειμένου. Επιπλέον, είναι επίσης πολύ εύκολο στη χρήση και τη σύνδεση στα σενάρια σας και είναι συμβατό με το LangChain.
Η Intel δεσμεύεται να επιταχύνει το τμήμα AI της τα επόμενα χρόνια. Φέτος, η εταιρεία σχεδιάζει να παρουσιάσει την τρίτη επανάληψη του Gaudi, γνωστή ως Gaudi 3, η οποία αναμένεται να χρησιμοποιεί έναν κόμβο διαδικασίας 5nm και σύμφωνα με πληροφορίες είναι ταχύτερη από το NVIDIA H100 σε σημαντικά χαμηλότερη τιμή. Ομοίως, η εταιρεία σχεδιάζει επίσης να προχωρήσει σε μια πλήρως εσωτερική σχεδίαση με την επόμενης γενιάς Falcon Shores GPU που αναμένεται για το 2025. Η εταιρεία ανοίγει επίσης δυνατότητες AI, όπως η διεπαφή Llama 2 με
PyTorch για τις GPU Arc A-Series καταναλωτικής βαθμίδας
.
VIA:
wccftech.com
