Η Apple εξερευνά την αποθήκευση μοντέλων μεγάλων γλωσσών (LLM) σε Flash Storage για να φέρει απρόσκοπτα την τεχνολογία σε τηλέφωνα και φορητούς υπολογιστές

Τα μοντέλα μεγάλων γλωσσών (LLM) απαιτούν εξαιρετικά πόρους στη CPU και στη μνήμη, αλλά η

Apple

λέγεται ότι πειραματίζεται με την αποθήκευση αυτής της τεχνολογίας σε αποθήκευση flash, πιθανόν να την καταστήσει εύκολα προσβάσιμη σε πολλές συσκευές. Ωστόσο, ο τεχνολογικός γίγαντας επιθυμεί επίσης να κάνει τα LLM πανταχού παρόντα στη σειρά iPhone και Mac του και διερευνά τρόπους για να το κάνει αυτό δυνατό.

Η αποθήκευση LLM σε μνήμη flash ήταν δύσκολη. Η Apple στοχεύει να το διορθώσει σε μηχανήματα με περιορισμένη χωρητικότητα

Υπό τυπικές συνθήκες, τα μοντέλα μεγάλων γλωσσών απαιτούν επιταχυντές AI και υψηλή χωρητικότητα DRAM για αποθήκευση. Όπως αναφέρεται από

TechPowerUp

, η Apple εργάζεται για να φέρει την ίδια τεχνολογία, αλλά σε συσκευές που διαθέτουν περιορισμένη χωρητικότητα μνήμης. Σε ένα

πρόσφατα δημοσιευμένο έγγραφο

, η Apple δημοσίευσε μια εργασία που στοχεύει να φέρει LLM σε συσκευές με περιορισμένη χωρητικότητα μνήμης. Τα iPhone έχουν επίσης περιορισμένη μνήμη, επομένως οι ερευνητές της Apple έχουν αναπτύξει μια τεχνική που χρησιμοποιεί τσιπ flash για την αποθήκευση των δεδομένων του μοντέλου AI.

Δεδομένου ότι η μνήμη flash είναι διαθέσιμη σε αφθονία σε υπολογιστές iPhone και Mac της Apple, υπάρχει ένας τρόπος να παρακάμψετε αυτόν τον περιορισμό με μια τεχνική που ονομάζεται


Παράθυρο


. Σε αυτή τη μέθοδο, το μοντέλο AI επαναχρησιμοποιεί ορισμένα από τα δεδομένα που έχει ήδη επεξεργαστεί, μειώνοντας την απαίτηση για συνεχή ανάκτηση μνήμης και καθιστώντας την όλη διαδικασία ταχύτερη. Η δεύτερη τεχνική είναι


Ομαδοποίηση γραμμής-στήλης


; Τα δεδομένα μπορούν να ομαδοποιηθούν πιο αποτελεσματικά, επιτρέποντας στο μοντέλο AI να διαβάζει τα δεδομένα από τη μνήμη flash πιο γρήγορα και επιταχύνοντας την ικανότητά του να κατανοεί.

Και

οι δύο τεχνικές και άλλες μέθοδοι θα επιτρέψουν στα μοντέλα τεχνητής νοημοσύνης να τρέχουν έως και το διπλάσιο του μεγέθους της διαθέσιμης μνήμης RAM του iPhone, με αποτέλεσμα έως και 5 φορές αύξηση της ταχύτητας σε τυπικούς επεξεργαστές και έως και 25 φορές ταχύτερη σε επεξεργαστές γραφικών. Υπάρχουν πολλά στοιχεία που υποδηλώνουν ότι η Apple ασχολείται σοβαρά με την τεχνητή νοημοσύνη, ξεκινώντας με το δικό της chatbot, το οποίο εσωτερικά ονομάζεται

Apple GPT

. Το iPhone 16 του επόμενου έτους φημολογείται επίσης ότι θα διαθέτει αναβαθμισμένα μικρόφωνα, τα οποία θα είναι δαπανηρά για την εταιρεία, αλλά θα επιτρέψουν βελτιωμένη είσοδο ομιλίας, η οποία θα είναι απαραίτητη για να μπορέσει η

Siri

να εκτελέσει πολλές εργασίες.

Φημολογείται επίσης ότι κάποια μορφή γενετικής τεχνητής νοημοσύνης θα ενσωματωθεί στο iOS 18 όταν έρθει επίσημα το επόμενο έτος, οπότε ενώ η Apple βρίσκεται πίσω από τα OpenAI, Google, Amazon και άλλα, αυτό το χάσμα μπορεί να μειωθεί σημαντικά το 2024. Επιπλέον , η μεταφορά αυτής της τεχνολογίας σε iPhone, iPad και Mac με περιορισμένη μνήμη θα μπορούσε να δώσει σε αυτές τις συσκευές ένα μοναδικό σημείο πώλησης, αλλά θα πρέπει πρώτα να δούμε πώς αποδίδουν τα LLM που είναι αποθηκευμένα στη μνήμη flash.