Κίνδυνος από την χρήση κακόβουλων μοντέλων σε μηχανήματα κερκόπορτων χρηστών της Hugging Face

Τουλάχιστον 100 περιπτώσεις κακόβουλων μοντέλων AI ML εντοπίστηκαν στην πλατφόρμα Hugging Face, μερικά από τα οποία μπορούν να εκτελέσουν κώδικα στον υπολογιστή του θύ

ματ

ος, δίνοντας στους εισβολείς μια επίμονη κερκόπορτα.

Η Hugging Face είναι μια εταιρεία τεχνολογίας που ασχολείται με την τεχνητή νοημοσύνη (AI), την επεξεργασία φυσικής γλώσσας (NLP) και τη μηχανική εκμάθηση (ML), παρέχοντας μια πλατφόρμα όπου οι κοινότητες μπορούν να συνεργάζονται και να μοιράζονται μοντέλα, σύνολα δεδομένων και ολοκληρωμένες εφαρμογές.

Η ομάδα ασφαλείας του JFrog διαπίστωσε ό

τι

περίπου εκατό μοντέλα που φιλοξενούνται στην πλατφόρμα διαθέτουν κακόβουλες λειτουργίες, θέτοντας σημαντικό κίνδυνο παραβιάσεων δεδομένων και επιθέσεων κατασκοπείας.

Αυτό συμβαίνει παρά τα μέτρα ασφαλείας του Hugging Face, συμπεριλαμβανομένου του κακόβουλου λογισμικού, του τουρσί και της σάρωσης μυστικών, και τον έλεγχο της λειτουργικότητας των μοντέλων για την ανακάλυψη συμπεριφορών όπως η μη ασφαλής αποζωνοποίηση.

Κακόβουλα μοντέλα AI ML

Ο JFrog ανέπτυξε και ανέπτυξε ένα προηγμένο σύστημα σάρωσης για να εξετάσει τα μοντέλα PyTorch και Tensorflow Keras που φιλοξενούνται στο Hugging Face, βρίσκοντας εκατό με κάποια μορφή κακόβουλης λειτουργικότητας.

«Είναι σημαντικό να τονίσουμε ότι όταν αναφερόμαστε σε «κακόβουλα μοντέλα», υποδηλώνουμε συγκεκριμένα αυτά τα πραγματικά, επιβλαβή ωφέλιμα φορτία», αναφέρει η

Έκθεση JFrog

.

“Αυτή η καταμέτρηση αποκλείει τα ψευδώς θετικά στοιχεία, διασφαλίζοντας μια γνήσια αναπαράσταση της κατανομής των προσπαθειών για την

παραγωγή

κακόβουλων μοντέλων για τα PyTorch και Tensorflow στο Hugging Face.”

Μια επισημασμένη περίπτωση ενός μοντέλου PyTorch που ανέβηκε πρόσφατα από έναν χρήστη με το όνομα “baller423” και το οποίο έκτοτε αφαιρέθηκε από το HuggingFace, περιείχε ένα ωφέλιμο φορτίο που του έδινε τη δυνατότητα να δημιουργήσει ένα αντίστροφο κέλυφος σε έναν καθορισμένο κεντρικό υπολογιστή (210.117.212.93) .

Το κακόβουλο ωφέλιμο φορτίο χρησιμοποίησε τη μέθοδο “__reduce__” της μονάδας pickle της Python για την εκτέλεση αυθαίρετου κώδικα κατά τη φόρτωση ενός αρχείου μοντέλου PyTorch, αποφεύγοντας τον εντοπισμό ενσωματώνοντας τον κακόβουλο κώδικα στη διαδικασία αξιόπιστης σειριοποίησης.

Ο JFrog βρήκε το ίδιο ωφέλιμο φορτίο να συνδέεται με άλλες διευθύνσεις IP σε ξεχωριστές περιπτώσεις, με τα στοιχεία να υποδηλώνουν την πιθανότητα οι χειριστές του να είναι ερευνητές τεχνητής νοημοσύνης και όχι χάκερ. Ωστόσο, ο πειραματισμός τους ήταν ακόμα επικίνδυνος και ακατάλληλος.

Οι αναλυτές ανέπτυξαν ένα HoneyPot για να προσελκύσουν και να αναλύσουν τη δραστηριότητα για να προσδιορίσουν τις πραγματικές προθέσεις των χειριστών, αλλά δεν μπόρεσαν να συλλάβουν καμία εντολή κατά τη διάρκεια της περιόδου της καθιερωμένης συνδεσιμότητας (μία ημέρα).

Ο JFrog λέει ότι ορισμένες από τις κακόβουλες μεταφορτώσεις θα μπορούσαν να αποτελούν μέρος της έρευνας ασφαλείας με στόχο την παράκαμψη των μέτρων ασφαλείας στο Hugging Face και τη συλλογή επιδομάτων σφαλμάτων, αλλά από τη στιγμή που τα επικίνδυνα μοντέλα γίνονται δημόσια διαθέσιμα, ο κίνδυνος είναι πραγματικός και δεν πρέπει να υποτιμάται.

Τα μοντέλα AI ML μπορούν να θέτουν σημαντικούς κινδύνους για την ασφάλεια και αυτοί δεν έχουν εκτιμηθεί ή συζητηθεί με την κατάλληλη επιμέλεια από τους ενδιαφερόμενους φορείς και τους προγραμματιστές τεχνολογίας.

Τα ευρήματα του JFrog τονίζουν αυτό το πρόβλημα και ζητούν αυξημένη επαγρύπνηση και προληπτικά μέτρα για την προστασία του οικοσυστήματος από κακόβουλους παράγοντες.