LoRA AI: Μια σύντομη επισκόπηση και οι τρόποι χρήσης στο Android

Στο

Mobile World Congress 2024

, η Qualcomm αποκαλύπτει την τελευταία της καινοτομία σ

τι

ς δυνατότητες AI για φορητές συσκευές με την ενσωμάτωση της τεχνολογίας LoRA AI στο πυρίτιο της σειράς Snapdragon, σχολαστικά σχεδιασμένο για τηλέφωνα Android. Μεταξύ των αξιοσημείωτων χαρακτηριστικών που παρουσιάστηκαν για τη ναυαρχίδα Snapdragon 8 Gen 3, η Qualcomm έχει παρουσιάσει εξαιρετικές λειτουργίες AI, που περιλαμβάνουν επεξεργασία μέσων που ενεργοποιείται με φωνή, δημιουργία εικόνων στη συσκευή με χρήση Stable Diffusion και έναν εμπλουτισμένο εικονικό βοηθό που εκμεταλλεύεται εκτεταμένα μοντέλα γλώσσας που προμηθεύονται από ηγέτες του κλάδου ως Μέτα.

Τι είναι το LoRA;

Η Qualcomm εμβαθύνει στη σφαίρα της δημιουργίας και χειραγώγησης δημιουργικών εικόνων με την εισαγωγή των μοντέλων LoRA AI. Πρόσφατες επιδείξεις από την Qualcomm έχουν επισημάνει πρωτοποριακά επιτεύγματα, όπως η επίτευξη του

Η ταχύτερη παραγωγή κειμένου σε εικόνα στον κόσμο σε smartphone χρησιμοποιώντας τεχνολογία Stable Diffusion

. Επί του παρόντος, η εταιρεία προσφέρει μια προεπισκόπηση των δυνατοτήτων της δημιουργίας εικόνων βάσει LoRA.

Το LoRA, μια συντομογραφία του Low-Rank Adaptation, παρουσιάζει μια νέα προσέγγιση στη δημιουργία εικόνων που διαφέρει από τα συμβατικά εργαλεία παραγωγής τεχνητής νοημοσύνης όπως το DALL·E. Αναπτύχθηκε από τη Microsoft, το LoRA αντιμετωπίζει τις εγγενείς προκλήσεις που σχετίζονται με την

εκπαίδευση

μοντέλων τεχνητής νοημοσύνης, συμπεριλαμβανομένων υψηλού κόστους, ζητημάτων λανθάνοντος χρόνου και απαιτητικές απαιτήσεις υλικού.

Η βασική αρχή του

Το LoRA περιστρέφεται γύρω από τη σημαντική μείωση της πολυπλοκότητας του μοντέλου

, ελαχιστοποιώντας έτσι τη χρήση της μνήμης και βελτιώνοντας την αποτελεσματικότητα της προπόνησης. Εστιάζοντας σε συγκεκριμένα τμήματα του μοντέλου και βελτιστοποιώντας το πλήθος παραμέτρων, το LoRA απλοποιεί τη διαδικασία προσαρμογής για μοντέλα κειμένου σε εικόνα, με αποτέλεσμα επιταχυνόμενη απόδοση και μειωμένη κατανάλωση πόρων.

Με την πάροδο του χρόνου, η τεχνική απόσταξης LoRA έχει ενσωματωθεί άψογα στο μοντέλο Stable Diffusion για τη δημιουργία εικόνων από μηνύματα κειμένου. Τα εγγενή κέρδη απόδοσης και η βελτιωμένη προσαρμοστικότητα που προσφέρουν τα μοντέλα που βασίζονται στο LoRA τα καθιστούν ιδιαίτερα κατάλληλα για ανάπτυξη σε smartphone, ευθυγραμμισμένα με το όραμα της Qualcomm για εμπειρίες κινητής τηλεφωνίας που βασίζονται σε τεχνητή νοημοσύνη.

Ενώ τα μοντέλα Stable Diffusion έχουν αποσπάσει αναγνώριση για την ικανότητά τους να παράγουν εικόνες και κείμενο υψηλής πιστότητας,

Ένα αξιοσημείωτο μειονέκτημα ήταν το μεγάλο τους μέγεθος αρχείου, που θέτει προκλήσεις για την αποθήκευση και τη διανομή

. Εδώ αναδεικνύεται η LoRA ως μια βασική τεχνική εκπαίδευσης, η οποία επιτρέπει τη λεπτομερή ρύθμιση των μοντέλων Stable Diffusion, διατηρώντας παράλληλα διαχειρίσιμα μεγέθη αρχείων.

Τα μοντέλα LoRA, που χαρακτηρίζονται από το συμπαγές τους μέγεθος, αντιπροσωπεύουν μια σημαντική ανα

κάλυψη

στη βελτιστοποίηση μοντέλων. Αυτά τα μοντέλα, τα οποία είναι ουσιαστικά εκλεπτυσμένες εκδόσεις τυπικών μοντέλων σημείων ελέγχου, διαθέτουν σημαντικά μειωμένα μεγέθη αρχείων που κυμαίνονται από 2 έως 500 MB, προσφέροντας μια πρακτική λύση για χρήστες που αναζητούν ισορροπία μεταξύ μεγέθους μοντέλου και αποτελεσματικότητας εκπαίδευσης.

Ρυθμίσεις μικρορύθμισης LoRA

Τα μοντέλα LoRA AI προσφέρουν μια σειρά ρυθμίσεων λεπτομέρειας, επιτρέποντας στους χρήστες να προσαρμόζουν τις εξόδους που δημιουργούνται από AI σύμφωνα με συγκεκριμένες προτιμήσεις και απαιτήσεις. Αυτές οι ρυθμίσεις μπορούν να κατηγοριοποιηθούν σε διάφορους τύπους, καθένας από τους οποίους ανταποκρίνεται σε διαφορετικές περιπτώσεις χρήσης και στόχους.

Δημιουργία συγκεκριμένων χαρακτήρων με μοντέλα LoRA AI

Τα μοντέλα LoRA AI χαρακτήρων είναι ειδικά εκπαιδευμένα

μεμονωμένους χαρακτήρες

, όπως αυτά από κινούμενα σχέδια, βιντεοπαιχνίδια ή άλλα μέσα. Αξιοποιώντας δεδομένα εκπαίδευσης για συγκεκριμένους χαρακτήρες, αυτά τα μοντέλα διαπρέπουν στην ακριβή αναπαραγωγή της εμφάνισης και των μοναδικών χαρακτηριστικών που σχετίζονται με κάθε χαρακτήρα.

Η

εφαρμογή

ενός μοντέλου LoRA AI χαρακτήρων διευκολύνει τη γρήγορη δημιουργία χαρακτήρων με αυθεντικά χαρακτηριστικά, καθιστώντας τους ιδανικούς για εικονογραφήσεις τεχνητής νοημοσύνης, τέχνη έννοιας χαρακτήρων και φύλλα αναφοράς. Ανάλογα με την εκπαίδευση του μοντέλου, μπορεί να αναπαράγει χαρακτήρες με διάφορα ρούχα, χτενίσματα ή εκφράσεις προσώπου. Επιπλέον, ορισμένα μοντέλα LoRA AI χαρακτήρων επιτρέπουν στους χρήστες να τοποθετούν τους επιλεγμένους χαρακτήρες τους σε νέα περιβάλλοντα ή ρούχα, προσθέτοντας ένα επιπλέον επίπεδο ευελιξίας.

Τα μοντέλα LoRA AI χαρακτήρων περιλαμβάνουν ένα ευρύ φάσμα χαρακτήρων από δημοφιλή franchise, καθώς και χαρακτήρες από anime και κόμικς. Επιπλέον, αυτά τα μοντέλα μπορούν να εφαρμοστούν σε αρχικούς χαρακτήρες με την προϋπόθεση ότι υπάρχουν επαρκή δεδομένα εκπαίδευσης. Ενώ τα πειράματα με χαμηλότερα δεδομένα εκπαίδευσης βρίσκονται σε εξέλιξη, γενικά συνιστάται η χρήση μοντέλων LoRA AI χαρακτήρων που έχουν εκπαιδευτεί σε τουλάχιστον 10-20 διαφορετικές εικόνες για τη βελτίωση της ποικιλομορφίας και της ποιότητας των χαρακτήρων που δημιουργούνται.

Σταθερό στυλ με τα μοντέλα LoRA AI

Τα μοντέλα με στυλ LoRA AI επικεντρώνονται στη λήψη και την αναπαραγωγή

συγκεκριμένα καλλιτεχνικά στυλ

παρά μεμονωμένους χαρακτήρες ή αντικείμενα. Αυτά τα μοντέλα συνήθως εκπαιδεύονται στα καλλιτεχνικά έργα ενός συγκεκριμένου καλλιτέχνη, επιτρέποντας στους χρήστες να εμποτίσουν τις δημιουργίες τους με το χαρακτηριστικό στυλ αυτού του καλλιτέχνη.

Η ευελιξία των μοντέλων LoRA AI έγκειται στην ικανότητά τους να εφαρμόζουν διάφορα καλλιτεχνικά στυλ, που κυμαίνονται από την αισθητική των κινουμένων σχεδίων έως τους πίνακες ζωγραφικής με ακουαρέλα και τη γραμμική τέχνη. Με τη μόχλευση αυτών των μοντέλων, οι χρήστες μπορούν να εμποτίσουν το έργο τέχνης που δημιουργείται από AI με ένα ξεχωριστό και αναγνωρίσιμο στυλ, ξεχωρίζοντας από τα συμβατικά αποτελέσματα.

Αυτό που διακρίνει τα στυλ LoRA AI μοντέλα είναι η συμβατότητά τους με τυπικά σημεία ελέγχου Stable Diffusion, επιτρέποντας στους χρήστες να τα ενσωματώνουν απρόσκοπτα στις δημιουργικές ροές εργασίας τους. Για παράδειγμα, ο συνδυασμός ενός σημείου ελέγχου ρεαλισμού με ένα μοντέλο LoRA AI σε στυλ ζωγραφικής μπορεί να αποδώσει ρεαλιστικές εικόνες με μια ζωγραφική πινελιά, καταδεικνύοντας τις συνεργιστικές δυνατότητες αυτών των μοντέλων.

Συνεχείς πόζες με μοντέλα LoRA AI

Παρουσιάζουμε τα μοντέλα Pose LoRA AI, σχεδιασμένα να

χειριστείτε με ακρίβεια τις στάσεις των χαρακτήρων μέσα στις παραγόμενες σκηνές.

Με το Pose LoRA AI, οι χρήστες μπορούν να δημιουργούν αβίαστα δυναμικές συνθέσεις με συγκεκριμένες πόζες και ενέργειες, σενάρια που είναι συχνά δύσκολο να επιτευχθούν μέσω συμβατικών μεθόδων άμεσης μηχανικής.

Σε αντίθεση με άλλα μοντέλα LoRA AI που εστιάζουν στο στυλ ή τα χαρακτηριστικά, τα μοντέλα Pose LoRA AI δίνουν προτεραιότητα στην άρθρωση πόζες χαρακτήρων. Για παράδειγμα, όταν εφαρμόζεται σε έναν ανθρωποειδές χαρακτήρα, ένα μοντέλο Pose LoRA AI θα δημιουργήσει μια ποικιλία στάσεων όπως τρέξιμο, άλμα ή κάθισμα, διατηρώντας παράλληλα τα εγγενή χαρακτηριστικά, τα ρούχα και το στυλ του χαρακτήρα.

Τα μοντέλα Pose LoRA AI προσφέρουν στους χρήστες μεγαλύτερο έλεγχο στις σκηνές που δημιουργούνται χωρίς την ανάγκη περίπλοκων λύσεων όπως το ControlNet. Αξιοποιώντας αυτά τα μοντέλα, οι χρήστες μπορούν να εμφυσήσουν τις δημιουργίες τους με δυναμισμό και ίντριγκα μέσω απλών τροποποιήσεων στην αρχική προτροπή.

Στυλ ρούχων με μοντέλα LoRA AI

Ένα άλλο απαραίτητο εργαλείο στο οπλοστάσιο των μοντέλων LoRA AI είναι τα ρούχα LoRA. Αυτό το εξειδικευμένο μοντέλο είναι

σχεδιασμένο για να αλλάζει την ενδυμασία και τα αξεσουάρ των χαρακτήρων απρόσκοπτα.

Με το Clothing LoRA AI, οι χρήστες μπορούν να στολίσουν αβίαστα χαρακτήρες με μια πληθώρα ενδυμάτων, που κυμαίνονται από σύγχρονα έως ιστορικά στυλ.

Ένα από τα αξιοσημείωτα πλεονεκτήματα των μοντέλων LoRA AI ενδυμάτων είναι η καθολικότητά τους—μπορούν να εφαρμοστούν σε οποιονδήποτε χαρακτήρα, επιτρέποντας στους χρήστες να πειραματιστούν με μια ποικιλία στυλ και σχεδίων χρησιμοποιώντας ένα μόνο μοντέλο. Για παράδειγμα, οι χρήστες μπορούν εύκολα να δημιουργήσουν σκηνές με χαρακτήρες στολισμένους με παραδοσιακή ινδική ενδυμασία, εφαρμόζοντας ένα επιλεγμένο μοντέλο ρούχων, επιτυγχάνοντας έτσι μια στιγμιαία πολιτισμική αισθητική μεταμόρφωση.

Σχεδιασμός αντικειμένων με μοντέλα LoRA AI

Το εύρος των αντικειμένων που μπορούν να δημιουργηθούν με αυτά τα μοντέλα εξαρτάται από το συγκεκριμένο μοντέλο που χρησιμοποιείται και την προτροπή που παρέχεται από τον χρήστη. Μοντέλα Object LoRA AI

επεκτείνονται πέρα ​​από απτά αντικείμενα για να περικλείουν πιο αφηρημένα στοιχεία

, όπως στοιχεία διεπαφής χρήστη (UI) για παιχνίδια ή ιστότοπους. Αυτή η ευελιξία αποδεικνύεται ανεκτίμητη για τη δημιουργία συνεκτικών οπτικών εμπειριών σε διαφορετικά έργα.

Τα μοντέλα Object LoRA AI χρησιμεύουν ως απαραίτητα εργαλεία για καλλιτέχνες, προγραμματιστές παιχνιδιών, σχεδιαστές ιστοσελίδων και άλλους δημιουργικούς επαγγελματίες που επιδιώκουν να δημιουργήσουν αποτελεσματικά ειδικά σχεδιασμένα στοιχεία. Η δυνατότητα παραγωγής αντικειμένων με σχέδια κατά παραγγελία δίνει στους χρήστες τη δυνατότητα να εξερευνήσουν και να πειραματιστούν με διάφορες οπτικές έννοιες μέχρι να βρουν την τέλεια εφαρμογή για τα έργα τους.

Εύρεση μοντέλων LoRA

Τα μοντέλα LoRA, γνωστά για την ελαφριά φύση και την ευελιξία τους, μπορούν να βρεθούν εύκολα σε πολλά αποθετήρια ανοιχτού κώδικα, όπως το Civitai και το Hugging Face. Προσβάσιμα σε όλους, αυτά τα μοντέλα προσφέρουν μια πληθώρα δυνατοτήτων και μπορούν να αποκτηθούν αβίαστα με μερικά απλά βήματα. Ένα από τα ξεχωριστά χαρακτηριστικά των μοντέλων LoRA είναι το συμπαγές τους μέγεθος, που συχνά δεν ξεπερνά τα λίγα megabyte, γεγονός που τα καθιστά εξαιρετικά διαχειρίσιμα και προσαρμόσιμα σε διάφορες εφαρμογές.

Εγκατάσταση μοντέλων LoRA

Με την επιλογή των επιθυμητών μοντέλων LoRA για χρήση, το επόμενο βήμα περιλαμβάνει την εγκατάστασή τους στον κατάλληλο κατάλογο. Η διαδικασία μπορεί να διαφέρει ανάλογα με τη συγκεκριμένη ρύθμιση. Ενώ αυτός ο οδηγός εστιάζει στην ενσωμάτωση μοντέλων LoRA με το Automatic1111 webUI, συνιστάται να αναζητήσετε οδηγίες για συγκεκριμένες πλατφόρμες για απρόσκοπτη ενσωμάτωση.

Πώς να ενσωματώσετε ένα μοντέλο LoRA στο Automatic1111;

Πριν ενσωματώσετε τα μοντέλα που έχετε επιλέξει στο Automatic1111 webUI, είναι σημαντικό να εγκαταστήσετε την ίδια την επέκταση LoRA. Ανεξάρτητα από την πλατφόρμα που χρησιμοποιείται για τη δημιουργία εικόνων, η εγκατάσταση της επέκτασης είναι απαραίτητη προϋπόθεση. Ακολουθεί ένας οδηγός βήμα προς βήμα για την εγκατάσταση της επέκτασης για το Automatic1111:

• Εκκινήστε τη διεπαφή ιστού Automatic1111.
• Πλοηγηθείτε στο “
  
  Επεκτάσεις
  
  καρτέλα ” και επιλέξτε “
  
  Εγκατάσταση από τη διεύθυνση URL
  
  ” από τις διαθέσιμες επιλογές.
• Επικολλήστε τον ακόλουθο σύνδεσμο στο πεδίο εισαγωγής “URL for extension’s git repository”:
  
  https://github.com/kohya-ss/sd-webui-additional-networks.git
  
• Κάνε κλικ στο “
  
  Εγκαθιστώ
  
  κουμπί ” για να ξεκινήσει η διαδικασία εγκατάστασης.
• Μετάβαση στο «
  
  Εγκατεστημένο
  
  καρτέλα ” και επιλέξτε “
  
  Εφαρμογή και επανεκκίνηση διεπαφής χρήστη
  
  », επιτρέποντας στο Automatic1111 web UI την επανεκκίνηση.

Ακολουθώντας αυτά τα βήματα, θα παρατηρήσετε νέους υποφακέλους στον κατάλογο “μοντέλα” σας, που προορίζονται για την αποθήκευση μοντέλων LoRA. Ωστόσο, είναι απαραίτητη η διαμόρφωση αυτού του φακέλου ώστε να επιτρέπει στο Automatic1111 web UI να έχει πρόσβαση σε αυτόν.

• Ανοιξε το “
  
  Ρυθμίσεις
  
  » καρτέλα και μεταβείτε στην ενότητα «Πρόσθετα δίκτυα».
• Εντοπίστε το “
  
  Επιπλέον διαδρομές για σάρωση για μοντέλα LoRA
  
  πεδίο εισαγωγής.
• Επικολλήστε τη σωστή διαδρομή φακέλου, που συνήθως βρίσκεται στο “
  
  stable-diffusion-webui/models/Lora
  
  ” Ευρετήριο.
• Κάντε κλικ στο “
  
  Εφαρμογή ρυθμίσεων
  
  ” για να οριστικοποιήσετε τη διαμόρφωση.

Ενώ η επέκταση LoRA είναι τώρα εγκατεστημένη, απαιτούνται πρόσθετα βήματα για την έναρξη της δημιουργίας εικόνας. Πρέπει να εγκαταστήσετε τα πραγματικά μοντέλα LoRA στον καθορισμένο φάκελο.

Το Tensor Art σάς επιτρέπει να δημιουργείτε λεπτομερείς εικόνες με τη σταθερή διάχυση

Χρησιμοποιώντας τα μοντέλα LoRA στο Automatic1111

Μόλις εγκατασταθεί το προτιμώμενο μοντέλο LoRA, μπορείτε να ξεκινήσετε τη δημιουργία εικόνων με ευκολία. Ακολουθεί ένας οδηγός για τη μόχλευση των μοντέλων LoRA εντός του Automatic1111 web UI:

• Εκκινήστε το Automatic1111 web UI και επιλέξτε το επιθυμητό μοντέλο σημείου ελέγχου.
• Βεβαιωθείτε ότι έχετε συμπεριλάβει τη λέξη ενεργοποίησης του LoRA, εάν υπάρχει, στην προτροπή σας. Αυτή η λέξη συνήθως παρέχεται στην περιγραφή του μοντέλου ή κάτω από την παράμετρο “Εκκίνηση Λέξεις” στο Civitai.
• Σύμφωνα με το “
  
  Παράγω
  
  κουμπί “, κάντε κλικ στο “
  
  Πρόσθετα Δίκτυα
  
  εικονίδιο ” και μεταβείτε στο “
  
  Λόρα
  
  καρτέλα “.
• Επιλέξτε το επιθυμητό μοντέλο LoRA για να το εισαγάγετε στην προτροπή σας.
• Προσαρμόστε το βάρος του LoRA εάν είναι απαραίτητο, τροποποιώντας την προεπιλεγμένη τιμή σύμφωνα με τις απαιτήσεις του μοντέλου.
• Διαμορφώστε τις ρυθμίσεις παραγωγής ανάλογα.
• Κάντε κλικ στο “
  
  Παράγω
  
  κουμπί ” για να ξεκινήσει η διαδικασία δημιουργίας εικόνας.

Μετά την ολοκλήρωση, θα παρατηρήσετε την εφαρμογή του μοντέλου LoRA στην εικόνα που δημιουργείτε, ενισχύοντας την ιδιαιτερότητα και τη μοναδικότητα των εννοιών που

απε

ικονίζονται. Η επένδυση χρόνου και προσπάθειας στη διαμόρφωση των μοντέλων LoRA αποφέρει αξιοσημείωτα αποτελέσματα, αυξάνοντας τις δημιουργικές δυνατότητες στα έργα σας.

Πιστώσεις εικόνας:

Κερέμ Γκιουλέν/Μέσα ταξίδι