Η Meta ανακοινώνει νέο AI για ρεαλιστική μουσική και παραγωγή ήχου από κείμενο

Μετα

έχει κυκλοφορήσει

AudioCraft, ένα νέο σύστημα τεχνητής νοημοσύνης ανοιχτού κώδικα που επιτρέπει στους χρήστες να δημιουργούν πρωτότυπη μουσική, ηχητικά εφέ και άλλο ηχητικό περιεχόμενο μέσω μηνυμάτων κειμένου.

Το σύστημα αποτελείται από τρία διαφορετικά μοντέλα τεχνητής νοημοσύνης που εκπαιδεύονται σε χιλιάδες ώρες δεδομένων ήχου. Τα εξαρτήματα περιλαμβάνουν το MusicGen για παραγωγή μουσικής, το AudioGen για τη δημιουργία ηχητικών εφέ και το EnCodec, το οποίο βοηθά στην εκπαίδευση των μοντέλων.

Το MusicGen μπορεί να δημιουργήσει ορχηστρική μουσική διαφόρων ειδών με βάση τα μηνύματα κειμένου που περιγράφουν τη διάθεση, τα όργανα, το ρυθμό και άλλες ιδιότητες. Το AudioGen δημιουργεί ηχητικά εφέ όπως θορύβους ζώων, καιρικές συνθήκες, μηχανικούς ήχους και άλλα από περιγραφές κειμένου.

Το βασικό σημείο είναι το EnCodec, το οποίο μαθαίνει διακριτά διακριτικά ήχου για να δημιουργήσει ένα «σταθερό λεξιλόγιο» για τα μοντέλα. Αυτό απλοποιεί τον σχεδιασμό AI που δημιουργεί ήχου.

Η οικογένεια μοντέλων AudioCraft είναι σε θέση να παράγει ήχο υψηλής ποιότητας με μακροπρόθεσμη συνέπεια και είναι εύχρηστα. Με το AudioCraft, απλοποιούμε τη συνολική σχεδίαση των μοντέλων παραγωγής ήχου σε σύγκριση με προηγούμενες εργασίες στο πεδίο.

Τα μοντέλα θα μπορούσαν να είναι χρήσιμα για τους προγραμματιστές παιχνιδιών για τη δημιουργία ηχητικών εφέ και για τις ομάδες μάρκετινγκ για τη δημιουργία εμπορικών soundtrack ή εφέ.

Ωστόσο, εξακολουθούν να υπάρχουν ερωτήματα σχετικά με τα πνευματικά δικαιώματα και την αποζημίωση, καθώς πολλαπλασιάζεται το περιεχόμενο που δημιουργείται από τεχνητή νοημοσύνη χρησιμοποιώντας εργασία από άλλους.

Μέχρι τώρα, τα περισσότερα μοντέλα περιορίζονταν στην έρευνα, όπως το MusicLM της

Google

. Η

Meta

στοιχηματίζει ότι η εύκολη πρόσβαση σε δημιουργικό ακουστικό AI θα δημιουργήσει νέες μορφές τέχνης και περιπτώσεις χρήσης. Το πλαίσιο και τα μοντέλα είναι διαθέσιμα για μη εμπορικούς ερευνητικούς και εκπαιδευτικούς σκοπούς.

Από την άλλη πλευρά, η Meta συνέχισε να αναπτύσσεται στην τεχνητή νοημοσύνη με αυτό το έργο. Νωρίτερα τον Ιούνιο, η εταιρεία ανακοίνωσε το Voicebox, το οποίο έχει σχεδιαστεί για να βοηθά τους δημιουργούς με την ικανότητά του να εκτελεί εργασίες παραγωγής ομιλίας, όπως επεξεργασία ήχου, δειγματοληψία και στυλιζάρισμα, ακόμα κι αν δεν ήταν ειδικά εκπαιδευμένο για να το κάνει μέσω της εκμάθησης εντός περιβάλλοντος.

Επίσης, αναφέραμε ότι ο τεχνολογικός γίγαντας εργάζεται σε διάφορα ανθρώπινα chatbot που σύντομα θα μπορούν να συνομιλούν με τους χρήστες. Αυτά τα

chatbots

μπορούν να πάρουν πρόσωπα για να προσομοιώσουν συνομιλίες με διαφορετικά άτομα.