Ta objava bo pojasnila naslednjo vsebino:
- Kaj je OpenAI's Jukebox?
- Kako deluje OpenAI's Jukebox?
- Kako uporabljati OpenAI Jukebox?
- Značilnosti Jukeboxa
Kaj je OpenAI's Jukebox?
Jukebox je sistem za globoko učenje, ki lahko ustvari glasbo iz nič, glede na nekaj vnosa, kot so besedilo, žanr, izvajalec ali razpoloženje. Jukebox uporablja velik nabor podatkov z več kot 1,2 milijona pesmi iz različnih virov, kot so Spotify, YouTube in datoteke MIDI, da se nauči vzorcev in značilnosti glasbe.
Kako deluje OpenAI's Jukebox?
Jukebox je sestavljen iz treh glavnih komponent: kodirnika VQ-VAE, dekoderja transformatorja in upsemplerja.
kodirnik VQ-VAE
Kodirnik VQ-VAE je odgovoren za stiskanje surovega zvoka v nižjedimenzionalno predstavitev, ki ohranja bistvene informacije o glasbi. Kodirnik uporablja tehniko, imenovano vektorska kvantizacija (VQ), da preslika vsak segment zvoka v enega od 2048 žetonov.
Transformatorski dekoder
Ti žetoni se nato vnesejo v transformatorski dekoder, ki je nevronska mreža, ki lahko ustvari zaporedja žetonov na podlagi vnosa in naučenega glasbenega znanja. Dekoder lahko ustvari žetone, ki ustrezajo besedilu, melodiji, harmoniji, ritmu, tembru in drugim glasbenim vidikom.
Upsampler
Upsampler je zadnja komponenta, ki pretvori ustvarjene žetone nazaj v visokokakovosten zvok. Upsampler uporablja drug VQ-VAE za rekonstrukcijo zvoka iz žetonov, medtem ko dodaja podrobnosti in nianse, ki manjkajo v nižji dimenzionalni predstavitvi. Nadvzorčevalnik lahko uporabi tudi dodatne informacije, kot so vdelave zvrsti ali izvajalca, da natančno prilagodi izhod in naredi zvok bolj realističen in raznolik.
Kako uporabljati OpenAI Jukebox?
Če želite uporabljati Jukebox, morate imeti dostop do zmogljive GPE ali storitve računalništva v oblaku, ki lahko izvaja kodo Jukebox. Skript in navodila za namestitev in zagon Jukeboxa najdete na GitHub . Nekaj primerov pesmi, ki jih je ustvaril Jukebox, lahko najdete tudi na SoundCloud spodaj:
Če želite ustvariti lastne pesmi z Jukeboxom, morate zagotoviti nekaj vhodnih parametrov, kot so besedilo, žanr, izvajalec ali razpoloženje. Določite lahko tudi temperaturo vzorčenja, ki nadzoruje, kako naključen in ustvarjalen bo rezultat.
Višja temperatura pomeni večjo raznolikost in novost, medtem ko nižja temperatura pomeni večjo skladnost in podobnost z vnosom. Izberete lahko tudi raven kakovosti in zahtevnosti izpisa, in sicer od 5b (najvišja) do 1b (najnižja). Višja raven pomeni več zvestobe in podrobnosti, a tudi več računalnega časa in virov.
Ko nastavite vhodne parametre, lahko zaženete kodo Jukebox in počakate, da ustvari vašo pesem. Odvisno od vaših nastavitev in strojne opreme lahko to traja od minut do ur ali celo dni. Prav tako spremljajte napredek in med potjo poslušajte vmesne vzorce. Ko je ustvarjanje končano, lahko svojo pesem prenesete kot datoteko MP3 in uživate v svoji glasbeni mojstrovini.
Značilnosti Jukeboxa
Jukebox se lahko uporablja za različne namene, kot so:
- Ustvarjanje izvirne glasbe za osebno ali komercialno uporabo
- Remiksiranje ali sempliranje obstoječih pesmi
- Ustvarjanje glasbe za določena razpoloženja, teme ali priložnosti
- Raziskovanje različnih zvrsti in stilov glasbe
- Zabavajte se in bodite ustvarjalni
Zaključek
Jukebox je neverjetno orodje, ki vam lahko pomaga ustvariti izvirno in raznoliko glasbo z minimalnim trudom. Uporabite ga lahko za eksperimentiranje z različnimi žanri in slogi, remiksiranje obstoječih pesmi ali izvajalcev ali izražanje lastnih čustev in idej skozi glasbo. Jukebox pa ni popoln; včasih lahko povzroči napake, napake ali nesmiselne rezultate.