Meta predstavuje Voicebox, model AI, ktorý podporuje spracovanie zvuku pre tvorcov

Po nespočetných fámach spoločnosť Meta konečne oficiálne oznámila svoj model AI najnovšej generácie s názvom Voicebox. Tento model je navrhnutý tak, aby pomohol tvorcom obsahu efektívne zvládnuť úlohy súvisiace s generovaním hlasu, ako je úprava zvuku, vzorkovanie a štylizácia, a to aj bez špeciálneho školenia, čo je možné prostredníctvom údajov v kontexte.

Meta sebaisto potvrdzuje, že tento nový model AI bude „prospešný mnohým ľuďom na celom svete“, a to nielen v oblasti tvorby obsahu. Napríklad pomôcť nevidomým ľuďom počuť textové správy pomocou ich hlasu, ako aj umožniť ľuďom hovoriť cudzími jazykmi vlastným hlasom.

Samotný Voicebox je propagovaný ako schopný vytvárať vysokokvalitné zvukové klipy a upravovať vopred nahrané zvukové klipy, aby sa odstránili nechcené prerušenia, ako sú klaksóny auta, pričom si zachováva rovnaký viacjazyčný obsah a štýl (produkuje reč v šiestich rôznych jazykoch). Plánovaný budúci vývoj modelu Meta zahŕňa poskytovanie prirodzených hlasov pre vizuálnych asistentov alebo postavy v hrách v metaverze.

Meta tiež porovnávala Voicebox s inými modelmi AI so spracovaním zvuku, ktoré sú v súčasnosti na trhu, konkrétne s kľúčovými konkurentmi, ako sú Vall-E a YourTTS. Celkovo je model Meta pokročilý a prekonáva konkurenciu pri porovnaní chybovosti Wordu a podobnosti štýlu.

Voicebox je postavený na Flow Matching. Toto je najnovší neautoregresívny generatívny model Meta, ktorý dokáže spracovať vysoko nedeterministické mapovanie medzi textom a rečou. To umožňuje Voiceboxu učiť sa z mnohých rôznych typov rečových údajov bez toho, aby ich museli starostlivo označovať, čo mu dáva možnosť prístupu k rôznorodejším a rozsiahlejším tréningovým údajom. K dnešnému dňu bol Voicebox vyškolený na viac ako 50 000 hodinách nahrávok reči a prepisov audiokníh v angličtine, francúzštine, španielčine, nemčine, poľštine a portugalčine.

Zatiaľ čo táto technológia by mohla začať novú éru AI v spracovaní zvuku, Meta uznáva, že by mohla predstavovať potenciál pre zneužitie a neúmyselné poškodenie. Výskumný dokument Meta zdieľaný o Voiceboxe obsahuje podrobnosti o tom, ako spoločnosť vybudovala vysoko efektívny klasifikátor, ktorý dokáže rozlíšiť medzi autentickými hlasmi a hlasmi generovanými Voiceboxom.

Meta nesprístupní program AI ​​Voicebox na verejné použitie ani nezverejní zdrojový kód, aspoň zatiaľ.