Disneyov model AI generuje animované sekvencie zo scenárov

Disneyov model AI generuje animované sekvencie zo scenárov

Realisticky povedané, skutočnosť, že AI dokáže vytvárať originálne klipy z jedného alebo viacerých kúskov textu, nie je v technologickom svete seizmickou novinkou. Minulý rok výskumníci podrobne opísali, ako systém využíva neurónové siete - vrstvy matematických funkcií modelovaných podľa biologických neurónových sietí (neurónov) - na vytváranie útržkov informácií. Video má dĺžku 32 snímok a veľkosť 64 × 64 pixelov z mnohých evokujúcich popisov, napr. ako „hrať futbal na trávniku“. Podľa nového článku zverejneného na Arxiv.org sa však vedcom z Disney Research a Rutgers podarilo posunúť túto myšlienku o krok ďalej pomocou modelu umelej inteligencie s krížovými slovami. Od začiatku do konca je možné vytvoriť hrubý dej ako aj video popisy textov zo scenárov. Konkrétne, vedcov model prevodu textu na animáciu pomáha vytvárať animácie bez potreby anotačných údajov – predbežný krok, ktorý sa používa na poskytnutie popisného vstupného textu pre aktivity.

„Automatické generovanie animácií z textu v prirodzenom jazyku je veľmi užitočná technológia, ktorú možno použiť v mnohých oblastiach, ako je písanie filmových scenárov alebo vytváranie inštruktážnych videí. Tieto systémy AI budú obzvlášť cenné, keď sa použijú na skriptovanie, pretože umožnia rýchlejšie opakovanie, prototypovanie a overenie konceptu. V tomto výskume sme úspešne vyvinuli systém prevodu textu na animáciu, ktorý dokáže uspokojivo zvládnuť zložité vety. Účelom tohto systému AI nie je úplne nahradiť scenáristov alebo scenáristov, ale vytvoriť AI asistenta schopného efektívne podporovať a uľahčovať prácu scenáristov, zaujímavejšou,“ zdieľal výskumný tím.

Ako vedci vysvetlili, preklad textu do animácie nie je jednoduchá úloha. V skutočnosti vety (vstupné údaje) aj animácie (výstupné údaje) nemajú pevnú štruktúru. To je tiež dôvod, prečo väčšina súčasných nástrojov na prevod textu na video nedokáže zvládnuť zložité vzorce viet. Aby sa riešili obmedzenia súčasných systémov, výskumný tím vytvoril modulárnu neurónovú sieť, ktorá obsahuje množstvo komponentov, ako napríklad: Nový modul na analýzu skriptov, ktorý automaticky dynamicky izoluje relevantný text od popisov scén v skripte; modul na spracovanie prirodzeného jazyka, ktorý zjednodušuje zložité vzorce viet pomocou súboru jazykových pravidiel a extrahuje informácie zo zjednodušených viet do preddefinovaných akčných reprezentácií; a animačný modul zodpovedný za konverziu uvedených reprezentácií do viacerých animačných sekvencií.

Disneyov model AI generuje animované sekvencie zo scenárov

Podľa vedcov tento zjednodušený prístup výrazne uľahčuje extrahovanie kľúčových informácií o skriptoch a ich systém bude schopný automaticky identifikovať, kedy má časť kódu konkrétnu syntaktickú štruktúru, a potom ju rozložiť a poskladať do jednoduchších viet a potom rekurzívne spracovávať, kým nie je možné ďalšie zjednodušenie. Ďalší „koordinačný krok“ bude aplikovaný na vety, ktoré majú rovnaký syntaktický vzťah a zároveň plnia rovnakú funkčnú úlohu. A nakoniec, simulátor slovnej zásoby, ktorý zodpovedá akciám opísaným vo vetách, bude zjednodušený pomocou 52 rôznych animácií (ktoré možno rozšíriť na 92 ​​animácií pomocou slovníka synoným).význam) v preddefinovanej knižnici.

Systém s názvom Cardinal potom tieto animácie používa ako vstup pre akcie a vytvára predvizualizácie v Unreal – populárnom engine videohier vyvinutom spoločnosťou Epic Games. Na základe preddefinovanej knižnice animácií sa predinštalujú objekty a tiež modely, ktoré môže použiť na vytváranie postáv, čo pomáha vytvárať 3D animačné videá, ktoré presne zodpovedajú spracovanému scenáru.

Disneyov model AI generuje animované sekvencie zo scenárov

Na trénovanie tohto špičkového systému začali výskumníci zostavovať databázu popisov scén zloženú z 996 scenárov, čerpajúcich z viac ako 1000 skriptov prevzatých z voľne dostupných zdrojov vrátane IMSDb, SimplyScripts a ScriptORama5. Celkovo tento korpus obsahuje 525 708 popisov obsahujúcich 1 402 864 viet, z ktorých 920 817 (viac ako 40 %) má aspoň jedno sloveso opisujúce dej.

V kvalitatívnom experimente vedci požiadali 22 účastníkov, aby ohodnotili 20 systémovo generovaných animácií na 5-bodovej škále (napr. je zobrazené video vhodne animované vzhľadom na textový obsah? text? alebo koľko textových informácií bolo popísaných vo videu a koľko informácií vo videu bolo spomenutých v texte), 68 % účastníkov uviedlo, že systém vytvoril efektívne animácie.reálna hodnota zo vstupných scenárov – nie obzvlášť vysoká, ale veľmi chvályhodná.

To ukazuje, že toto nie je skutočne dokonalý systém. V skutočnosti zoznam akcií a ich objektov nie je vyčerpávajúci a niekedy proces lexikálneho zjednodušenia nedokáže úspešne namapovať zložité slovesá na podobné animátory, alebo je možné vytvoriť len niekoľko jednoduchých viet pre sloveso, ktoré má v pôvodnej vete viacero predmetov. . Je to však ešte mladá štúdia a takéto obmedzenia sú úplne pochopiteľné. Vedci majú v úmysle v blízkej budúcnosti odstrániť vyššie uvedené nedostatky.

Disneyov model AI generuje animované sekvencie zo scenárov

„Interné a externé hodnotenia ukázali primeranú výkonnosť tohto systému a chceli sme využiť diskurzné informácie skúmaním postupnosti akcií opísaných v textových fragmentoch. To tiež pomôže vyriešiť nejasnosti v texte týkajúce sa akcií. Okrem toho môže byť náš systém použitý na generovanie údajov potrebných na trénovanie podobných end-to-end neurónových systémov,“ povedal tím.


Systém založený na AI je navrhnutý na odhaľovanie pytliakov

Systém založený na AI je navrhnutý na odhaľovanie pytliakov

Poľovníci často lovia v noci, a preto sa na ich detekciu používajú infračervené kamery namontované na dronoch. Problém je, že keď pytliak aj zviera vyžarujú teplo, môže byť ťažké ich presne identifikovať.

5 bezplatných chatbotov AI pre váš web

5 bezplatných chatbotov AI pre váš web

Predstavte si, že odpovedáte na otázky zákazníkov, aj keď spíte. Tu je to, čo môžu bezplatné chatboty AI urobiť pre váš web.

Barmani, pozor: Tento robot dokáže namiešať kokteil už za 1 minútu

Barmani, pozor: Tento robot dokáže namiešať kokteil už za 1 minútu

V dôsledku starnutia a klesajúcej populácie Japonska v krajine chýba značný počet mladých pracovníkov, najmä v sektore služieb.

Character.AI hľadá financie na zvýšenie hodnoty spoločnosti na viac ako 5 miliárd dolárov

Character.AI hľadá financie na zvýšenie hodnoty spoločnosti na viac ako 5 miliárd dolárov

Character.AI, startup zameraný na generatívnu AI a technológiu chatbotov, údajne rokuje o získaní financií, ktoré by mohli oceniť spoločnosť na viac ako 5 miliárd dolárov.

AI pomáha objasniť polemiku o autorovi slávnej takmer 400 rokov starej hry

AI pomáha objasniť polemiku o autorovi slávnej takmer 400 rokov starej hry

Henry VIII je jednou z najklasickejších hier v histórii anglickej literatúry, ktorú napísali dvaja slávni autori William Shakespeare a John Fletcher v roku 1623.

Nainštalujte AI na mikrovlnnú rúru, aby sa váš imaginárny priateľ stal skutočnosťou, ale to, čo sa vytvorí, je zabijácky stroj

Nainštalujte AI na mikrovlnnú rúru, aby sa váš imaginárny priateľ stal skutočnosťou, ale to, čo sa vytvorí, je zabijácky stroj

YouTuber a inžinier z Brazílie menom Lucas Rizzotto sa nedávno na Twitteri podelili o príbeh, ako si uvedomil svojho imaginárneho priateľa – mikrovlnnú rúru v dome, používa AI, no získal „jeden z najdesivejších zážitkov“ svojho života.

Microsoft Research vyvíja technológiu vzdialeného monitorovania zdravia iba pomocou kamier smartfónov

Microsoft Research vyvíja technológiu vzdialeného monitorovania zdravia iba pomocou kamier smartfónov

Výskumníci zistili, že webové kamery a kamery smartfónov možno kombinovať so špecializovanými algoritmami AI, aby fungovali ako mimoriadne efektívne systémy vzdialeného monitorovania osobného zdravia.

Vedci používajú AI, aby ukázali, čo robí šťastné manželstvo

Vedci používajú AI, aby ukázali, čo robí šťastné manželstvo

Zdá sa, že moderný život má čoraz negatívny vplyv na medziľudské vzťahy.

Umelá inteligencia Google dokáže navrhnúť čipy rýchlejšie a lepšie ako ľudia

Umelá inteligencia Google dokáže navrhnúť čipy rýchlejšie a lepšie ako ľudia

Pomocou komplexnej architektúry neurónovej siete založenej na okrajových grafoch dokáže model umelej inteligencie Google Brain navrhnúť pôdorysy za zlomok času, ktorý zaberie človeku.

Najlepšie nástroje Pythonu pre strojové učenie a vedu o údajoch

Najlepšie nástroje Pythonu pre strojové učenie a vedu o údajoch

Python má veľa veľkých knižníc a rámcov, ktoré sú vhodné na písanie kódu a vývoj informatiky. Docs.NeoTechSystems vás pozýva na diskusiu o niektorých užitočných nástrojoch Pythonu pre aplikácie Machine Learning a Data Science.