A Samsung cambridge-i AI-kutatóközpontjának kutatói az Imperial College London számítástechnikai szakértőivel együtt egy projektben működtek közre egy ellenséges hálózat létrehozására. A generative adversarial network (GAN), amely képes animálni és tökéletesen szinkronizálni a 2D képek arcmozgását. emberi hangokat tartalmazó hangfelvételekkel.
Az ajak- és szájmozgások szinkronizálása mellett ez a mesterséges intelligencia modell a szemöldökmozgásokat és a szempislogást is be tudja állítani, hogy az általa létrehozott arcok természetesebbnek tűnjenek. A legfontosabb feladat azonban továbbra is az ajkak és a száj szinkronizálása lesz a kibocsátott hanggal. Manapság ezt a lépést gyakran utólagos szerkesztés során, vagy számítógépes grafika segítségével hajtják végre.
Samsung AI Center
A kutatók úgy vélik, hogy a modell a legtermészetesebb módon használható automatikusan beszélő arcok létrehozására rajzfilmfigurák számára, javítva a láthatóságot alacsony sávszélességű videohívásoknál, alacsony sávszélességű, jobb szájszinkronizálást vagy külföldi filmek szinkronizálását.
A YouTube-on megosztott kutatási példák közül a leglenyűgözőbb az a videó, amely a hírhedt orosz misztikust, Raszputyint (1869-1919) ábrázolja, amint az énekesnő Halo artist Beyoncé című dalát "előadja". Néhány más videó is nagyon figyelemre méltó, mint például a néhai rapperek, 2Pac és Biggie, akik feldolgozásokat énekelnek műveikből, vagy a nagy tudós, Albert Einstein, aki idézetet olvas a tudomány közös nyelvéről.
A sötét szerzetes Raszputyin a Halo című dalt adja elő
Ezen kívül sok más érdekes videópélda is található, ezeket a következő címen tekintheti meg: https://sites.google.com/view/facial-animation/home
A fenti kutatás híre mindössze egy hónappal azután érkezett, hogy egy másik moszkvai Samsung AI-kutatóközpont bemutatta azt a projektet, amely mesterséges intelligencia felhasználásával, modellek használata nélkül 2D animációkat készít. Ismeretes, hogy ezzel a technológiával meggyőzőbb digitális avatarok vagy mélyhamis képek készíthetők.
A GAN-hálózatok digitális médiák, például képek és videók meghamisítására való felhasználása az elmúlt években világszerte figyelemre méltó tendenciává vált a mesterséges intelligencia területén. Számos kifinomult GAN-modellt vezettek be a mesterséges intelligencia konferenciák, például az ICML, a CVPR és sok más jelentős esemény keretében az év elejétől egészen mostanáig.
Raszputyin és hasonló énekesnő, Beyoncé
Közülük néhány figyelemre méltó, rendkívül nagy alkalmazási potenciállal rendelkező modell között szerepel az Nvidia GauGAN, amely az MS Paint-stílusú firkákat művészi "remekművekké" tudja változtatni. Vagy a CollaGEN, a koreai kutatók által kidolgozott módszer az egyes képek hiányzó adatmennyiségének pótlására.
Bár a mélyhamisítási eszközök sok különböző területen való hozzájárulásának lehetősége óriási, az általuk jelentett potenciális kockázatok fejfájást is okoznak a tudósoknak.
Valójában ezt a technológiát gyakran használják ki híres emberek (színészek, énekesek, modellek...) megszemélyesítésére hamis videókban vagy ami még rosszabb, pornófilmekben. Látható, hogy ez a technológia erős sokkot keltett, mert sokan azt hitték, hogy igaz. Ez nemcsak a meghamisított személy becsületét és méltóságát sérti, hanem a közvéleményt is felkavarja, és számos vitát vagy még súlyosabb konfliktust okoz.
A Deepfake számos lehetséges kockázatot rejt magában
Talán a jövőben a tudósoknak és az állami irányító ügynökségeknek össze kell fogniuk, hogy konvenciókat találjanak ennek a csodálatos technológiának a megfelelő és biztonságos használatára a közösség számára.