A Facebook megalkotta az AI-t, amely 100 különböző nyelvet képes lefordítani anélkül, hogy először angolul kellene átmennie

A Facebook nemrég nyílt forráskódú egy mesterséges intelligencia modellt, amely lenyűgöző fordítási képességekkel rendelkezik, akár 100 nyelven anélkül, hogy közbenső lépésként először le kellene fordítani őket angolra, ami gyakran megtalálható a mai mesterséges intelligencián alapuló fordítóeszközökön.

Ezt az AI-modellt M2M-100-nak hívják, és jelenleg csak a kutatási projekt szintjén van. A fejlesztési szakaszok befejeztével azonban (a közeljövőben) teljesen megoldható a Facebook-felhasználók bejegyzéseinek és megjegyzéseinek lefordítása – számos nyelvről, a világ különböző nyelveire. A legfrissebb statisztikák szerint jelenleg a Facebook-felhasználók több mint 2/3-a nem használ angol nyelvű kommunikációt ezen a közösségi platformon.

„AI-kutatóink sok éven át keményen dolgoztak azon, hogy egyetlen általános modellt építsenek fel és fejlesszenek ki, amely különféle helyzetekben és feladatokban sok nyelvet képes megérteni. Egyetlen modell, amely támogatja az összes nyelvet, nyelvjárást, valamint a folyamatosan frissített és optimalizált fordításokat, segít abban, hogy jobb élményt nyújtsunk több milliárd Facebook-felhasználó számára ” – mondta a kutató. Az AI Facebook Angela Fan a blogpost.al oldalon közzétett bejegyzésében.

Az új AI-modell sokféle fordítást támogat a Facebookon

Az M2M-100 100 különböző nyelvből származó 7,5 milliárd gyakori mondatpárból álló adathalmazra van kiképezve, amelyek mindegyikét az internetről gyűjtötték össze. A Facebook szerint a források mind nyílt forráskódúak, és nyilvános adatokat használnak.

Egy ilyen nagyszabású képzési adatbázis kezeléséhez a Facebook AI kutatói elsősorban a leggyakrabban kért nyelvi fordításokra összpontosítanak, miközben korlátozzák a ritka mondatokat és nyelveket. Ezután 14 különböző csoportba sorolják ezeket a nyelveket, nyelvi, földrajzi és kulturális hasonlóságok alapján. Ez a megközelítés optimálisabbnak tekinthető, mivel a fenti közös jellemzőkkel rendelkező országokban élő emberek többet profitálnak az optimalizált fordításokból egy adott nyelvcsoporton.

A különböző csoportokhoz tartozó nyelvek kis számú hídnyelven keresztül kapcsolódnak össze. Az indiai nyelvcsoport példájában a hindi, a bengáli és a tamil az indoárja nyelvek hídnyelvei. A teljes gyűjtési és kiválasztási folyamat során a kutatók egy 7,5 milliárd párhuzamos mondatból álló adatsort értek el, amely 2200 fordítási iránynak felel meg.

Azon nyelvek esetében, amelyekből hiányoznak a minőségi fordítási adatok, a kutatók a visszafordításnak nevezett módszert alkalmazták szintetikus fordítások létrehozására, amelyek kiegészíthetik a bányászott adatokat.

Összességében ezeknek a technikáknak a kombinációja a világ első olyan többnyelvű gépi fordítási (MMT) modelljét eredményezte, amely 100 nyelv bármelyike ​​között képes fordítani adatokra támaszkodás nélkül. A Facebook közleménye szerint az angol a szabvány.

"Például, ha kínairól franciára fordítanak, a legtöbb jelenlegi többnyelvű fordítási modell angol-központú lesz, a kínai nyelvet angolra és angolról franciára fordítják, mivel az angol képzési adatok a legelérhetőbbek és a legnépszerűbbek. Ezt a motívumot követve modellünk közvetlenül lefordítja a kínai adatokat franciára, hogy biztosítsa a fordítási jelentés maximális megőrzését."

Jelenleg az M2M-100 még nincs beépítve egyetlen termékbe sem, de a tesztek azt mutatják, hogy sokféle fordítást tud támogatni a Facebookon, ahol az emberek továbbra is óránként tesznek közzé tartalmakat, több mint 160 nyelven.