Spoločnosť Microsoft oznámila DeepSpeed, novú knižnicu hlbokého učenia, ktorá môže podporovať školenie modelov AI v super veľkom meradle

Spoločnosť Microsoft oznámila DeepSpeed, novú knižnicu hlbokého učenia, ktorá môže podporovať školenie modelov AI v super veľkom meradle

Microsoft Research nedávno spôsobil rozruch vo svete výskumu umelej inteligencie (AI), keď oznámil úspešný vývoj DeepSpeed, knižnice na optimalizáciu hlbokého učenia, ktorú možno použiť na trénovanie obrovských modelov AI s rozsahom až 100 miliárd parametrov.

V tréningu AI platí, že čím väčšie modely prirodzeného jazyka máte, tým vyššia bude presnosť. Tréning veľkých modelov prirodzeného jazyka však zaberie veľa času a náklady s tým spojené nie sú malé. DeepSpeed ​​​​sa zrodila, aby prekonala všetky vyššie uvedené ťažkosti: zlepšila rýchlosť, náklady, rozsah tréningu a použiteľnosť.

Okrem toho Microsoft tiež spomenul, že DeepSpeed ​​​​zahŕňa aj ZeRO (Zero Redundancy Optimizer), techniku ​​paralelnej optimalizácie, ktorá pomáha minimalizovať množstvo zdrojov potrebných pre modely a zároveň pomáha zvyšovať počet parametrov. Čísla je možné trénovať. Pomocou kombinácie DeepSpeed ​​​​a ZeRO boli výskumníci spoločnosti Microsoft schopní úspešne vyvinúť nový model Turing Natural Language Generation (Turing-NLG) – najväčší jazykový model súčasnosti so 17 miliardami parametrov.

Spoločnosť Microsoft oznámila DeepSpeed, novú knižnicu hlbokého učenia, ktorá môže podporovať školenie modelov AI v super veľkom meradle

Niektoré výhody DeepSpeed:

  • Mierka: Súčasné veľké, pokročilé modely AI ako OpenAI GPT-2, NVIDIA Megatron-LM a Google T5 majú rozsah 1,5 miliardy, 8,3 miliardy a 11 miliárd parametrov. ZeRO stupeň 1 v DeepSpeed ​​​​môže poskytnúť systémovú podporu pre spustenie modelov s až 100 miliardami parametrov, čo je 10-krát viac ako najväčší model Google.
  • Rýchlosť: Zaznamenané zvýšenie priepustnosti sa bude líšiť v závislosti od konfigurácie hardvéru. Na klastroch GPU NVIDIA s pripojením s nízkou šírkou pásma (bez NVIDIA NVLink alebo Infiniband) dosahuje DeepSpeed ​​3,75-násobné zlepšenie priepustnosti v porovnaní s použitím samotného Megatron-LM pre štandardný model GPT-2 s 1,5 miliardami parametrov. Na klastroch NVIDIA DGX-2 s vysokorýchlostným pripojením je pre modely s 20 až 80 miliardami parametrov DeepSpeed ​​3 až 5-krát rýchlejší.
  • Náklady: Vďaka zlepšeniu rýchlosti sa výrazne optimalizujú aj náklady na školenia. Napríklad na trénovanie modelu s 20 miliardami parametrov vyžaduje DeepSpeed ​​3-krát menej zdrojov ako zvyčajne.
  • Použiteľnosť: Na to, aby mohli súčasné modely prejsť na používanie DeepSpeed ​​​​a ZeRO, je potrebných len niekoľko menších zmien kódu. DeepSpeed ​​nevyžaduje redizajn kódu ani refaktoring modelu.

Spoločnosť Microsoft využíva otvorené zdroje DeepSpeed ​​​​ aj ZeRO na GitHub , pozrite si prosím.


Systém založený na AI je navrhnutý na odhaľovanie pytliakov

Systém založený na AI je navrhnutý na odhaľovanie pytliakov

Poľovníci často lovia v noci, a preto sa na ich detekciu používajú infračervené kamery namontované na dronoch. Problém je, že keď pytliak aj zviera vyžarujú teplo, môže byť ťažké ich presne identifikovať.

5 bezplatných chatbotov AI pre váš web

5 bezplatných chatbotov AI pre váš web

Predstavte si, že odpovedáte na otázky zákazníkov, aj keď spíte. Tu je to, čo môžu bezplatné chatboty AI urobiť pre váš web.

Barmani, pozor: Tento robot dokáže namiešať kokteil už za 1 minútu

Barmani, pozor: Tento robot dokáže namiešať kokteil už za 1 minútu

V dôsledku starnutia a klesajúcej populácie Japonska v krajine chýba značný počet mladých pracovníkov, najmä v sektore služieb.

Character.AI hľadá financie na zvýšenie hodnoty spoločnosti na viac ako 5 miliárd dolárov

Character.AI hľadá financie na zvýšenie hodnoty spoločnosti na viac ako 5 miliárd dolárov

Character.AI, startup zameraný na generatívnu AI a technológiu chatbotov, údajne rokuje o získaní financií, ktoré by mohli oceniť spoločnosť na viac ako 5 miliárd dolárov.

AI pomáha objasniť polemiku o autorovi slávnej takmer 400 rokov starej hry

AI pomáha objasniť polemiku o autorovi slávnej takmer 400 rokov starej hry

Henry VIII je jednou z najklasickejších hier v histórii anglickej literatúry, ktorú napísali dvaja slávni autori William Shakespeare a John Fletcher v roku 1623.

Nainštalujte AI na mikrovlnnú rúru, aby sa váš imaginárny priateľ stal skutočnosťou, ale to, čo sa vytvorí, je zabijácky stroj

Nainštalujte AI na mikrovlnnú rúru, aby sa váš imaginárny priateľ stal skutočnosťou, ale to, čo sa vytvorí, je zabijácky stroj

YouTuber a inžinier z Brazílie menom Lucas Rizzotto sa nedávno na Twitteri podelili o príbeh, ako si uvedomil svojho imaginárneho priateľa – mikrovlnnú rúru v dome, používa AI, no získal „jeden z najdesivejších zážitkov“ svojho života.

Microsoft Research vyvíja technológiu vzdialeného monitorovania zdravia iba pomocou kamier smartfónov

Microsoft Research vyvíja technológiu vzdialeného monitorovania zdravia iba pomocou kamier smartfónov

Výskumníci zistili, že webové kamery a kamery smartfónov možno kombinovať so špecializovanými algoritmami AI, aby fungovali ako mimoriadne efektívne systémy vzdialeného monitorovania osobného zdravia.

Vedci používajú AI, aby ukázali, čo robí šťastné manželstvo

Vedci používajú AI, aby ukázali, čo robí šťastné manželstvo

Zdá sa, že moderný život má čoraz negatívny vplyv na medziľudské vzťahy.

Umelá inteligencia Google dokáže navrhnúť čipy rýchlejšie a lepšie ako ľudia

Umelá inteligencia Google dokáže navrhnúť čipy rýchlejšie a lepšie ako ľudia

Pomocou komplexnej architektúry neurónovej siete založenej na okrajových grafoch dokáže model umelej inteligencie Google Brain navrhnúť pôdorysy za zlomok času, ktorý zaberie človeku.

Najlepšie nástroje Pythonu pre strojové učenie a vedu o údajoch

Najlepšie nástroje Pythonu pre strojové učenie a vedu o údajoch

Python má veľa veľkých knižníc a rámcov, ktoré sú vhodné na písanie kódu a vývoj informatiky. Docs.NeoTechSystems vás pozýva na diskusiu o niektorých užitočných nástrojoch Pythonu pre aplikácie Machine Learning a Data Science.