Mokslininkai įspėjo dėl galimo generacinių DI modelių kolapso

Paaiškėjo, jų neišvengiamai laukia išsigimimas.

Tyrėjų grupė iš Britanijos ir Kanados išnagrinėjo šią problemą ir arXiv publikavo straipsnį. Jie priėjo prie išvados, kad tokia situacija kelia nerimą dėl generacinio DI ir jo ateities: „Išsiaiškinome, kad apmokymams naudojant modelių sugeneruotą turinį, vėlesnėse modelių kartose atsiras nepataisomų defektų“.

Susitelkę į tikimybių pasiskirstymo problemą generaciniuose „tekstas į tekstą“ ir „atvaizdas į atvaizdą“ modeliuose, autoriai padarė išvadą, kad „mokymasis iš kitų modelių sukurtų duomenų sukelia modelių kolapsą — išsigimimo procesą, kai bėgant laikui modeliai pamirš tikrą duomenų pasiskirstymą. (…) Šis procesas neišvengiamas netgi sudarant praktiškai idealias ilgalaikio mokymosi sąlygas“.

Klaidos modeliuose pamažu kaupsis ir jie realybę pradės suvokti vis neadekvačiau. „Mes nustebome, kai pamatėme, kaip greitai įvyko modelių kolapsas: modeliai gali greitai užmiršti daugumą originalių duomenų, iš kurių mokėsi pačioje pradžioje“, — sakė straipsnio bendraautorius Ilia Shumailov kalbėdamas su Venture Beat.

Kitaip tariant, kai DI mokymosi modelis gauna daugiau DI sugeneruotų duomenų, jis pamažu darosi vis mažiau efektyvus, daugiau klysta, pateikdamas atsakymus ir kurdamas turinį, mažėja jo reakcijų variatyvumas.

Problemą jis iliustravo hipotetiniu scenarijumi, kur modelis buvo apmokytas 100 kačių rinkiniu — dešimties jų kailis buvo mėlynas, devyniasdešimties — geltonas. Modelis supranta, kad geltonos katės pasitaiko dažniau, tačiau taip pat mėlynas kates įsivaizduoja kaip labiau geltonas, ir paprašytas sukurti naujus duomenis, kartais pateikia žalias kates. Laikui bėgant originalus bruožas — mėlynas kailis — paskartojančiuose cikluose išsivadėja, iš mėlyno link žalio, nuo žalio prie geltono. Šis pamažu laipsniškas mažumos charakteristikų tirpimas, smulkių detalių praradimas ir yra modelio kolapsas. Norint užkirsti jam kelią, svarbu įsitikinti, kad duomenų rinkiniuose kiekybiškai ir tiksliai pasiskirsčiusios mažosios grupės. Tai sunki užduotis, nes modeliams sunku mokytis iš retų įvykių.

„Ketiname pripildyti internetą niekais, — sakė kitas autorius, Rossas Andersonas iš iš Cambridge'o ir Edinburgo universiteto. — Tai apsunkins naujų modelių apmokymą duomenimis iš interneto. Firmos, kurios tai jau atliko ar kontroliuojančios plataus masto prieigą prie naudotojų sąveikos, turės pranašumą“.

Autoriai siūlo porą būdų spręsti šią problemą, tačiau tam reikės masinio turino žymėjimo mechanizmo ir turino kūrėjai ar DI kompanijos turėtų diferencijuoti žmogaus ir mašinų sukurtą turinį. Dabar to niekas nedaro.

Gegužę OpenAI ChatGPT buvo uždraustas Italijoje dėl duomenų apsaugos pažeidimų, kas paskatino tyrimo imtis ir kitas ES šalis. Reguliatoriai nerimauja dėl kompanijų atsisakymo atskleisti DI apmokymo mechanizmą, nepatikimų atsakymų ir amžiaus filtrų nebuvimo. OpenAI pavyko susitarti su Italijos valdžia, tačiau tai gali būti tik pradžia. 2024 metais ES turi įsigalioti dirbtinio intelekto įstatymas, kuriuo bus reikalaujama atskleisti mokomųjų duomenų rinkinius. Dėl to ekspertai laukia, kad daugelis DI modelius kuriančių kompanijų gali tapti teisinių ieškinių taikiniais.

hightech.plus