Lietuvos mokslininkų inovacijos: kuriamos technologijos, kurios ligas nustatytų iš balso

Savo patirtį VU Matematikos ir informatikos fakulteto mokslininkai kaupė kurdami balso emocijų atpažinimo metodus. „Mes turime prieigą prie emocingos kalbos duomenų bazių. Esame pasiūlę metodą, kuris gali identifikuoti emocijas: ar žmogus piktas, ar liūdnas, ar susierzinęs, pasibjaurėjęs“, – pasakoja VU Matematikos ir informatikos fakulteto mokslininkas doc. Gintautas Tamulevičius. Kelerius metus trukusio tyrimo metu jis su komanda ieškojo požymių, kurie gerai atspindi emocijas. Iš pradžių tam bandė taikyti įprastinius akustinius požymius (pvz., tonas, tono pokyčiai, šnekos dinamika), vėliau ieškojo naujų požymių. Pavyzdžiui, emocijoms identifikuoti pasiūlė fraktalinius požymius, kurie yra visiškai matematinės kilmės, skirti aprašyti ir įvertinti geometrines struktūrų pasikartojamumo savybes.

Kaip apskaičiuoti žmogaus emociją?

„Kai mes įrašome balsą, t. y. garso signalą, jį skaitmenizuojame – paverčiame skaičių seka, kuri aprašo mūsų šneką. Turėdami taip išreikštą signalą, jam analizuoti mes galime taikyti matematinius metodus“, – paaiškina doc. G. Tamulevičius. Analizuodami skaitmeninį balso signalą mes galime spręsti įvairius uždavinius – paversti žmogaus šnekos turinį tekstu, atpažinti kalbantįjį asmenį, išskirti ir atpažinti žmogaus emocinę būklę, galbūt net aptikti pakitusį balsą ir įspėti apie galimus susirgimus.

Praėjusio amžiaus pabaigoje Masačusetso technologijų instituto tyrėja Rosalind Picard savo knygoje „Emocinė kompiuterija“ („Affective Computing“) iškėlė mintį, kad mūsų jaučiamos emocijos atlieka svarbų vaidmenį mąstant ir bendraujant – mokantis, suvokiant, perduodant mintis ir žinias, priimant sprendimus. Taigi, jei sąveikai su kompiuteriais ar robotais mes norime suteikti žmogiškųjų savybių (natūralumo, empatijos, efektyvumo, informatyvumo), mes turime „išmokyti“ kompiuterius ir robotus aptikti ir atpažinti mūsų emocijas, perduodamas balsu (veido išraiškomis, kūno poza ar gestais).

Viena iš šnekamosios kalbos signalų tyrimų idėjų ir yra žmogaus emocinės būklės vertinimas pagal balsą. Jeigu mūsų turimas balso asistentas (pvz., Alexa ar Siri), mūsų balse aptikęs apatijos požymių, pasiūlytų ramios muzikos, pakeistų apšvietimą ar pasiteirautų, kas atsitiko, toks bendravimas mums atrodytų kur kas žmogiškesnis ir priimtinesnis. O jeigu asistentas gebėtų ir atitinkamai pakeisti balso intonaciją ar emociją (kas reiškia balso emocijos sintezę)?

Kita balso emocijų analizės ir sintezės taikymo kryptis – robotika. Mus supančių robotų skaičius sparčiai auga ir ateityje teks neišvengiamai su jais bendrauti aptarnavimo, galbūt socialinių paslaugų srityse. „Bendraudami su robotais mes tikėsimės žmogiškumo, empatijos, tad tokie tyrimai ir veda mus link šio tikslo“, – paaiškina doc. G. Tamulevičius. Ką tai reiškia technologijų pasaulyje? Tai reiškia, kad tokie robotai turės gebėti tiek analizuoti (išskirti ir atpažinti) emocijas balse, tiek sintezuoti (parinkti ir sukurti).

Pasak doc. G. Tamulevičiaus, VU Matematikos ir informatikos fakulteto mokslininkai dirba su panašiais robotikos uždaviniais. Kaip robotas mokomas suprasti mūsų šneką ir atsakyti? Roboto mokymas – tai paruoštų kalbos modelių įdiegimas. „Mokymas ne toks kaip vaikų, nors idėja panaši. Šiuo atveju mokymas yra matematinės kilmės: išmokome robotą visų garsų, jų sekų tam, kad jis galėtų juos atpažinti. Išgirdęs ir atpažinęs garsus, robotas pagal turimą žodyną sudeda juos į prasmingą sakinį, į kurį gali reaguoti, atsakyti ir taip palaikyti minimalų dialogą“, – patikslina docentas.

O jeigu jau robotas geba suprasti lietuvių šnekamąją kalbą ir atsakyti ja, tai ateities perspektyvos mums diktuoja ir emocijų atpažinimo, emocingos intonacijos kūrimo uždavinius. Prie tokių tyrimų gali prisidėti ir studentai, norintys gilintis į šią tematiką. Tuomet būtų galima dar labiau praplėsti ir sparčiau judėti prie emocinės informatikos metodų pritaikymo gyvenime. „Jeigu mūsų turimus robotus Ąžuolą ir Liepą, kurie priklauso NAO robotų šeimai, išmokysime atpažinti emocijas, tada mes būsime pasiruošę to išmokyti ir kitus robotus, spręsti tolimesnius uždavinius“, – sako mokslininkas.

Balso kokybės vertinimas – pagalba medikams

Kalbėdamas apie tyrimus, doc. G. Tamulevičius pabrėžia, kad labai svarbu naujos idėjos, bendradarbiavimas su kitų sričių specialistais. Kartu dirbant su šnekos signalo analize, medikai pasiūlė balso kokybės vertinimo idėją – įvertinti balso tembrą, balsingumą, spalvingumą, kitas savybes. Įvertinę balso kokybę, mes galėtume įvertinti žmogaus balsą, priimti sprendimą dėl žmogaus vokalinių sugebėjimų, galbūt net aptikti kokios nors ligos apraiškas. Doc. G. Tamulevičius paaiškina, kad balso klosčių uždegimo, polipų, paralyžiaus ar kitų pakitimų atveju keičiasi žmogaus balsas, jo kokybinės savybės. Įrašius ir objektyviai įvertinus balso pakitimus būtų galima įgyvendinti ankstyvosios diagnostikos idėjas, o tai padėtų įspėti apie ligos simptomus ir taip galbūt užkirsti kelią sunkesnei ligos eigai.

„Turime idėją pasiūlyti balso kokybės vertinimo metodiką ir jos pagrindu – balso kokybės testą. Tai galėtų būti specializuota medicininės paskirties programa ar kiekvienam prieinama ir paprastai naudojama programėlė, gebanti įvertinti balsą ir pateikti rekomendacijas. Pacientui (ar programėlės naudotojui) reikėtų ištarti tam tikrus žodžius ar sakinius, jo balsas būtų analizuojamas ir programa pateiktų vertinimo rezultatus, diagnozuotų galimus sutrikimus“, – idėjomis dalijasi doc. G. Tamulevčius.

Pasak mokslininko, tam, kad tai taptų realybe, reikalingas ne tik mokslininkų darbas ir medikų žinios, bet ir verslo indėlis – prisidėjimas prie produkto realizavimo: „Dabar mes dirbame su medikais, bandome sukaupti patologinių balsų duomenų bazę. Kitas žingsnis – idėjos ir metodikos pristatymas, vystymo partnerių paieškos.“