Aklųjų žmonių navigacijos pastatų viduje elektroninio pagalbininko funkcinis prototipas, paremtas maršrutų vaizdine analize bei socialine tinklaveika

Su tokia realybe kasdien pasaulio mastu susiduria beveik 40 milijonų aklųjų. Pastatų viduje (skirtingai nei lauke) dėl ekranuojamų palydovinių signalų navigaciniai GPS įrenginiai prastai veikia arba neveikia visai. Kaip žinia, aklieji dažniausiai naudoja baltąją lazdelę tam, kad nedideliu atstumu aptiktų kliūtis ir grindų reljefą, tačiau šiuolaikinės technologijos jau leidžia sukurti elektroninius pagalbinius vedlius (angl. Electronic Travelling Aids) navigavimui vidaus patalpose bei suteikti kitos naudingos informacijos apie aplinką ir joje esančius objektus.

Grupė VGTU mokslininkų vykdo taikomąjį šios krypties MTEP SMART mokslinį projektą Nr. 01.2.2-LMT-K-718-01-0060 „Papildančios tikrovės kompleksiniai tyrimai socialiai neįgaliems (akliems ir silpnaregiams)“ finansuojamą Europos regioninės plėtros fondo lėšomis pagal LMT priemonės Nr. 01.2.2-LMT-K-718 veiklą „Aukšto lygio tyrėjų grupių vykdomi moksliniai tyrimai“. Projekto pradžioje buvo atlikti rinkos poreikių ir galimybių tyrimai, apklausiant akluosius ir ekspertus. Tai leido išsiaiškinti tikruosius aklųjų poreikius ir nepatenkintus jų lūkesčius bei iškristalizuoti į vartotojų realius poreikius orientuotų technologinių sprendimų paiešką. Projekte įdarbinti pora aklųjų ekspertų konsultavo tyrimų eigoje, padėdami perprasti specifines navigavimo ir orientavimosi vidaus patalpose problemas su kuriomis susiduria aklieji.   

Anot projekto vadovo vyriausiojo mokslo darbuotojo prof. Dariaus Plikyno, pasitelkiant UAB Neurotechnology sprendimus (SentiBotics ir Verilook robotų navigacijai ir veido atpažinimui skirti programiniai paketai), bendradarbiaujant su mechatronikos ekspertais, programuotojais, aklaisiais, oftalmologais bei Lietuvos aklųjų sąjunga kuriamas elektroninio vedlio funkcinis prototipas navigavimui vidaus patalpose. Į kuriamo įrenginio sistemą įeina IMU jutikliai (akselerometras, magnetometras, giroskopas ir pan.), stereo ir gylio kameros, valdiklis, taktilinė (vibracinė) matrica, kaulinio laidumo ausinės, mikrofonas, EMG (elektromiografiniai sensoriai), mobilus telefonas su instaliuota valdymo programėle, mini PC bei internetinio ryšio modulis. Iš esmės šis funkcinis prototipas išsiskiria nuo kitų sprendimų tuo, kad a) nereikalauja brangių infrastruktūrinių investicijų patalpose, kaip antai WI-FI maršrutizatorių, taip vadinamų švyturėlių (angl. beamers) ar RFID žymeklių ir pan., b) naudoja šiuolaikinius spartaus vaizdų atpažinimo ir objektų klasifikavimo su konvoliuciniais neurotinklais algoritmus, c) įgalina daugialypes vartotojo sąsajas, naudojant taktilinį (vibratorių matricos displėjus ėjimo krypčių, atstumo ir objektų zonų atvaizdavimui), garsines kaulinio laidumo ausines, gestų atpažinimą d) patogus ir mažai išsiskiriantis dėvimas ant galvos dizainas, e) mobili įrangos valdymo ir nustatymų pasirinkimo aplikacija, f) prototipo berankio valdymo galimybė, naudojant elektromiografijos (EMG) signalus, g) online ir offline veikimo režimai, h) einant aklajam pasirinktu maršrutu, semantinės informacijos garsu pateikimas apie praeinamus galimai lankytinus POI taškus (angl. Points of Interest). Svarbu pažymėti, kad į JAV USPTO patentų biurą yra pateikta funkcinio prototipo sistemos patentinė paraiška.

Kuriamo įrenginio naudojimas turi analogiškiems sprendimams nebūdingų ypatumų. Jis susideda iš trijų nuosekliai vienas po kito einančių pagrindinių modalumų (veikimo režimų): (i) savanorių maršrutų sudarymo režimas, kai jie pastatų viduje praeidami su įrenginiu sudaro vaizdais paremtus maršrutus, pažymi POI bei patalpina informaciją tolimesniam apdirbimui į debesijos serverio (arba mini PC) DB; (ii) aklųjų navigavimo režimas, kai jie mobilios aplikacijos pagalba iš DB pasirenka norimą maršrutą ir su įrenginiu naviguoja pastatų viduje naudodami realaus laiko elektroninį vedlį; (iii) aklųjų navigavimo režimas sudėtingose situacijose, kai jie su įrenginiu pasiklysta ar susiduria su neatpažintomis kliūtimis ir pan.; tuomet per mobilią aplikaciją jie gali išsikviesti savanorių pagalbą, kurie nuotoliniu būdu (per mobilią aplikaciją ar kompiuterio ekraną), realiu laiku matydami aklojo kamerų vaizdą, nueito maršruto istoriją, pastato išplanavimo schemas bei aklojo lokaciją jose, gali padėti aklajam pasiekti tikslą.

Šis daugiafunkcinis įrenginys antrame ir trečiame modalumuose (veikimo režimuose) susideda iš aštuonių veikimo modų, iš kurių vienu laiko momentu tik viena yra pagrindinė, o kitos gali veikti fone. Šios modos perjungiamos per mobilią valdymo sąsają: 1) objektų atpažinimas, 2) specifinių (vartotojo aplinkos) objektų atpažinimas, 3) kameromis matomos scenos garsinis aprašas, 4) įsimintų veidų atpažinimas (su galimybe atpažįstant lytį, amžių ir žmogaus nuotaiką), 5) užrašų atpažinimas, 6) kliūčių atpažinimas, 7) navigavimas, 8) socialinė tinklaveika sudėtingose situacijose.

Taigi, kompleksinio tyrimo dėka realizuojamas funkcinis prototipas, kuriame taikomos elektronikos, mechatronikos, neuroninių tinklų, programavimo bei socialinių mokslų disciplinos. Pastaroji sritis ypač aktuali dėl inovatyviai pritaikytų socialinės tinklaveikos galimybių (angl. crowdsourcing) pastatų vidaus patalpų navigacinių maršrutų DB sudarymui (1-asis modalumas) ir pagalbai akliesiems esant sudėtingose navigavimo situacijose (3-asis modalumas). Tokios socialinės tinklaveikos išplėtojimas turi daug potencialių galimybių, pvz., pasauliniu mastu sukuriant savanorių pastoviai atnaujinamą pastatų vidaus maršrutų duomenų bazę, kuria galėtų naudotis aklieji. Įvedus maršrutų ir savanorių reitingavimo funkcijas tokia duomenų bazė galėtų padėti patiems akliesiems atsirinkti naujausius, patikimiausius, populiariausius ar patraukliausius maršrutus.

Kaip ir numatyta ES finansuojamoje programoje siekiame sukurti MTEP 5-6 lygio maketo-prototipo bandomąją versiją, kurią vėliau su papildomomis investicijomis galima būtų išvystyti iki MTEP 9 lygio ir įdiegti į rinką.