Skaitymas iš virpesių: inžinieriai rado būdą rekonstruoti garsą iš daikto virpėjimo

Kitų eksperimentų metu tyrėjams analogišką informaciją pavyko išgauti iš aliuminio folijos, stiklinėje esančio vandens paviršiaus ribėjimo ir net augalo lapų virpesių. Tyrėjai eksperimento rezultatus pristatys kompiuterinės grafikos konferencijoje „Siggraph“.

„Kai garsas pasiekia kokį nors objektą, šis pradeda virpėti, – pasakoja pagrindinis būsimo straipsnio autorius, MIT elektroninės inžinerijos ir kompiuterių mokslų absolventas Abe Davisas. – Virpesių judėjimas skleidžia labai silpną regimąjį signalą, kuris plika akimi nematomas. Žmonės nė neįsivaizduoja, kad taip galima atkurti informaciją.“

Straipsnio bendraautoriai yra A. Davisui talkinę MIT kompiuterinių mokslų ir inžinerijos profesoriai Fredo Durandas ir Billas Freemanas, kitas MIT absolventas Nealas Wadhwa, „Microsoft Research“ darbuotojas Michaelas Rubinsteinas ir Gauthamas Mysore iš „Adobe Research“.

Garso signalo rekonstravimui iš virpesių vaizdo reikia, kad vaizdo kadrų skaičius per sekundę būtų didesnis už rekonstruojamo garso signalo dažnį. Kai kuriuose eksperimentuose tyrėjai naudojo nuo 2  000 iki 6  000 kadrų per sekundę sparta filmuojančias vaizdo kameras. Tai yra gerokai daugiau nei 60 kadrų per sekundę, kuris įmanomas kai kuriuose išmaniuosiuose telefonuose. Tiesa, pažangiausios prekyboje esančios didelės spartos filmavimo kameros filmuoja ir 100  000 kadrų per sekundę greičiu.

Beje, kai kuriuose eksperimentuose buvo naudojamos įprastinės skaitmeninės kameros. Nors pagal tokią vaizdo medžiagą rekonstruota garsinė informacija nebuvo tokia patikima, jos pakaktų nustatyti kalbančio asmens lytį, kalbančių asmenų skaičių patalpoje ir net identifikuoti kalbančius asmenis.

Ko gero, abejoti dėl šio išradimo perspektyvų kriminalistikoje neverta. Juk viešąsias ir privačias erdves filmuoja aibė filmavimo kamerų. Vis dėlto A. Davisą labiau žavi, jo teigimu, naujos „vaizdų kūrimo galimybės“.

„Mes iš vaizdo atkuriame garsą, – aiškina jis. – Tai suteikia labai daug informacijos apie garsą, kuris sklinda aplink objektą. Tačiau kartu mes galime labai daug sužinoti ir apie patį objektą. Skirtingi objektai į tą patį garsą reaguos skirtingai.“ Pagal tai tyrėjai kituose eksperimentuose mėgins apibrėžti regimųjų objektų medžiagines ir struktūrines savybes.

Paaiškėjo, kad garsas daiktų paviršius mechaniškai deformuoja 0,1 mikrometro arba 5 tūkst. pikselių pokyčiais. Tiesa, per tam tikrą laiko atkarpą fiksuojant vienintelio pikselio spalvinę raišką, pradinę informaciją turėtų būti įmanoma rekonstruoti ir pagal vieno pikselio pokyčių amplitudę.