物体の振動からその場の音声再現に成功

無音の映像から音を取り出す技術…物体の振動からその場の音声再現に成功

音が生じたとき、人間の目には見えなくても、あらゆる物の表面にはごくわずかな振動が起こる。画像上にとらえられたこの振動情報を使って、その場の音を再構築できるアルゴリズムが開発された。

研究チームはこのアルゴリズムを使って、防音ガラスの向こう側にあるスナック菓子の袋を約4.6mの距離から撮影した動画から、内容がわかる話し声を取り出してみせた。

論文の筆頭著者であり、マサチューセッツ工科大学（MIT）の博士課程で学ぶエイブ・デイヴィスは、「（音が生じるときの）振動によって、人間の肉眼には見えない、かすかな視覚信号が生じる」と説明する。

MITの研究者、マイクロソフト、およびアドビからなる研究チームは、水やアルミホイル、鉢植えの葉といった物から、有効な音声信号を取り出すことに成功した。

このアルゴリズムがうまく機能するには、映像の周波数が音声の周波数よりも高い必要がある。そのため研究者チームは、まずは2,000～6,000fpsで動画を撮影した。これは、市販されているハイスピードカメラが実現できるフレームレートよりかなり高い。

さらに研究者チームは、通常のデジタルカメラでの実験も試した。そして、60fpsで撮影した動画から、音声を再構築することに成功した。この場合の再構築された音声も、会話に参加している複数の人々の特徴を確認できるほどの音質だった。

この技術は犯罪捜査や諜報活動などに利用できるだろうが、デイヴィス氏は科学的研究にも使えると考えている。物から音を再構築することで、その物自体について知ることも可能なはずだというのだ。音への反応は物によって違う。そのため研究チームは現在、さまざまな物について、物の音に対する反応から、物の素材と構造の特性を突き止めようとしている。　2014.8.12 06:30　TAG Algorithm Analysis Research  Result Sound Video Wired　UK