8
マルチモーダル情報処理
|
マルチモーダル情報処理とは
人間は外界からの情報をより確かに知覚するために，
五感や，体性感覚（平衡感覚，空間感覚など）といった複数の感覚の情報を組み合わせて処理しています．
このような情報処理をマルチモーダル情報処理といい，
バーチャルリアリティなどへの応用などが期待されています．
本研究室では，未だ不明な点が多い，
聴覚に関するマルチモーダル情報処理過程を明らかにするための研究を行っています．
図1 マルチモーダル情報処理とは
マガーク効果における聴覚情報と空間情報の相互利用
音声の知覚に関する視聴覚間のマルチモーダル情報処理現象として
マガーク効果が知られています．
マガーク効果は「/ke/」と発話する映像に「/pe/」の音声を同期させると「/te/」と聞こえる不思議な現象です．
本研究室では，「映像と音声の印象が合っている」という，
調和度に関する被験者の感覚的な評価が高まるにつれてマガーク効果の起こる割合が高くなることが明らかとなりました．
図2 調和度とマガーク異聴率の関係
聴覚情報による自己運動感覚
自己運動感覚とは自分自身の動きを知覚する感覚です．本研究室では
自己運動感覚に聴覚情報がどのように影響しているか研究しています．
これまでの実験の結果から，聴覚情報でも自己運動感覚が起こること
が明らかになっています．
さらに，自己運動感覚の方向の変化の様子を調べました．自己運動中
に移動する視聴覚刺激を同時に提示すると，視覚の場合，その動きの逆向きに自己運動が生まれるのに対
し，聴覚の場合，その動きの同方向に自己運動が生まれるという興味深いことがわかりました．
図3 実験装置（左）音源の移動方向に自己運動方向が変化した（右−モデル図）
 Demo
図4 ヘッドマウントディスプレイと聴覚ディスプレイをつけて実験に参加している聴取者
話速変換と視聴覚情報の融合
高齢者に対しては，ゆっくり話す方が聴き取りやすいといわれています．
実際に，話速を遅くした文章刺激の聴き取り実験をした結果，文章の聴き取りがよくなることがわかりました．
しかし，テレビのように視聴覚情報を同時に提示する場合には，映像に比べて
音声が遅れてしまいます．そこで，音声をゆっくりにしたものに通常速度の映像を付加して，その際の聴き取りの
影響を検討しました．
その結果，ある程度のずれであれば，音声が話者映像より遅れていても，聴き
取りに影響を及ぼさないことがわかりました．
図5 話速を遅くした文章音声を提示した時の文章了解度
図6 話速を遅くした単語音声に通常速度の話者映像を同時に提示した時の単語了解度
|
| 
