|
マルチモーダル情報処理とは？
人間は外界からの情報をより確かに知覚するために，五感や，体性感覚(平衡感覚，空間感覚など)といった複数の感覚の情報を組み合わせて処理しています．このような情報処理をマルチモーダル情報処理といい，バーチャルリアリティなどへの応用などが期待されています．
本研究室では，未だ不明な点が多い，聴覚に関するマルチモーダル情報処理過程を明らかにするための研究を行っています．
図．マルチモーダル情報処理とは
音声聴取と話者映像
雑踏や，周囲に大きな騒音があるような音声が聴き取りにくいような環境では，話者の口の動きをうまく読み取ることにより，より正確な音声を聴き取ることができます．これを読唇と呼びます．
本研究室では，話者の口の周囲の動きのうち，どの部分が聴き取りに貢献するのか調べてきました．
これまでに，少なくとも口唇全体が写っている映像であれば，音声と同時に表示することで，聴き取り精度向上に寄与することがわかっています．
今後は，さらに細かい部位を特定するとともに，音素ごとの影響の違いについて，より詳しい検討を行っていきます．
図．映像条件ごとの子音正答率
自己運動中の音空間知覚
自己運動知覚は，人間が自分自身が動いていると感じる感覚のことを指します．
自己運動知覚には視覚や体性感覚など様々な感覚情報が影響することが知られており，本研究室では聴覚と自己運動知覚の関連について研究を進めています．
例えば，椅子型自走装置を用いて等加速度で直進運動している際の音空間知覚について実験をした結果，人間が音空間上で真横と感じる位置が，自己運動時は静止時に比べて移動するということがわかりました．
また回転方向についても椅子型回転装置を用いて検討した結果，音の聞こえてくる方向知覚精度が，自己運動時では静止時に比べて低下することがわかりました．
これらの現象は，能動的な運動，受動的な運動のいずれにおいても見られることがわかっています．
図．椅子型自走装置と等加速度直線運動が音空間上の主観的真横位置に与える影響
図．椅子型回転装置と回転方向の運動が音像定位弁別限に与える影響
高次感性知覚（臨場感・迫真性）
臨場感（「その場にいる感じ」という印象）や，迫真性（「本物らしい感じ」という印象）といった高次感性が知覚される際のメカニズムの解明は，自然で快適なコミュニケーションシステムの実現の基盤となるものです．
本研究室では，この知覚を多感覚情報統合処理によるものと考え，様々な感覚情報を提示した際の臨場感・迫真性の知覚メカニズムの研究を進めています．
その結果，臨場感は背景的情報に強く影響されて生起するのに対し，迫真性は前景的情報に強く影響されて生起するという，知覚メカニズムの違いが明らかになりました．
また，視聴覚コンテンツの視野サイズや音圧の変化に対して臨場感と迫真性で印象の強まる条件が異なることもわかりました．
図．臨場感と迫真性に対する視野サイズと背景音圧の効果
|