8 聴覚ディスプレイに関する研究



  聴覚ディスプレイシステムとは?

    聴取者の頭部伝達関数(Head-Related Transfer Function)を正確に模擬し, 音源に対して畳み込み演算を行うことにより,任意の位置の仮想的な音像を聴取者に与えることが可能になります. このようなシステムは聴覚ディスプレイシステムと呼ばれます.

    人間は音を聴取することによって,臨場感という 高次感性情報を含む感覚を得ることができます. より豊かな臨場感を再現するための聴覚ディスプレイシステムとして, 主に以下の2つの手法がとられています.



 バイノーラル録音,再生方式

    この方式は,再生の目標とする音場においてある人物の両耳付近で音響情報を収録し, 再生デバイスの特性などを適切に補正した上で再生するという方式です. このようにすることで,音響空間情報をもらさず聴取者に提示することが可能になり, 高臨場感を実現する音場再生が期待できます.

    この方式では両耳付近の2点のみの音場を制御すれば良いので, 比較的小規模なシステムで実現が可能となります. 両耳付近で収録された音を両耳付近で再生したいという目的と,再生系の規模を小さくできる利点から, 再生デバイスはヘッドフォンが用いられることが多くなります.



     耳介開放型聴覚ディスプレイの開発

      耳介開放型提示デバイス,LADOMi
         図.耳介開放型提示デバイスLADOMi

      聴覚ディスプレイをヘッドホンで構成する際,厳密な音場を構成するには, 耳介を開放した自然な状態での聴取が望まれます. また,外耳道入口をブロックした状態で測定されたHRTFとヘッドホンで聴覚ディスプレイを構成する場合, ヘッドホン装着時の外耳道入口における音響インピーダンスの変化も考慮した補正が必要になります.

      そこで,これらの問題を解決する再生デバイスLADOMi(Localization Auditory Display with Opened ear-canel for Mixed reality)を開発しました.

      LADOMiは,音像定位の精度の向上も期待されますが,耳介を開放しているため, 外部から到来する音も聴取可能であるため,複合現実感を与える提示デバイスとしても機能するという 特徴を持ちます.

      3次元空間の音像提示精度を,LADOMiと従来のヘッドホン型とで比較した結果, 図に示すように定位角度誤差はLADOMiが有意に小さく,前後誤判断率は同程度となりました. このことから,音響インピーダンス変化の補正(Pressure Division Ratio:PDR)を行うことによって, 耳介を開放した自然な状態で聴取できる上に,定位精度が改善することがわかりました.


      図.LADOMiの定位誤差(中)と前後誤判断(右)


     ソフトウェアベースの聴覚ディスプレイの開発

      Linuxベースのシステム
          図.Linuxベースの聴覚ディスプレイシステムの構成

      上記のように,聴取者のHRTFを音源に畳み込むことにより, 任意の位置の仮想的な音像を聴取者に与えるシステムが聴覚ディスプレイシステムです.

      開発当初は,HRTFの畳み込みや,磁気センサを用いた頭部運動への追従,HRTFの空間補間といった信号処理には, ディジタル信号処理プロセッサ(DSP)を用いていました. しかし,DSPは,リアルタイム処理には適していますが,非常に高価であるし,時間的開発コストが大きく, 高度な技術が要求されます. このことが,アプリケーション開発や,システム普及の障害となっていました.

      一方,近年PCのCPU性能が向上したことにより,ソフトウェアを基盤とした聴覚ディスプレイシステムの構築が 可能となり,盛んに研究が行われています.

      そこで我々は,Linuxベースのシンプルな聴覚ディスプレイを開発しました.本システムでは,頭部の動きを検出して, HRTFを切り替えることで頭部運動感応型の聴覚ディスプレイを実現しています.そして,HRTFの切り替えおよび畳み込み, 空間補間,センサによる追従といった処理に対するシステムの遅延時間を, 約10 msというごく短い時間内に抑えた構成となっています.

      聴覚ディスプレイを用いて,実音源聴取時により近い音情報を提示するためには, 頭部運動が音情報に反映されるまでの遅延をできる限り小さくする必要があります. この遅延時間の検知限を調べる実験を行いました.その結果,人間は遅延時間が約80 msとなると,遅延を検知することが わかりました. したがって我々が開発したシステムの総遅延時間は検知限に比べて十分小さく,実音源により近い音を与えることができる システムであるといえます.



      Windowsベースのシステム
        図.聴覚ディスプレイミドルウェアSiFASoの構成

      同時に我々は,WindowsXP上で動作する頭部感応型聴覚ディスプレイミドルウェアSiFASo (Simulative environment For Acoustic 3D Software)を開発しました.

      このシステムは,単にHRTFを音源に畳み込むことにとどまらず,ドップラー効果や, 簡単な室内における反射・残響をレンダリング(コンピュータにより, 数値データとして与えられた情報から音像を出力する)する機能を備えています. また,ミドルウェアとして実装することにより,音響アプリケーションを容易に開発することができるようになります.



     聴覚ディスプレイの応用

      開発が容易になったことと,安価で高精度な聴覚ディスプレイシステムが構築できるようになったことにより, 近年聴覚ディスプレイシステムの応用が注目を集めています.

      このシステムの応用は,さまざまな可能性が考えられますが,我々はSiFASoを用いて, 視覚障害者のための空間認識訓練アプリケーションを3種類開発しました.

      そのうちの1つが音だけで楽しむハチたたきゲーム「BBBeat」です. これは,頭部を中心とした上下左右全周囲の仮想空間に「羽音」としてハチが出現し, プレイヤーはその羽音を頼りにハチの位置を探し出し,手に持ったハンマーで叩くゲームです. このゲームを通して訓練することにより,音の位置を正確に把握する能力,移動物体の回避能力, さらには会話中話している人の方向を向くフェイスコンタクト能力が向上することが示されました.

      BBBeat BBBeatプレイ風景
      図.BBBeatプレイ画面(左)とBBBeatプレイ中の様子(右)

      このように,今後エンターテイメントツールにとどまらず,空間認知訓練のツールへの応用など, さまざまな展開が期待されます.



 仮想球モデルに基づく聴覚ディスプレイシステム

    この手法は,ある空間全体の音場を再現する手法の1つで, 従来の聴覚ディスプレイでは,反射回折を含むような 音場を再現することは,計算量などの面から困難でした. しかし,仮想球モデルの原理を用いると, そのような音場であっても再生可能な聴覚ディスプレイシステムを実現することができます.

    仮想球モデル
        図.仮想球モデル

    仮想球モデルの原理

    聴<取者の周囲に仮想的な球状の境界(仮想球)を設置し, 仮想球表面上の各点における音圧( P )及び 音圧傾度( P’)を取得します. これらの値が既知であれば Kirchhoff-Helmholtz 積分方程式を用いて, 仮想球内部の任意の点における音圧が計算できます. この音圧に仮想球表面から聴取者両耳までの頭部伝達関数( I ) 及び頭部伝達関数の法線方向微分( I’ )を畳み込むことで, 任意の音場における聴取者の両耳音圧を合成することができます. また聴取者頭部の動きを検出し,頭部伝達関数を切り替えることで, 聴取者の頭部の動きに伴う両耳音圧の変化を再現することができ,実際の聴取状況に即した音場再生が可能となります.


     聴覚ディスプレイの実装

      5つの浮動小数点演算DSPを用いて, 仮想球モデルに基づく聴覚ディスプレイシステムの実装を行いました.このシステムでは, 仮想球表面を5つの領域に分割し,各領域に1つDSPに割り当て,聴取者の両耳音圧の計算をリアルタイムで行っています.

      聴取者の頭部の動きを磁気センサを用いて検出し,そのデータはDSP5へと転送されたのち,各DSPに転送されます. そのデータを基に各DSPにおいて適切な II’ を選択し, それと PP’ との畳み込み演算が行われます. 結果はDSP5へと転送され,合計されたのちD/A出力されて聴取者に提示されます.


      システムの構成

Last update: 2005.11.9