図．耳介開放型提示デバイスLADOMi

聴覚ディスプレイをヘッドホンで構成する際，厳密な音場を構成するには， 耳介を開放した自然な状態での聴取が望まれます． また，外耳道入口をブロックした状態で測定されたHRTFとヘッドホンで聴覚ディスプレイを構成する場合， ヘッドホン装着時の外耳道入口における音響インピーダンスの変化も考慮した補正が必要になります． そこで，これらの問題を解決する再生デバイスLADOMi(Localization Auditory Display with Opened ear-canel for Mixed reality)を開発しました． LADOMiは，音像定位の精度の向上も期待されますが，耳介を開放しているため， 外部から到来する音も聴取可能であるため，複合現実感を与える提示デバイスとしても機能するという 特徴を持ちます．

3次元空間の音像提示精度を，LADOMiと従来のヘッドホン型とで比較した結果， 図に示すように定位角度誤差はLADOMiが有意に小さく，前後誤判断率は同程度となりました． このことから，音響インピーダンス変化の補正(Pressure Division Ratio:PDR)を行うことによって， 耳介を開放した自然な状態で聴取できる上に，定位精度が改善することがわかりました．

図．LADOMiの定位誤差（中）と前後誤判断（右）

図．Linuxベースの聴覚ディスプレイシステムの構成

上記のように，聴取者のHRTFを音源に畳み込むことにより， 任意の位置の仮想的な音像を聴取者に与えるシステムが聴覚ディスプレイシステムです． 開発当初は，HRTFの畳み込みや，磁気センサを用いた頭部運動への追従，HRTFの空間補間といった信号処理には， ディジタル信号処理プロセッサ（DSP）を用いていました． しかし，DSPは，リアルタイム処理には適していますが，非常に高価であるし，時間的開発コストが大きく， 高度な技術が要求されます． このことが，アプリケーション開発や，システム普及の障害となっていました． 一方，近年PCのCPU性能が向上したことにより，ソフトウェアを基盤とした聴覚ディスプレイシステムの構築が 可能となり，盛んに研究が行われています．

そこで我々は，Linuxベースのシンプルな聴覚ディスプレイを開発しました．本システムでは，頭部の動きを検出して， HRTFを切り替えることで頭部運動感応型の聴覚ディスプレイを実現しています．そして，HRTFの切り替えおよび畳み込み， 空間補間，センサによる追従といった処理に対するシステムの遅延時間を， 約10 msというごく短い時間内に抑えた構成となっています．

聴覚ディスプレイを用いて，実音源聴取時により近い音情報を提示するためには， 頭部運動が音情報に反映されるまでの遅延をできる限り小さくする必要があります． この遅延時間の検知限を調べる実験を行いました．その結果，人間は遅延時間が約80 msとなると，遅延を検知することが わかりました． したがって我々が開発したシステムの総遅延時間は検知限に比べて十分小さく，実音源により近い音を与えることができる システムであるといえます．

図．聴覚ディスプレイミドルウェアSiFASoの構成

同時に我々は，WindowsXP上で動作する頭部感応型聴覚ディスプレイミドルウェアSiFASo （Simulative environment For Acoustic 3D Software）を開発しました． このシステムは，単にHRTFを音源に畳み込むことにとどまらず，ドップラー効果や， 簡単な室内における反射・残響をレンダリング（コンピュータにより， 数値データとして与えられた情報から音像を出力する）する機能を備えています． また，ミドルウェアとして実装することにより，音響アプリケーションを容易に開発することができるようになります．

本システムでは，これまでに述べてきたような技術を駆使し，音空間再現に必要な伝達特性を高精度に合成することで， 高い臨場感を実現することができます．また，ディジタル信号処理をソフトウェア化することにより，汎用PCで動作可能となり， 低コストでシステムを実現することができます．実用化に不可欠であった高精度位置センサは，独自に開発しました．

本研究室では，ゲーム感覚で楽しめるコンテンツなど，特徴あるアプリケーションの開発に取り組んでいます．

本研究室では，SiFASoを用いて視覚障害者のための空間認識訓練アプリケーションを3種類開発しました．

そのうちの1つが音だけで楽しむハチたたきゲーム「BBBeat」です． これは，頭部を中心とした上下左右全周囲の仮想空間に「羽音」としてハチが出現し， プレイヤーはその羽音を頼りにハチの位置を探し出し，手に持ったハンマーで叩くゲームです． このゲームを通して訓練することにより，音の位置を正確に把握する能力，移動物体の回避能力， さらには会話中話している人の方向を向くフェイスコンタクト能力が向上することが示されました．

図．BBBeatプレイ画面（左）とBBBeatプレイ中の様子（右）

これとは別に，「メンタルマッパー」という視覚障害者向けの訓練ソフトも開発しました． 視覚障害者は，心の中に認知地図（メンタルマップ）を形成するのが苦手と言われています． この訓練ソフトを用いることで，室内で安全に認知地図形成を学び，訓練することができます．

まず，マップエディタを用いて認知させたい地図を作成します． この認知地図は，自由に編集することができます． 視覚障害者は，この地図を音だけを頼りにコントローラを使って移動し， 後に自分が通ってきた道筋を絵に描くことで，認知地図形成能力を訓練します． 本システムでは壁の反射や残響も自由に編集できるため，実際の廊下や校舎の模擬も可能です．

図．メンタルマッパー訓練風景（左）と認知地図（右）