高精細3次元音空間
人間の3次元音空間知覚
私たち人間は,わずか2つの耳に入った音を分析して豊かな3次元音空間を知覚することができます。また,更にその情報を脳で処理することによって,3次元音空間から,あたかもその場にいるような感覚をもたらす情報(高度な感性情報)を感じ取ることができます。図は,そのような人間の3次元音空間知覚過程の一端を調べるために用いられるスピーカアレイです。
聴覚だけでは決まらない音空間の知覚
3次元音空間に関するこのような情報処理は,単に聴覚系だけではなく,視覚や前庭感覚(姿勢や自己運動の感覚)情報も総合した多感覚情報処理過程(マルチモーダル感覚情報処理過程)を経て行われています。そのため,より豊かで高い感性を感じ取ることができる3次元音空間情報システムを作るためには,人間がどのようにして多数の感覚情報を統合し、3次元音空間を知覚しているかをしっかり理解したうえで情報システムを作り上げることが極めて重要になります。
マルチメディア情報システム高度化の鍵となる技術
映画やテレビをイメージすればお分りのように,音と映像とは高い相乗効果を持っています。ですから,高度感性3次元音空間情報システムの研究は,高度な感性情報を表現することができるマルチメディア情報システムを作るためにも大変重要な研究分野といえます。
音空間知覚
人間の頭部や耳介の形状は非対称で複雑な形状になっていますので,ある場所の音源から聴取者の耳に届く音は,頭部や耳介による回折,反射,共振などの影響をうけます。この影響は音の到来方向と距離によって異なりますので,音源から耳までの伝搬特性は,音源の位置(方向と距離)に特有の特性を示します。また,頭部や耳介の形状は個々人ごとにかなり違いますので,その伝搬特性は個人ごとにかなり異なった特性にもなります。この特性を周波数スペクトルの形で表したものを頭部伝達関数(head-related transfer function:HRTF)と呼びます。頭部伝達関数を測定するには,まず,ある位置に置いた音源から広帯域音を放射して,聴取者の外耳道入口での周波数スペクトルと,頭部がないときの頭部中心位置での周波数スペクトルを求め,次にその比を計算することによって求めます.
前述のように頭部伝達関数は,音波の到来方向や耳の形状によって異なる値をとります。そこで逆に,音源に任意音源位置の頭部伝達関数を作用させて呈示すれば,その頭部伝達関数に対応した音源方向を知覚させることができます. 3次元聴覚ディスプレイは,この原理を何らかの信号処理によって実現することで, 3次元音空間の情報を自在に提示するシステムです。 その原理は,大きく次の3つに分類することができます。
・「音の方向感制御」 音の到来方向を複数のスピーカーを使って再現する
・「聴取点制御」 最終的な両耳の位置での音を正確に再現する
・「空間的音場制御」 ある空間領域の音の波動の情報(音場)をできるだけ正確に生成する
「音の方向感制御」には身近なものではステレオや5.1chサラウンド,より高度なものでは22.2chマルチチャンネル音響があります.22.2chマルチチャンネル音響とはスーパハイビジョン(8Kテレビジョン)のための音響システムとして提案されたもので,水平方向だけでなく上下方向にもスピーカを配置して聴取者を3次元的に取り囲むようにしたものです.
(参考:https://www.nhk.or.jp/strl/vision/vision01/03_01.html)
「聴取点制御」では,通常,信号処理によって音源信号にHRTFを作用させ鼓膜位置での音を正確に作り出します。イヤフォンやヘッドフォンを用いたバイノーラル法と,複数のスピーカーを用いてトランスオーラス法があります.
「空間的音場制御」では再現するのが点ではなく空間なので,人間の頭の動きなどを考えなくてよいというメリットがあります。一例として高次アンビソニックス(HOA)という技術があります.これは球の表面にマイクロホンを多数配置した球状マイクロホンをもちいて音を収音し,それに球面調和解析とう信号処理を行って多数のスピーカーからの音に変換して再生することで音空間を再現するものです.
図は,バイノーラル法による3次元聴覚ディスプレイの応用例で,空間認識能力の訓練用として開発された,音だけで楽しむハチたたきゲーム(エデュテインメントソフト)の「BBBeat」です。このゲームでは,頭部を中心とした上下左右全周囲の仮想空間に「羽音」としてハチが出現します。プレイヤーはその羽音を頼りにハチの位置を探し出し,手に持ったハンマーでたたけば得点が得られます。このゲームを通して音空間知覚能力を訓練することにより,音の位置を正確に把握する能力はもちろんのこと,移動物体の回避能力, さらには会話中話している人の方向を向くフェイスコンタクト能力が向上することが示されました。
これらの研究が進むことで,臨場感あふれる音が身近で手軽に聴くことができるようになるでしょう.
千耳(SENZI)
コンサートホールで聴いた音は迫力がありますが,CDを買って家で聴いた時には物足りない.これはコンサートホールの3次元音空間が再現されていないからです。千耳(SENZI)システムは図のような252chのマイクロフォンに入力された音を信号処理することにより3次元音空間を別の場所で(別の時間にでも)そっくり再現することができます。ちなみにSENZIはSymmetrical object with ENchased ZIllion microphonesの略語です。
SENZIは「収音部」,「信号処理部」,「提示部」の3つに分けることができます.「収音部」では,球状のきょう体の表面上に均等に配置された多数のマイクロフォンを用いて収音をします.人間の頭部を想定するので,形状は直径17cmの球となっています. 写真のシステムでは252chのマイクロフォンを用いてほぼ12kHzまでの正確な集音が可能になっています。将来的にこれを数千chにすることができれば,人間の可聴周波数帯域である20kHzまでの完全な集音ができるようになると期待されています。
「信号処理部」では,収音した各チャネルの音に重み係数と呼ばれる係数を乗ずることで,聴取者の頭部伝達関数を模擬します.乗ずる重み係数を変えれば違う頭部伝達関数を模擬できますので,一度に多数の聴取者への対応が可能になっています.
「提示部」では信号処理した音を再生します.現在はヘッドフォンで聴くことを想定しています.ヘッドフォンに位置センサを取り付ければ,聴取者の頭部運動にも簡単に対応できますから,高い臨場感を実現することができます.
この研究が進めば,あたかもその場にいるような迫力のある3次元立体音を遠隔地にいながらリアルタイムで,あるいは後日いつでも聴けるようになると期待できます。
参考文献
- 音のなんでも小事典 日本音響学会編 講談社
- 鈴木他 音響学入門 コロナ社
- 舘 ワ他 バーチャルリアリティ学 コロナ社
この研究のために大学で学ぶ必要のある科目
線形代数学,解析学などの基礎的な数学科目を学び,応用数学の授業でフーリエ変換等を学び,時間信号と周波数スペクトルの関係を身につけましょう.その上でディジタル信号処理を学べば,音響信号処理を行うための基礎知識を身につけることができます.また,通信工学の基礎を学んだ上で情報ネットワークの知識を身につけることや,電子回路の基礎知識を身につけるのもよいでしょう.さらに,計算機学やプログラミング演習などの授業を通して,自由に使えるプログラミング言語を習得しているとスムーズに研究を進められます.実験データを整理するために統計学の知識もあると有用です.