お問い合わせ カリキュラム 情報学への誘い

高精細3次元音空間

人間の3次元音空間知覚

私たち人間は,わずか2つの耳に入った音を分析して豊かな3次元音空間を知覚することができます。また,更にその情報を脳で処理することによって,3次元音空間から,あたかもその場にいるような感覚をもたらす情報(高度な感性情報)を感じ取ることができます。図は,そのような人間の3次元音空間知覚過程の一端を調べるために用いられるスピーカアレイです。

聴覚だけでは決まらない音空間の知覚

3次元音空間に関するこのような情報処理は,単に聴覚系だけではなく,視覚や前庭感覚(姿勢や自己運動の感覚)情報も総合した多感覚情報処理過程(マルチモーダル感覚情報処理過程)を経て行われています。そのため,より豊かで高い感性を感じ取ることができる3次元音空間情報システムを作るためには,人間がどのようにして多数の感覚情報を統合し、3次元音空間を知覚しているかをしっかり理解したうえで情報システムを作り上げることが極めて重要になります。

マルチメディア情報システム高度化の鍵となる技術

映画やテレビをイメージすればお分りのように,音と映像とは高い相乗効果を持っています。ですから,高度感性3次元音空間情報システムの研究は,高度な感性情報を表現することができるマルチメディア情報システムを作るためにも大変重要な研究分野といえます。

音空間知覚

人間の頭部や耳介の形状は非対称で複雑な形状になっていますので,ある場所の音源から聴取者の耳に届く音は,頭部や耳介による回折,反射,共振などの影響をうけます。この影響は音の到来方向と距離によって異なりますので,音源から耳までの伝搬特性は,音源の位置(方向と距離)に特有の特性を示します。また,頭部や耳介の形状は個々人ごとにかなり違いますので,その伝搬特性は個人ごとにかなり異なった特性にもなります。この特性を周波数スペクトルの形で表したものを頭部伝達関数(head-related transfer function:HRTF)と呼びます。頭部伝達関数を測定するには,まず,ある位置に置いた音源から広帯域音を放射して,聴取者の外耳道入口での周波数スペクトルと,頭部がないときの頭部中心位置での周波数スペクトルを求め,次にその比を計算することによって求めます.

前述のように頭部伝達関数は,音波の到来方向や耳の形状によって異なる値をとります。そこで逆に,音源に任意音源位置の頭部伝達関数を作用させて呈示すれば,その頭部伝達関数に対応した音源方向を知覚させることができます. 3次元聴覚ディスプレイは,この原理を何らかの信号処理によって実現することで, 3次元音空間の情報を自在に提示するシステムです。 その原理は,大きく次の3つに分類することができます。

・「音の方向感制御」 音の到来方向を複数のスピーカーを使って再現する

・「聴取点制御」 最終的な両耳の位置での音を正確に再現する

・「空間的音場制御」  ある空間領域の音の波動の情報(音場)をできるだけ正確に生成する

「音の方向感制御」には身近なものではステレオや5.1chサラウンド,より高度なものでは22.2chマルチチャンネル音響があります.22.2chマルチチャンネル音響とはスーパハイビジョン(8Kテレビジョン)のための音響システムとして提案されたもので,水平方向だけでなく上下方向にもスピーカを配置して聴取者を3次元的に取り囲むようにしたものです.
(参考:https://www.nhk.or.jp/strl/vision/vision01/03_01.html)

「聴取点制御」では,通常,信号処理によって音源信号にHRTFを作用させ鼓膜位置での音を正確に作り出します。イヤフォンやヘッドフォンを用いたバイノーラル法と,複数のスピーカーを用いてトランスオーラス法があります.

「空間的音場制御」では再現するのが点ではなく空間なので,人間の頭の動きなどを考えなくてよいというメリットがあります。一例として高次アンビソニックス(HOA)という技術があります.これは球の表面にマイクロホンを多数配置した球状マイクロホンをもちいて音を収音し,それに球面調和解析とう信号処理を行って多数のスピーカーからの音に変換して再生することで音空間を再現するものです.

図は,バイノーラル法による3次元聴覚ディスプレイの応用例で,空間認識能力の訓練用として開発された,音だけで楽しむハチたたきゲーム(エデュテインメントソフト)の「BBBeat」です。このゲームでは,頭部を中心とした上下左右全周囲の仮想空間に「羽音」としてハチが出現します。プレイヤーはその羽音を頼りにハチの位置を探し出し,手に持ったハンマーでたたけば得点が得られます。このゲームを通して音空間知覚能力を訓練することにより,音の位置を正確に把握する能力はもちろんのこと,移動物体の回避能力, さらには会話中話している人の方向を向くフェイスコンタクト能力が向上することが示されました。

これらの研究が進むことで,臨場感あふれる音が身近で手軽に聴くことができるようになるでしょう.

この研究のために大学で学ぶ必要のある科目

線形代数学,解析学などの基礎的な数学科目を学び,応用数学の授業でフーリエ変換等を学び,時間信号と周波数スペクトルの関係を身につけましょう.その上でディジタル信号処理を学べば,音響信号処理を行うための基礎知識を身につけることができます.また,通信工学の基礎を学んだ上で情報ネットワークの知識を身につけることや,電子回路の基礎知識を身につけるのもよいでしょう.さらに,計算機学やプログラミング演習などの授業を通して,自由に使えるプログラミング言語を習得しているとスムーズに研究を進められます.実験データを整理するために統計学の知識もあると有用です.

▲このページのトップヘ