【サーベイまとめ】音源分離とは？ざっくり説明。

この記事では，研究のサーベイをまとめていきたいと思います。ただし，全ての論文が網羅されている訳ではありません。また，分かりやすいように多少意訳した部分もあります。ですので，参考程度におさめていただければ幸いです。間違えている箇所がございましたらご指摘ください。随時更新予定です。

 

音源分離とは

音源分離とは，音響メディアを対象とした信号処理技術の１つです。カクテルパーティー効果として知られているように，人間の耳も複数の音を聞き分けられます。機械に対しても，人間と同じように音を聞き分けさせたいというのが音源分離の考えになります。音源分離ができることで，以下のような分野への応用が考えられます。

音を機械に認識させるための第一歩が音源分離なのです。

 

位置づけ

音源分離は単独のタスクではなく，いくつか付随する問題があります。

音源分離と音源位置は「卵が先か鶏が先か」の関係になっています。つまり，位置が分かれば分離は簡単，分離ができれば定位は簡単という関係です。

 

前提

分類に入る前に，音源分離においてよく使われる前提条件に関して確認していきたいと思います。

これらの条件によって，分類の場合分けをしていきます。

 

分類

 

このように音源分離を分類することができました。また，音源定位と音源追跡に関しては以下の手法がよく使われます。

 

アプローチ

音源分離の基本的なアプローチ方法を考えていきます。北村先生のアイディアを基にすると，以下の流れになります。

 

A.モデル化の対象

モデル化の対象は，上記の特徴量となります。多くの手法では，音色と時間を組み合わせた「スペクトログラム」を利用しています。また，スペクトログラムに空間情報を付け加えてICAやIVAとしてモデル化する場合もあります。

 

B.モデル化の実行

選択された対象は上記の３種類にモデル化されます。統計モデルはNMFやICAが挙げられます。音源の統計的な性質に注目してモデル化する手法です。物理モデルはビームフォーマが挙げられます。音源の空間伝達の現象に注目してモデル化する方法です。回路モデルはニューラルネットワークが挙げられます。特徴量抽出によるクラスタリングを用いる方法です。

 

C.数値解析

実際の解法は
それぞれのモデルに対応して
異なります。

 

注目すべき特徴量

音源分離は，音源がもつ特徴に従ってパラメータを設定することが多いです。

 

モノラルチャネル音源分離

モノラルチャネルの音源分離に対しては，以下の２つの手法が用いられてきました。

①は，人間の聴覚機能を計算機で実現しようとするアプローチです。時間領域に注目した調波時間構造化クラスタリングが提案されています。②では，「スパース性」「低ランク性」をよく表せるモデルとしてNMF(非負値行列因子分解)を採用します。最近では，NMFの応用幅の広さから②のアプローチをとられる方が多いです。

また，モノラルチャネル音源分離では事前に得られる情報が少ないため，教師ありでモデル化していくことが多いです。以下に，複素NMFを利用した教師あり音源分離の概念図を示します。

 

NMFの弱点

しかし，NMFには上記のような弱点が指摘されています。これらの弱点に立ち向かうため，様々な形のNMFが考案されています。

 

様々なNMF

 

最新の動向

最新の手法は，統計的手法と多次元への拡張の２つに分類できます。

 

まとめ

私の興味関心は

●モノラルチャネル音源分離
●音色・時間を対象
●統計モデル
●制約付きNMF

になっています。これからも精進していきます。