周波数領域の入出力
STFT後の観測を とする. ここで は周波数ビン, はフレーム, はマイクロホン数である. 出力数を とし,分離行列 を次式の向きで定義する.
この定義では,分離行列の各行が共役転置を含む係数である. コードで行列全体をもう一度共役にする必要はない.
配列の形状
1フレームを処理する関数では,時間方向の軸を引数から外すと状態の受け渡しを整理しやすい.
| 記号 | 配列 | 形状 |
|---|---|---|
| 観測 | x | (F, M) |
| 分離行列 | W | (F, N, M) |
| 観測共分散 | covariance | (F, M, M) |
| 出力 | y | (F, N) |
フレームごとに引き継ぐ状態
観測の外積を指数移動平均で集計すると,観測共分散の状態を次式で更新できる. 忘却係数 は とする.
以下は観測共分散の更新と,あらかじめ用意した分離行列の適用を示す. 分離行列を学習する更新則は含めないため,この関数だけで音源分離を学習することはできない. PythonとNumPyを使用する.
import numpy as np
def process_frame(x, W, covariance, beta=0.98):
"""x: (F, M), W: (F, N, M), covariance: (F, M, M)."""
if not 0.0 <= beta < 1.0:
raise ValueError("beta must satisfy 0 <= beta < 1")
outer = x[:, :, None] * x[:, None, :].conj()
covariance = beta * covariance + (1.0 - beta) * outer
y = np.einsum("fnm,fm->fn", W, x)
return y, covariance初期状態
次の例では,周波数ビン数を5,マイクロホン数と出力数を2とする. 単位行列で初期化すると,この例の出力は観測と一致する. 計算の接続と形状を確認するための入力であり,分離性能を評価する音声ではない.
F, M, N = 5, 2, 2
x = np.ones((F, M), dtype=np.complex128)
W = np.broadcast_to(np.eye(N, M), (F, N, M)).copy()
covariance = np.zeros((F, M, M), dtype=np.complex128)
y, covariance = process_frame(x, W, covariance)
print(y.shape, covariance.shape)ストリーミング処理の境界
別の録音へ移るときは,分離行列,統計量,STFTと逆STFTのバッファをまとめて初期化する. 同じ録音をチャンクに分けて渡す場合は,これらの状態を引き継ぐ. 最後のチャンクのゼロ埋めと出力の切り詰め方も決めておく.
オンライン性を確認する際は,同じ過去を持ち,未来だけが異なる入力を比較する. 利用を認める先読み区間を揃え,それより前の出力が未来の変更で変わるかを確認する. STFTの中央寄せや正規化で未来のサンプルを参照していないかも調べる.
評価時に保存する記録
入力と出力のチャネル順,スケールの復元方法,ウォームアップ区間,フレームごとの処理時間を保存する. 音質の評価値と処理時間を,同じ入力の識別子に結び付ける. 実行条件の保存方法は音響信号処理の実験管理を参照する.