中嶋大志の似顔絵 中嶋 大志 Taishi Nakashima

助教
東京都立大学
システムデザイン学部 情報科学科
小野研究室

サイト内検索

オンライン音源分離の実装

周波数領域の入出力

STFT後の観測を xf,t∈CM\mathbf{x} _ {f,t} \in \mathbb{C}^{M} とする. ここで ff は周波数ビン,tt はフレーム,MM はマイクロホン数である. 出力数を NN とし,分離行列 Wf,t∈CN×M\mathbf{W} _ {f,t} \in \mathbb{C}^{N \times M} を次式の向きで定義する.

yf,t=Wf,txf,t.\mathbf{y} _ {f,t} = \mathbf{W} _ {f,t} \mathbf{x} _ {f,t} .

この定義では,分離行列の各行が共役転置を含む係数である. コードで行列全体をもう一度共役にする必要はない.

配列の形状

1フレームを処理する関数では,時間方向の軸を引数から外すと状態の受け渡しを整理しやすい.

記号配列形状
観測x(F, M)
分離行列W(F, N, M)
観測共分散covariance(F, M, M)
出力y(F, N)

フレームごとに引き継ぐ状態

観測の外積を指数移動平均で集計すると,観測共分散の状態を次式で更新できる. 忘却係数 β\beta は 0≤β<10 \leq \beta \lt 1 とする.

Cf,t=βCf,t−1+(1−β)xf,txf,tH.\mathbf{C} _ {f,t} = \beta \mathbf{C} _ {f,t-1} + (1 - \beta) \mathbf{x} _ {f,t} \mathbf{x} _ {f,t}^{\mathrm{H}} .

以下は観測共分散の更新と,あらかじめ用意した分離行列の適用を示す. 分離行列を学習する更新則は含めないため,この関数だけで音源分離を学習することはできない. PythonとNumPyを使用する.

import numpy as np


def process_frame(x, W, covariance, beta=0.98):
    """x: (F, M), W: (F, N, M), covariance: (F, M, M)."""
    if not 0.0 <= beta < 1.0:
        raise ValueError("beta must satisfy 0 <= beta < 1")

    outer = x[:, :, None] * x[:, None, :].conj()
    covariance = beta * covariance + (1.0 - beta) * outer
    y = np.einsum("fnm,fm->fn", W, x)
    return y, covariance

初期状態

次の例では,周波数ビン数を5,マイクロホン数と出力数を2とする. 単位行列で初期化すると,この例の出力は観測と一致する. 計算の接続と形状を確認するための入力であり,分離性能を評価する音声ではない.

F, M, N = 5, 2, 2
x = np.ones((F, M), dtype=np.complex128)
W = np.broadcast_to(np.eye(N, M), (F, N, M)).copy()
covariance = np.zeros((F, M, M), dtype=np.complex128)

y, covariance = process_frame(x, W, covariance)
print(y.shape, covariance.shape)

ストリーミング処理の境界

別の録音へ移るときは,分離行列,統計量,STFTと逆STFTのバッファをまとめて初期化する. 同じ録音をチャンクに分けて渡す場合は,これらの状態を引き継ぐ. 最後のチャンクのゼロ埋めと出力の切り詰め方も決めておく.

オンライン性を確認する際は,同じ過去を持ち,未来だけが異なる入力を比較する. 利用を認める先読み区間を揃え,それより前の出力が未来の変更で変わるかを確認する. STFTの中央寄せや正規化で未来のサンプルを参照していないかも調べる.

評価時に保存する記録

入力と出力のチャネル順,スケールの復元方法,ウォームアップ区間,フレームごとの処理時間を保存する. 音質の評価値と処理時間を,同じ入力の識別子に結び付ける. 実行条件の保存方法は音響信号処理の実験管理を参照する.

参考資料

サイト内検索

検索する語句を入力してください.

    サイト内検索 →