나카시마 타이시의 초상 일러스트 나카시마 타이시 Taishi Nakashima

조교수
도쿄도립대학교
시스템디자인학부 정보과학과
오노 연구실

사이트 검색

온라인 음원 분리 구현

주파수 영역의 입출력

STFT 관측을 xf,t∈CM\mathbf{x} _ {f,t} \in \mathbb{C}^{M}으로 둔다. 여기서 ff는 주파수 빈, tt는 프레임, MM은 마이크 수이다. 출력 수를 NN으로 두고 분리 행렬 Wf,t∈CN×M\mathbf{W} _ {f,t} \in \mathbb{C}^{N \times M}을 다음 방향으로 정의한다.

yf,t=Wf,txf,t.\mathbf{y} _ {f,t} = \mathbf{W} _ {f,t} \mathbf{x} _ {f,t} .

이 정의에서 분리 행렬의 각 행은 이미 켤레 전치된 계수를 포함한다. 따라서 코드에서 행렬 전체에 다시 켤레를 취할 필요가 없다.

배열의 형상

한 프레임을 처리하는 함수에서 시간 축을 인수에서 제외하면 상태 전달을 정리하기 쉽다.

대상배열형상
관측x(F, M)
분리 행렬W(F, N, M)
관측 공분산covariance(F, M, M)
출력y(F, N)

프레임 간에 유지하는 상태

관측 외적의 지수 이동 평균으로 관측 공분산 상태를 다음과 같이 갱신할 수 있다. 망각 계수 β\beta는 0≤β<10 \leq \beta \lt 1로 둔다.

Cf,t=βCf,t−1+(1−β)xf,txf,tH.\mathbf{C} _ {f,t} = \beta \mathbf{C} _ {f,t-1} + (1 - \beta) \mathbf{x} _ {f,t} \mathbf{x} _ {f,t}^{\mathrm{H}} .

다음 예제는 관측 공분산 갱신과 주어진 분리 행렬의 적용을 보여 준다. 분리 행렬의 학습 규칙은 포함하지 않으므로 이 함수만으로 음원 분리를 학습할 수는 없다. Python과 NumPy를 사용한다.

import numpy as np


def process_frame(x, W, covariance, beta=0.98):
    """x: (F, M), W: (F, N, M), covariance: (F, M, M)."""
    if not 0.0 <= beta < 1.0:
        raise ValueError("beta must satisfy 0 <= beta < 1")

    outer = x[:, :, None] * x[:, None, :].conj()
    covariance = beta * covariance + (1.0 - beta) * outer
    y = np.einsum("fnm,fm->fn", W, x)
    return y, covariance

초기 상태

다음 예제에서는 주파수 빈 수를 5, 마이크 수와 출력 수를 2로 둔다. 단위 행렬로 초기화하면 출력은 관측과 일치한다. 계산 연결과 형상을 확인하기 위한 입력이며 분리 성능을 평가하는 음성은 아니다.

F, M, N = 5, 2, 2
x = np.ones((F, M), dtype=np.complex128)
W = np.broadcast_to(np.eye(N, M), (F, N, M)).copy()
covariance = np.zeros((F, M, M), dtype=np.complex128)

y, covariance = process_frame(x, W, covariance)
print(y.shape, covariance.shape)

스트리밍 처리의 경계

다른 녹음으로 넘어갈 때는 분리 행렬, 통계량, STFT와 역STFT 버퍼를 함께 초기화한다. 같은 녹음을 청크로 나누어 전달할 때는 상태를 유지한다. 마지막 청크의 영 채움과 출력 자르기 방식도 정한다.

온라인성을 확인하려면 과거가 같고 미래만 다른 입력을 비교한다. 허용하는 미리보기 구간을 맞추고, 그 이후의 입력 변경이 이전 출력에 영향을 주는지 확인한다. 중앙 정렬 STFT와 정규화가 미래 샘플을 참조하는지도 확인한다.

평가 시 저장할 기록

입출력 채널 순서, 스케일 복원 방법, 워밍업 구간과 프레임별 처리 시간을 저장한다. 음질 평가값과 처리 시간을 같은 입력 식별자에 연결한다. 실행 조건의 저장 방법은 음향 신호 처리 실험 관리를 참조한다.

참고 자료

사이트 검색

검색어를 입력해 주세요.

    사이트 검색 →