주파수 영역의 입출력
STFT 관측을 으로 둔다. 여기서 는 주파수 빈, 는 프레임, 은 마이크 수이다. 출력 수를 으로 두고 분리 행렬 을 다음 방향으로 정의한다.
이 정의에서 분리 행렬의 각 행은 이미 켤레 전치된 계수를 포함한다. 따라서 코드에서 행렬 전체에 다시 켤레를 취할 필요가 없다.
배열의 형상
한 프레임을 처리하는 함수에서 시간 축을 인수에서 제외하면 상태 전달을 정리하기 쉽다.
| 대상 | 배열 | 형상 |
|---|---|---|
| 관측 | x | (F, M) |
| 분리 행렬 | W | (F, N, M) |
| 관측 공분산 | covariance | (F, M, M) |
| 출력 | y | (F, N) |
프레임 간에 유지하는 상태
관측 외적의 지수 이동 평균으로 관측 공분산 상태를 다음과 같이 갱신할 수 있다. 망각 계수 는 로 둔다.
다음 예제는 관측 공분산 갱신과 주어진 분리 행렬의 적용을 보여 준다. 분리 행렬의 학습 규칙은 포함하지 않으므로 이 함수만으로 음원 분리를 학습할 수는 없다. Python과 NumPy를 사용한다.
import numpy as np
def process_frame(x, W, covariance, beta=0.98):
"""x: (F, M), W: (F, N, M), covariance: (F, M, M)."""
if not 0.0 <= beta < 1.0:
raise ValueError("beta must satisfy 0 <= beta < 1")
outer = x[:, :, None] * x[:, None, :].conj()
covariance = beta * covariance + (1.0 - beta) * outer
y = np.einsum("fnm,fm->fn", W, x)
return y, covariance초기 상태
다음 예제에서는 주파수 빈 수를 5, 마이크 수와 출력 수를 2로 둔다. 단위 행렬로 초기화하면 출력은 관측과 일치한다. 계산 연결과 형상을 확인하기 위한 입력이며 분리 성능을 평가하는 음성은 아니다.
F, M, N = 5, 2, 2
x = np.ones((F, M), dtype=np.complex128)
W = np.broadcast_to(np.eye(N, M), (F, N, M)).copy()
covariance = np.zeros((F, M, M), dtype=np.complex128)
y, covariance = process_frame(x, W, covariance)
print(y.shape, covariance.shape)스트리밍 처리의 경계
다른 녹음으로 넘어갈 때는 분리 행렬, 통계량, STFT와 역STFT 버퍼를 함께 초기화한다. 같은 녹음을 청크로 나누어 전달할 때는 상태를 유지한다. 마지막 청크의 영 채움과 출력 자르기 방식도 정한다.
온라인성을 확인하려면 과거가 같고 미래만 다른 입력을 비교한다. 허용하는 미리보기 구간을 맞추고, 그 이후의 입력 변경이 이전 출력에 영향을 주는지 확인한다. 중앙 정렬 STFT와 정규화가 미래 샘플을 참조하는지도 확인한다.
평가 시 저장할 기록
입출력 채널 순서, 스케일 복원 방법, 워밍업 구간과 프레임별 처리 시간을 저장한다. 음질 평가값과 처리 시간을 같은 입력 식별자에 연결한다. 실행 조건의 저장 방법은 음향 신호 처리 실험 관리를 참조한다.