나카시마 타이시의 초상 일러스트 나카시마 타이시 Taishi Nakashima

조교수
도쿄도립대학교
시스템디자인학부 정보과학과
오노 연구실

사이트 검색

음향 신호 처리 실험 관리

비교 조건의 고정

실험마다 샘플링 주파수, STFT 창 길이와 홉 길이, 입력 순서를 기록한다. 난수를 사용하는 처리에서는 시드, 난수 생성기와 실행 환경도 기록한다. 시드가 같아도 라이브러리나 컴퓨터가 다르면 결과의 일치를 보장할 수 없다.

sample_rate = 16000
fft_size = 1024
hop_size = 256
seed = 42

[evaluation]
warmup_frames = 100

이 설정을 config.toml로 저장한다. 값은 교재용 예시이며, 사용하는 음성과 방법에 맞게 정한다.

입력 데이터의 식별

음성 파일의 경로와 SHA-256을 함께 기록하면 파일명이 같아도 내용의 변경을 추적할 수 있다. 마이크 순서, 추출 구간, 리샘플링과 정규화 조건도 처리한 음성에 대응시킨다.

실행 기록의 저장

다음 코드는 Python 3.11 이상 표준 라이브러리만 사용한다. 설정 파일과 입력 파일의 해시를 새로운 실행 디렉터리에 저장한다. python record_run.py config.toml mixture.wav와 같이 실제로 사용하는 음성을 지정하여 실행한다.

import hashlib
import json
import platform
import sys
import tomllib
import uuid
from datetime import datetime, timezone
from pathlib import Path

config_path, audio_path = map(Path, sys.argv[1:])
config_bytes = config_path.read_bytes()
config = tomllib.loads(config_bytes.decode("utf-8"))
with audio_path.open("rb") as stream:
    audio_hash = hashlib.file_digest(stream, "sha256").hexdigest()

run_id = uuid.uuid4().hex
run_dir = Path("runs") / run_id
run_dir.mkdir(parents=True, exist_ok=False)
record = {
    "run_id": run_id,
    "created_at": datetime.now(timezone.utc).isoformat(),
    "config": config,
    "input": {"path": str(audio_path), "sha256": audio_hash},
    "python": platform.python_version(),
}
(run_dir / "config.toml").write_bytes(config_bytes)
(run_dir / "run.json").write_text(
    json.dumps(record, ensure_ascii=False, indent=2) + "\n",
    encoding="utf-8",
)

코드 리비전, 의존성 잠금 파일과 실행 명령도 같은 디렉터리에 저장하면 재실행에 필요한 조건을 추적하기 쉽다. 이후의 실험 결과는 이 run_id와 입력 식별 정보에 연결한다.

처리 시간의 집계

음성 길이가 TaudioT _ {\mathrm{audio}}, 처리 시간이 TprocessT _ {\mathrm{process}}일 때 real-time factor (RTF)를 다음과 같이 정의할 수 있다.

RTF=TprocessTaudio.\mathrm{RTF} = \frac{T _ {\mathrm{process}}}{T _ {\mathrm{audio}}} .

측정에 파일 읽기와 STFT를 포함하는지 명시하고, 방법을 비교할 때 측정 범위를 맞춘다. 온라인 처리에서는 평균 RTF에 더해 프레임별 처리 시간과 최댓값을 저장한다. 평균 RTF가 1 미만이어도 일부 프레임이 처리 기한을 넘을 수 있다.

프레임 처리 기한

홉 길이 HH와 샘플링 주파수 fsf _ {\mathrm{s}}에 대해 다음 프레임이 도착할 때까지의 시간은 Δt=H/fs\Delta t = H / f _ {\mathrm{s}}이다. 위 설정에서는 16 ms이다. 이 시간은 창 처리나 입출력 버퍼의 지연과 구분한다.

참고 자료

사이트 검색

검색어를 입력해 주세요.

    사이트 검색 →