[논문리뷰] SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model

링크: 논문 PDF로 바로 열기

메타데이터

저자: Aviad Dahan, Rajaei Khatib, Yonatan Bitton, Idan Szpektor, Lior Wolf, Raja Giryes

1. Key Terms & Definitions (핵심 용어 및 정의)

• Audio-Mix: 기존 오디오-비디오 생성 모델이 출력하는 통합된 단일 오디오 채널로, 개별 음원을 분리하거나 수정할 수 없는 형태입니다.
• Stem: 특정 음원(Source)에 해당하는 개별 오디오 파형(Waveform)을 의미하며, 이를 통해 공간 오디오 렌더링이 가능해집니다.
• Cross-Stem Attention Guidance (CSAG): 각 stem이 자신의 캡션에 집중하도록 유도하면서, 동시에 타 stem(sibling)의 캡션을 부정적인 프롬프트로 활용하여 간섭을 최소화하는 메커니즘입니다.
• Estimated Separation: 생성 모드 시 노이즈가 섞인 오디오-믹스를 직접 참조하는 대신, 생성 단계에서 예측된 깨끗한(clean) 오디오-믹스 추정치를 참조하여 stem을 생성하는 기법입니다 [Figure 2].
• LoRA (Low-Rank Adaptation): 기존의 사전 학습된 거대 모델 가중치를 고정하고, 오디오 스트림의 stem 토큰에만 경량 파라미터를 추가하여 학습 효율을 극대화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 joint audio-video 생성 모델이 전체 scene을 단일 Audio-Mix로만 출력하여, 개별 음원의 위치 변경이나 제거가 불가능하다는 한계를 해결하고자 합니다 [Figure 1]. 기존의 사후 분리(post-hoc separation) 모델은 개별 음원 처리에 추가적인 비용이 발생하며, 특히 동일 범주의 소리가 여러 개 존재할 경우 모델이 동일한 소리를 중복 출력하는 오류를 범하기 쉽습니다. 이를 극복하기 위해 저자들은 비디오, 통합 오디오-믹스, 그리고 각 소리에 대한 개별 Stem을 단일 샘플링 실행(single sampling run) 내에서 동시에 생성하는 SepGen을 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

SepGen은 사전 학습된 오디오-비디오 생성 모델(예: LTX-2.5)의 구조를 유지하면서, audio 스트림에 새로운 stem 채널을 추가하여 학습하는 프레임워크입니다 [Figure 1]. 저자들은 두 단계의 학습 전략을 제안하는데, 1단계에서는 분리(separation) 작업에 집중하고, 2단계에서는 노이즈 수준을 조절하여 생성(generation)과 분리가 모두 가능한 통합 모델을 완성합니다. 특히, Cross-Stem Attention Guidance를 통해 stem 간의 간섭을 억제하고, 각 stem이 자신의 캡션에만 충실하도록 설계하였습니다 [Figure 2].

실험 결과, SepGen은 생성된 scene과 실제 오디오 녹음 환경 모두에서 기존의 언어 조건부 분리 모델(Cascade baselines)들을 압도하는 성능을 보였습니다. 정량적 지표인 Judge 점수에서 타 모델 대비 우위를 점했으며, 특히 J-swap 및 C-swap 지표에서 각 음원의 독립적인 식별 능력이 크게 향상되었음을 확인했습니다 [Table 1, Table 2]. 또한, WER 측면에서도 음성 분리 작업 시 압도적인 성능을 보이며, 동일한 모델 가중치로 생성과 분리 모드를 모두 성공적으로 수행할 수 있음을 입증했습니다 [Table 1, Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 단일 모델 내에서 오디오-비디오 생성과 개별 음원 분리(Multi-Stem)를 동시에 달성한 최초의 프레임워크인 SepGen을 제시하였습니다. 이 연구는 4D 오디오-비디오 장면의 재렌더링 및 공간 오디오 렌더링에 필요한 필수적인 기능을 제공하며, 기존 모델의 구조적 제약을 극복했습니다. 본 방법론은 향후 고품질 인터랙티브 미디어 생성 및 편집 분야에서 표준적인 접근 방식으로 활용될 것으로 기대되며, 학계와 산업계 전반에 걸쳐 보다 정교한 오디오-비디오 제어 기술의 발전을 촉진할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.