[논문리뷰] Retrieval Augmented Generation Compositionality

링크: 논문 PDF로 바로 열기

저자: Ido Levy, Segev Shlomov, Leshem Choshen

1. Key Terms & Definitions (핵심 용어 및 정의)

• Retrieval Augmented Generation (RAG): 대규모 언어 모델(Large Language Models, LLMs)이 외부 지식을 기반으로 응답을 생성하도록 하는 기술입니다.
• lasagna: RAG 파이프라인의 새로운 구성 요소를 기존의 완전한 파이프라인 내에서 평가하기 위해 설계된 오픈 소스 프레임워크입니다.
• NDCG@10: 검색 품질(Retrieval Quality)을 측정하는 지표로, 관련성 높은 문서가 얼마나 효과적으로 검색되었는지 나타내며 BEIR 컨벤션을 따릅니다.
• Faithfulness: 생성된 답변의 내용이 검색된 컨텍스트(Retrieved Context)에 얼마나 충실하게 근거하고 있는지를 RAGAS를 통해 평가하는 지표입니다.
• Composition Shortfall: 개별적으로 측정된 RAG 기술들의 성능 향상을 합산한 예상치와, 해당 기술들을 조합했을 때 실제로 달성된 성능 향상 간의 차이를 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 현대 RAG 파이프라인의 구성 요소들이 개별적으로 평가될 때의 성능 향상이 실제 복합 환경에서도 유지되는지, 그리고 검색 품질과 답변 Faithfulness가 동일한 설계 선택을 지지하는지 불분명하다는 문제에 주목합니다. 기존 RAG 파이프라인은 Embedding, Chunking, Retrieval, Reranking, Query Augmentation, Context Compression, Agentic Verification 등 다양한 기술들을 조합하지만, 대부분의 새로운 기술들은 파이프라인의 다른 부분과 격리된 채 단일 단계에서만 평가되어 왔습니다. 이러한 개별적인 평가는 기술 간의 Interaction Effects를 간과하며, 고립된 환경에서 측정된 성능 이점이 전체 파이프라인에 통합될 때에도 유지될지 확신하기 어렵게 만듭니다. 또한, 대부분의 RAG 연구가 5K에서 50K 문서 규모의 작은 코퍼스(Corpus)에서 진행되지만, 실제 RAG 애플리케이션은 이보다 훨씬 큰 규모의 코퍼스를 다루기 때문에, 작은 코퍼스에서 도출된 결론이 대규모 환경에서도 유효한지 여부가 불확실하다는 한계가 있습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 이러한 문제를 해결하기 위해, RAG 구성 요소들을 모듈화하고 단계별 격리(Stage-Isolated)를 보장하는 오픈 소스 프레임워크인 lasagna를 제안합니다 [Figure 1]. lasagna는 8가지 구성 가능한 파이프라인 단계(Embedding, Chunking, Index-Time Enrichment, Retrieval, Query Augmentation, Reranking, Context Compression, Agentic Quality Gates)를 포함하며, 각 단계는 고정된 인터페이스 뒤에 위치하여 구성 요소 변경이 다른 단계에 영향을 미치지 않도록 합니다. 연구는 8개의 벤치마크와 5K에서 200K 문서 규모의 코퍼스에 걸쳐 450개의 구성을 테스트했습니다.

첫째, 개별적으로 강력한 기술들이 반드시 함께 좋은 성능을 내지는 않는다는 점이 밝혀졌습니다. 특히 Retrieval 품질의 경우, Cross-encoder reranking, MMR 비활성화, Document-awareness prefixes라는 세 가지 개별 기술이 합산하여 +47%의 NDCG@10 향상을 예측했지만, 이들을 조합한 파이프라인은 실제로는 +17%의 향상만을 달성하여 63%의 Composition Shortfall을 보였습니다. 반면 Faithfulness 향상은 예측치에 가깝게 조합되는 경향을 보였습니다.

둘째, 구성 요소들의 이점은 Retrieval과 Faithfulness 목표에 따라 다르게 작용하며, 한 지표를 최적화하면 다른 지표에 부정적인 영향을 줄 수 있습니다. Embedding, Enrichment, Reranking은 Retrieval Quality에 가장 큰 영향을 미치지만, Query Augmentation과 Agentic Gating은 답변 Faithfulness에 가장 중요하게 작용합니다 [Figure 3, cite: 1]. 두 지표 간에는 통계적으로 무관한 관계(Pearson r=−0.01)가 관찰되어, RAG 파이프라인 설계 시 두 가지 지표를 모두 고려해야 함을 시사합니다.

셋째, 코퍼스 규모에 따라 최적의 RAG 구성이 달라지는 것으로 나타났습니다. standard 프로파일은 작은 규모의 코퍼스(5K, 15K 문서)에서 우수한 성능을 보였지만, 25K 문서부터는 balanced 프로파일이 우위를 점하며 200K 문서에서는 standard 대비 13.7% 더 높은 NDCG@10을 달성했습니다 [Figure 4(a), cite: 1]. 이는 작은 코퍼스에서의 평가 결과가 대규모 배포 환경에서 그대로 적용되지 않을 수 있음을 의미합니다. 또한, Retrieval NDCG@10이 코퍼스 규모에 따라 감소하는 반면, Faithfulness는 코퍼스 규모에 따라 크게 저하되지 않고 50K 문서에서 정점을 찍는 등 다르게 스케일링되는 양상을 보였습니다 [Figure 4(b), cite: 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 개별 RAG 구성 요소들의 성능 향상이 전체 파이프라인에 조합될 때 반드시 유지되지 않으며, Retrieval Quality와 Answer Faithfulness가 서로 다른 설계 선택을 요구하고, 최적의 구성이 코퍼스 규모에 따라 달라진다는 핵심적인 결론을 제시합니다. 따라서 새로운 RAG 기술은 대표적인 전체 파이프라인 내에서, Retrieval Quality와 Answer Faithfulness라는 두 가지 지표 모두에 대해, 그리고 실제 사용될 코퍼스 규모에 맞춰 평가되어야 합니다. 저자들은 이러한 복잡한 연구를 실용적이고 재현 가능하게 만들기 위해 lasagna 프레임워크를 오픈 소스로 공개했습니다. 이는 RAG 연구 커뮤니티가 현재 일반적인 개별 구성 요소 단위의 Ablation Study에서 벗어나, 구성 요소 간의 Compositionality를 고려한 평가를 새로운 표준으로 채택하도록 장려하여, 보다 견고하고 현실적인 RAG 시스템 설계를 가능하게 할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.