[논문리뷰] LLM-based Detection of Manipulative Political Narratives

링크: 논문 PDF로 바로 열기

메타데이터

저자: Sinclair Schneider, Florian Steuber, Gabi Dreo Rodosek

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• FIMI (Foreign Information Manipulation and Interference): 정치적 과정이나 가치를 훼손하기 위해 비국가적 또는 국가적 행위자가 조직적으로 사용하는 비합법적 정보 조작 패턴을 의미합니다.
• Strategic Narrative: 정치적 행위자가 대내외 행위자의 행동을 유도하기 위해 과거, 현재, 미래에 대한 공유된 의미를 구성하는 담론적 도구입니다.
• Prompt-based Filtering: 사전에 정의된 FIMI 특성과 few-shot 예제를 활용하여 대규모 데이터셋에서 단순한 정치적 비판과 조직적인 조작 서사를 분리하는 1단계 필터링 기법입니다.
• HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise): 데이터의 밀도 기반 클러스터링 알고리즘으로, 사전 정의된 클러스터 수 없이 데이터의 응집된 서사 그룹을 식별하는 데 사용됩니다.
• BERTopic: 텍스트 임베딩, 차원 축소 및 클러스터링을 통합하여 토픽을 모델링하는 프레임워크로, 본 논문에서는 의도 기반(intent-driven)으로 수정되어 사용되었습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 소셜 미디어상에서 폭증하는 정치적 조작 서사를 실시간으로 식별하고 구조화하는 계산적 프레임워크의 부재 문제를 해결하고자 합니다. 기존의 연구들은 주로 소규모로 수집된 데이터나 이미 라벨링된 사실 확인(fact-check) 기사 위주로 진행되어, 필터링되지 않은 방대한 소셜 미디어 원본 데이터 내에 숨겨진 조작 의도를 파악하는 데 한계가 있었습니다. 특히, 단순한 허위 정보(disinformation)와 사실을 악의적으로 재구성한 말정보(malinformation), 그리고 legítimate한 정치적 비판을 구분하는 것이 현대 Computational Social Science의 핵심 난제입니다. 저자들은 이러한 배경하에, 편향된 서사와 의도를 자동으로 구조화할 수 있는 모델 기반 파이프라인의 필요성을 강조합니다 [Figure 1].

Figure 1 — FIMI 캠페인의 행동 변화 경로

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 LLM 기반의 다단계 데이터 처리 파이프라인을 통해 조작 서사를 자동 식별하고 클러스터링하는 방식을 제안합니다 [Figure 2]. 먼저 Qwen3.5-122B 모델을 활용한 Prompt-based Filtering을 통해 120만 건 이상의 소셜 미디어 게시물 중 FIMI 특성을 가진 게시물을 선별합니다. 이후 Qwen3-Embedding-8B 모델을 통해 조작 의도 중심의 벡터 공간으로 매핑하고, UMAP을 통한 차원 축소와 HDBSCAN 클러스터링을 적용하여 잠재된 서사 그룹을 도출합니다. 실험 결과, 제안 모델은 F1 score 0.77을 기록하였으며, 인간 평가자와의 논리적 추론 정합성은 95.5%에 달하는 높은 수준을 보였습니다 [Figure 3]. 최종적으로 41개의 개별 조작 서사 클러스터를 성공적으로 추출하였으며, 최적의 클러스터링 성능을 위해 min_cluster_size = 400이 가장 효과적임을 확인했습니다 [Table 4].

Figure 2 — 데이터 처리 흐름도

Figure 3 — 모델 필터링 성능 정렬 행렬

4. Conclusion & Impact (결론 및 시사점)

본 연구는 대규모 비정형 데이터셋에서 인간의 개입을 최소화하면서도 고도의 조작 서사를 식별할 수 있는 효과적인 자동화 파이프라인을 제시했다는 점에서 중요한 학술적 가치를 지닙니다. 특히 LLM의 추론 능력을 결합하여 단순히 주제를 분류하는 것을 넘어, 조작의 핵심 기제와 의도를 포함한 완전한 스토리라인을 추출할 수 있음을 입증했습니다. 이 연구 결과는 향후 선거 개입이나 정보전과 같은 현대 사회의 정보 조작 문제를 방어하는 Computational Social Science 분야의 정책적, 기술적 기초 자료로 활용될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.