[논문리뷰] ABF-Bench: A Verifiable Benchmark for Agentic Blockchain Forensics

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xiaohang Yu, Hejia Geng, William Knottenbelt, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agentic Blockchain Forensics: LLM 기반 에이전트가 블록체인 상에서 자금 흐름을 추적하고, 기록을 해석하며, 조사 전략을 스스로 결정하는 패러다임입니다.
• ABF-Bench: 자금 추적 결과와 그에 대한 증거(ledger records)를 함께 검증할 수 있도록 설계된 인터랙티브 벤치마크입니다.
• Reference Graph: 각 조사 태스크의 정답에 해당하는 자금 흐름을 그래프로 나타낸 것으로, 저자들이 정의한 보수적 규칙을 통해 생성됩니다.
• Edge Recall: 에이전트가 제출한 유효한 operation 중 Reference Graph에 포함된 엣지를 얼마나 복구했는지를 측정하는 핵심 성능 지표입니다.
• Verifier (V): 에이전트가 보고한 operation이 제출된 증거(ledger records)에 의해 기술적으로 뒷받침되는지 결정론적으로 확인하는 시스템입니다 [Figure 1].

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

블록체인 포렌식은 자금 세탁 방지(AML) 및 사고 대응의 핵심이나, 세탁 기법이 지속적으로 진화함에 따라 고정된 프로시저(Fixed-order tracers)로는 추적의 한계가 명확합니다. 기존의 자동화된 추적 기법들은 변화하는 공격 전술에 적응하지 못하며, LLM 에이전트의 활용이 대안으로 제시되지만, 이들의 추론 결과가 포렌식적 엄밀함을 갖추고 있는지 검증할 방법이 부족합니다. 본 논문은 이러한 불투명성을 해결하기 위해, 모든 주장이 퍼블릭 레저의 기록에 의해 뒷받침되어야 하는 ABF-Bench를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 실제 자금 세탁 사고 데이터를 바탕으로 well-posed 된 포렌식 태스크를 생성하는 파이프라인을 구축하고, 추적 에이전트의 성능을 측정하는 ABF-Bench를 제안합니다 [Figure 2]. 저자들은 에이전트가 작업 메모리, 도구 사용, 휴리스틱을 활용하여 레저 데이터를 조회하고 보고서를 생성하도록 설계된 ABF agent harness를 개발하였습니다 [Figure 3]. 실험 결과, ABF agent harness는 GPT-5.5 기반 동일 모델을 사용하는 Codex 대비 Edge Recall에서 0.75 대 0.47로 압도적인 성능을 보였습니다 [Table 3]. 또한, ABF agent harness는 고정된 방식의 Tracer (bfs) 보다 빠르게 증거를 수집하는 효율성을 보였으며, 일반적인 자동화 도구가 놓치기 쉬운 미공개 커스터디 서비스를 89% 인식하는 Adaptability를 입증하였습니다. 다만, 모든 에이전트 모델은 태스크 후반부로 갈수록 조사를 조기에 종료하는 경향이 있어, 최종적인 Edge Recall은 Tracer (bfs)(0.88) 보다는 다소 낮게 나타났습니다 [Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 블록체인 포렌식을 LLM 에이전트가 수행할 수 있는 검증 가능한 태스크 도메인으로 성공적으로 정의하였습니다. ABF-Bench는 단순한 성능 평가를 넘어, 에이전트의 조사 전략을 향상시키기 위한 학습 신호를 제공하고 포렌식 도메인에서의 에이전트 신뢰성을 확보하는 데 중요한 이정표가 될 것입니다. 연구진이 제안한 harness는 기존 에이전트 설계가 포렌식 효율성을 높일 수 있음을 입증했으며, 향후 더 정교한 에이전트 설계를 통해 포렌식 조사관들의 생산성을 획기적으로 개선할 수 있는 기반을 마련하였습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.