[논문리뷰] Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents본 논문은 LLM 기반 코딩 에이전트의 성능이 모델 자체뿐만 아니라 이를 둘러싼 Harness의 설계 품질에 크게 의존함에도 불구하고, 기존 벤치마크들이 Harness 자체의 엔지니어링 능력을 평가하지 못한다는 점을 지적한다.#Review#LLM#Coding Agents#Harness Engineering#Long-Horizon#Software Engineering Benchmark#Deterministic Evaluation2026년 10월 14일댓글 수 로딩 중
[논문리뷰] JAMER: Project-Level Code Framework Dataset and Benchmark on Professional Game Engines본 논문은 프로페셔널 게임 엔진 환경에서 프로젝트 레벨의 코드 프레임워크를 생성하고 평가하는 AI 기술의 부재를 해결하고자 한다 . 기존 연구들은 주로 단일 파일 생성이나 간단한 게임 로직에 국한되어 있으며, 게임의 복잡한 런타임 행동을 정량적으로 평가할 수 있는 방법론이 부족하였다.#Review#Game Engine#Code Framework#Software Engineering#Benchmark#Dataset#Godot#Deterministic Evaluation2026년 6월 18일댓글 수 로딩 중
[논문리뷰] PaintBench: Deterministic Evaluation of Precise Visual Editing본 논문은 최신 멀티모달 모델들이 일반적인 시각 편집에는 능숙하지만, 정확한 단일 결과가 요구되는 정밀 편집 작업(Precise Visual Editing) 수행에는 한계를 보인다는 문제 의식에서 출발합니다.#Review#Multimodal Models#Image Editing#Benchmark#Deterministic Evaluation#Pixel-level#Procedural Generation2026년 6월 3일댓글 수 로딩 중
[논문리뷰] GISA: A Benchmark for General Information-Seeking Assistant기존 검색 에이전트 벤치마크들이 갖는 비현실적인 태스크 구성, 단일 정보 유형 집중, 정적 데이터로 인한 데이터 오염, 과정 수준 감독 부재 등의 한계를 극복하는 것을 목표로 합니다. 이를 위해 실제 정보 탐색 시나리오를 반영하고 심층 추론 및 광범위한 정보 통합을 지원하는 종합적인 벤치마크 GISA 를 제시합니다.#Review#Search Agents#Information Seeking#Benchmark#LLM-driven Agents#Human Trajectories#Deep and Wide Search#Deterministic Evaluation#Dynamic Evaluation2026년 2월 9일댓글 수 로딩 중