[논문리뷰] WMIP: A Working-Memory-Inspired Programmable Probe of Cumulative State Tracking in Large Language Models이 논문은 기존 LLM 평가가 fixed-difficulty benchmark에 의존해서 모델이 발전하면 saturate되고, 특정 cognitive process를 isolate하지 못한다는 문제를 다룹니다.#Review#Working Memory#Cumulative State Tracking#LLM Evaluation#Construct Validity#Parameterized Difficulty#Agent Benchmark#Kendall's Tau2026년 11월 11일댓글 수 로딩 중
[논문리뷰] CogBattery: Human-Referenced Evaluation of Cognitive Task Behavior and Structure in Language Models이 논문은 LLM의 cognitive task 점수를 '능력별 profile'로 정리하는 관행이 타당한지 검증하는 multimethod framework를 제안합니다. 최근 연구들은 LLM의 인지 점수를 ability당 하나의 점수로 보고합니다.#Review#Cognitive Benchmark#Construct Validity#Psychometrics#Positive Manifold#Prompt Scaffolding#Intervention Selectivity#Cross-Family Transport#Large Language Models2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Human Psychometric Questionnaires Mischaracterize LLM Behavior본 논문은 LLM의 가치와 성격을 평가하기 위해 인간용 심리측정 설문지를 사용하는 것이 과연 실제 사용자 상호작용에서의 행동을 신뢰성 있게 예측하는지 의문을 제기합니다.#Review#LLM#Psychometrics#Value Portrait#Generation Probability#Alignment#Construct Validity2026년 6월 8일댓글 수 로딩 중