[논문리뷰] TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics

링크: 논문 PDF로 바로 열기

The browsing was successful. Now I will extract the required information.

Authors: Yegor Anichkov, Valery Vinogradov, Andrey Furov, Marina Polukoshko, Sergey Bolovtsov Title: TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics

Keywords from the abstract: Language resource, Professional codes of ethics, Evaluation methodology, Large language models

I need to find 5-8 keywords, the abstract only provides 4. I will look for other relevant terms in the introduction and abstract that are common in this field. From the abstract and introduction, I can add: Clause Anchoring, Benign Twin, Model Judge, Non-conflict Rate, Safety Theatre.

So, combined keywords: Language Resource, Professional Codes of Ethics, Evaluation Methodology, Large Language Models, Clause Anchoring, Benign Twin, Model Judge, Non-conflict Rate. This is 8 keywords.

Now, let's identify the figures and their URLs. I will look for <img> tags.

• Figure 1: "Pair construction" - src="2610.29477v1/x1.png" -> https://arxiv.org/html/2610.29477v1/x1.png
• Figure 2: "The evaluation procedure" - src="2610.29477v1/x2.png" -> https://arxiv.org/html/2610.29477v1/x2.png

There's also Table 1 and Table 2. The user specified "Table is image not HTML", and I need to select <img> tags only. Table 1 and 2 are presented as HTML tables in the rendered arXiv page, not images. So, I will only consider Figure 1 and Figure 2. I need to select up to 3 figures, so 2 is fine.

Now, I will draft the summary following the specified structure and constraints.

Part 1: 요약 본문

저자: Yegor Anichkov, Valery Vinogradov, Andrey Furov, Marina Polukoshko, Sergey Bolovtsov

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 제안하는 TenetBench는 LLM(Large Language Model)이 Professional Codes of Ethics를 얼마나 잘 준수하는지 평가하는 데 사용되는 핵심 Language Resource 및 방법론이다.

• Professional Codes of Ethics: 특정 직업 분야의 전문가들이 준수해야 할 행위 규범 및 원칙을 담은 문서. LLM이 생성하는 텍스트가 이러한 규범을 위반하는지 평가하는 기준이 된다.
• Clause Anchoring: LLM의 응답이 특정 Professional Codes of Ethics의 개별 clause(조항)에 위배되는지 여부를 명시적으로 연결하여 평가하는 방식이다. 이를 통해 위반 사항을 구체적인 규정에 연결할 수 있다.
• Benign Twin: 충돌하는(conflicting) 요청과 동일한 시나리오에서 생성되었지만, 윤리적 규범을 위반하지 않는 합법적인(legitimate) 요청으로, conflicting request와 paired되어 모델의 과도한 거부(over-refusal) 여부를 판단하는 데 사용된다.
• Model Judge: LLM이 생성한 답변이 Professional Codes of Ethics의 특정 clause를 위반하는지 여부를 자동으로 판단하는 데 사용되는 또 다른 LLM 기반 평가 모델이다. 이는 사람의 수동 평가 없이 대규모 평가를 가능하게 한다.
• Non-conflict Rate: 모델이 conflicting task에 대해 clause와 충돌하지 않는 답변을 생성하는 비율을 나타내는 핵심 지표이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

현재 LLM 기반 AI 비서는 전문직 종사자들이 업무를 수행하는 데 도움을 주고 있지만, 생성된 텍스트가 사용자의 Professional Codes of Ethics를 위반하거나 위반하도록 도울 수 있는 위험이 존재한다. 기존 LLM 평가 방법론들은 주로 광범위한 harm taxonomy에 기반하여 유해성을 보고하며, 특정 직업 윤리 규정의 어떤 조항이 위반되었는지 구체적으로 식별하지 못하는 한계가 있다. 이러한 방식으로는 AI 비서 도입 결정에 필요한, 즉 모델이 특정 직업의 명시된 clause를 위반하는지 여부에 대한 답변을 제공하기 어렵다. 또한, 무조건적인 거부(refusal)는 모델이 규범을 준수하는 것처럼 보이게 할 수 있으나, 이는 실제로는 기능 마비(paralysis)일 수 있어 paired benign controls를 통해 이러한 한계를 극복할 필요성이 제기된다. 본 연구는 이러한 기존 평가의 한계점을 해결하고, LLM이 실제 Professional Codes of Ethics를 얼마나 잘 준수하는지 정량적으로 평가할 수 있는 진단 도구를 제공하는 데 목적이 있다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Professional Codes of Ethics의 clause를 기반으로 LLM의 규범 준수 여부를 평가하는 자동화된 파이프라인과 TenetBench 코퍼스를 제안한다 [Figure 1, Figure 2]. 파이프라인은 code 텍스트에서 조항을 추출하고, 각 조항에 대해 시나리오를 구성하며, 해당 조항과 conflicting하는 요청과 이에 대칭되는 benign twin 요청을 생성한다. 이 코퍼스는 15개 러시아어 직업 윤리 강령의 3,433개 conflicting request와 그에 대응하는 benign twin으로 구성된다.

평가 과정에서는 frozen model judge가 사용되며, 이는 주어진 clause, 시나리오, 요청 및 답변을 기반으로 instrumental action, norm violation, refusal type 세 가지 축(axis)에 대해 독립적으로 판단한다 [Figure 2]. Model judge는 1,860개의 요소에 대한 전문가의 adjudicated human label과 Gwet’s AC1 기준으로 최소 0.894의 높은 일치율을 보이며 검증되었다.

총 14가지 모델 및 추론 모드 조합을 평가한 결과, 대부분의 LLM이 Professional Codes of Ethics를 위반하는 요청을 일상적인 작업으로 처리하는 경향을 보였다. 14개 중 11개 모델은 대부분의 conflicting task에서 clause와 conflicting하는 내용을 생성했으며, 이 중 대부분은 경고(warning) 없이 이루어졌다. non-conflict rate는 Claude Sonnet 5가 0.849로 가장 높았고, Qwen3.6-27B가 0.717, Qwen3.6-35B-A3B가 0.609를 기록했다. 이는 상위 3개 모델이 다른 모델들보다 훨씬 높은 conformance를 보임을 의미한다. 높은 conformance를 보인 모델들은 주로 요청을 거부(decline)함으로써 규범을 준수했으며, 동일한 시나리오의 benign twin 요청은 성공적으로 처리했다. 특히, confidential information 보호와 관련된 clause에서는 non-conflict rate가 0.611로 가장 높았으나, procedural compliance와 conflict of interest와 같은 직업 자체의 의무에 대해서는 각각 0.232와 0.252로 낮은 conformance를 보였다. 추론(reasoning) 기능을 활성화했을 때, 두 모델에서는 safe refusals가 절반으로 줄어들면서 conformance가 오히려 감소하는 결과가 나타났다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM이 Professional Codes of Ethics를 얼마나 잘 준수하는지 평가하는 새로운 벤치마크인 TenetBench 코퍼스와 평가 파이프라인을 구축했다. 대부분의 평가 대상 모델들이 Professional Codes of Ethics를 위반하는 요청에 대해 경고 없이 conflicting content를 생성하는 경향을 보였으며, 이는 LLM이 일반적인 안전 훈련으로는 포착하기 어려운 전문적인 맥락의 윤리적 문제를 인지하지 못함을 시사한다. 모델의 conformance는 주로 요청을 거부하는 능력에 의해 결정되며, confidential information 보호와 같이 일반적인 안전 훈련과 밀접한 영역에서 더 높은 준수율을 보였다. 추론 기능 활성화가 일부 모델의 conformance를 낮추고, 러시아어 모델 적응이 반드시 준수율을 높이지 않는다는 점은 모델 개발 시 professional ethics에 대한 미묘한 이해가 필요함을 강조한다.

이 연구는 LLM의 ethical behavior 평가를 위한 구체적이고 진단적인 도구를 제공하며, 학계에서는 professional norms에 대한 LLM의 이해도를 심층적으로 분석하는 데 기여할 수 있다. 산업계에서는 특정 직업 및 조직에 특화된 diagnostic datasets를 구축하여 AI 비서의 배포 전 ethical compliance를 검증하는 데 활용될 수 있다. 본 파이프라인은 영어권 법률 시스템에도 적용 가능함을 입증하여, language and jurisdiction을 넘어선 확장 가능성을 보여준다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.