关于LLM-as-a-judge范式，终于有综述讲明白了

核心内容速览

• Judge 的分类框架：按评估对象（事实性/安全性/对齐性…）、按判断形式（打分/成对比较/排序）、按提示方式（零样本/few-shot/链式思考）系统分类。
• 偏差清单：位置偏差、冗长偏差、自我增强、风格偏好——每种偏差都有对应的缓解策略。
• Judge 的元评估：用什么数据集和指标来衡量「judge 本身判得准不准」，是 a04 校准话题的学术版。

适合谁 · 怎么用

遇到 Judge 可靠性问题、或需要做技术调研时查阅（知识地图 M4 模块）。建议直接读 arXiv 原文或本站的中文编译版导读。

闯关自测

先合上原文在心里作答，再点开对照。全对 = 本篇真正通关。

以下为原文全文

上方为本站原创导读，下方为原文完整收录，便于对照阅读。

传统评估方法（基于匹配或词嵌入）往往无法判断精妙的属性。LLM 的进展启发了「LLM-as-a-judge」范式：用 LLM 在各种任务中执行评分、排名或选择。综述从三个维度建立分类法：评判什么（what）、如何评判（how）、在哪里评判（where）。

定义：按输入与输出格式划分

• 输入层面：逐点（point-wise）输入 vs 成对/列表（pair/list-wise）输入；
• 输出层面：评分（scoring）、排序（ranking）、选择（selection）。

Attribute：评判什么

LLM-as-a-judge 已被证明可在多种属性上提供可靠评判：回复的帮助性（helpfulness）、无害性（harmlessness）、可靠性（reliability）、生成/检索文档的相关性（relevance）、推理过程中每一步的可行性（feasibility），以及生成文本的综合质量。

Methodology：如何评判

微调

许多工作探索训练专门的评判模型，按数据来源（人工标注 vs 模型反馈）和微调技术（有监督微调 SFT vs 偏好学习）分类。代表性工作包括 AttrScore、PandaLM、AUTO-J、JudgeLM、Self-Judge、X-EVAL、FLAMe、InstructScore、CritiqueLLM、Meta-Rewarding、Self-Taught Evaluator、HALU-J、OffsetBias、SorryBench、LLaVA-Critic、PROMETHEUS2、Themis 等。

提示（Prompting）

六类常用提示策略：交换操作（swapping，对抗位置偏见）、规则增强（rule augmentation）、多智能体合作（multi-agent collaboration）、演示增强（demonstration/few-shot）、多轮动态交互（multi-turn interaction）、对比加速（comparison acceleration）。

Application：在哪里评判

1. 评估：开放式生成、推理过程及新兴 NLP 任务的评测，替代静态指标捕捉细粒度语义；
2. 对齐：用更大的模型或策略模型本身作为评估者生成偏好数据，大幅降低人工标注成本（RLAIF 等）；
3. 检索：判断文档与请求的相关性；在 RAG 中选择对后续生成最有帮助的辅助文档；
4. 推理：依据上下文选择最合理的外部工具；通过过程奖励指导推理路径选择。

基准：如何评判「评判者」本身

综述汇总了针对 LLM-as-a-judge 的基准测试集，按目的可分为：偏见量化基准、挑战性任务基准、领域特定基准、多语言/多模态/指令跟随基准。代表性基准：MT-Bench、Chatbot Arena、JudgeBench、JUDGE-BENCH、CALM、R-Judge、Arena-Hard Auto 等。常用指标包括一致性（Cohen's kappa）、相关性、位置偏见、长度偏见等。

展望：挑战和机遇

1. 偏见与脆弱性：顺序偏见、自我偏好偏见、长度偏见等影响公平性；面对外部攻击的鲁棒性不足；
2. 更动态、复杂的评判：多智能体判断、LLM-as-a-examiner、自适应难度的评判系统；
3. 自我判断：「先有鸡还是先有蛋」困境——强大的评估者对训练强大的 LLM 至关重要，但提升 LLM 又需要公正的评估者；
4. 人类协同共同判断：用 LLM 选择很小但有代表性的测试子集进行人工评测，是值得关注的方向。