当“模型即裁判”标记出真实问题时，大多数团队采取了最糟糕的做法：他们将其留在裁判环节中。该发现将永远作为一个缓慢、按量计费且非确定性的第三层级意见存在——每次运行都会重新评估，产生费用，且每次的裁决结果都可能不同。这不是一种评估策略。这是在为你已经发现的缺陷支付“租金”。
高阶做法是实施一种棘轮机制：每一个重复出现的第三层级发现都应被提升为第一层级或第二层级检查，使其变得免费、快速、确定性高，并能够阻断运行。本文旨在阐述这种棘轮机制的工作原理，以及为何这才是引入裁判机制的根本意义所在。
简述独立性轴
在进行提升之前，必须以正确的方式对证据进行排序。agent-eval 基于独立性轴（从独立到可被操纵）而非成本轴对证据进行排序：
- 第一层级 — 智能体无法伪造的证明。 有效的 JSON 格式、文件存在、编译成功、测试通过、在超时时间内完成、输出非空。
- 第二层级 — 相对于智能体未编写的基线的统计信号。 与任务规范的嵌入相似度、长度和重复模式、差异比较是否实际改变了任何内容。
- 第三层级 — 模型即裁判。 一种共享底层架构的意见。它仅是一种信号，绝非最终裁决。
由此衍生出两个特性，它们驱动着下文所述的一切。第一层级和第二层级构成实时网关：具有确定性、成本接近零、速度快，因此可以置于关键路径中并阻断运行。第三层级仅限离线使用：按量计费、速度慢、非确定性，因此无法用于实时阻断。此外，第一层级和第二层级可以合法地针对智能体的轨迹运行，而第三层级则不能——因为一个模型评判另一个模型的推理过程属于循环论证，裁判与被裁判者共享相同的底层架构，缺乏独立的客观事实依据。因此，第三层级只能检查由被评判智能体未编写的产物。
棘轮机制：将发现向下层级的检查提升
模式如下：你的裁判持续标记同一类故障——例如，“摘要引用了源文件中不存在的章节”。这是一个真实的缺陷。但通过这种方式捕获缺陷成本高昂，且裁决结果不稳定。
请问：什么不可伪造的事实本可以捕获此问题？ 在这种情况下，“每个引用的章节标题都必须逐字出现在源文件中”是一个字符串成员资格检查。这属于第一层级。你刚刚将一个主观意见提升为了一个确定性网关。
类型 发现项 = {
主张: 字符串; // 裁判的重复性投诉
源文本: 字符串; // 智能体未编写的产物
引用章节: 字符串[];
};
// 第一层级提升：该发现现在成为一个不可伪造的证明检查。
函数 引用是否存在(发现项: 发现项): { 通过: 布尔值; 缺失: 字符串[] 免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
