自验证 Skill——三层制品审查
Datarim 的自验证 skill 如何针对单一制品运行确定性的 shell 流水线、跨模型同行评审和并行多智能体检查——以及为什么需要三层而非一层。
让产出制品的同一个模型去审查它,往往得到的是确认而非批评。自验证 skill 正是围绕这一观察构建的。它以三层方式运行验证,每层使用不同的信号来源,只有当三层都未返回高严重度发现时,才认为制品是干净的。
该 skill 通过 /dr-verify {TASK-ID} 手动调用。它不是自动流水线钩子——那条路径是由 dogfood 阈值门控的、推迟的未来演进。合适的目标是已完成的制品:PRD、计划、do-output 或归档。在活跃会话期间运行它是不合适的时机。
第 1 层——确定性底线
第一层是零 LLM 成本的 shell 流水线。在典型任务上运行耗时两到五秒。检查是启发式的但具体:PRD 中每个验收标准标签附近必须有验证命令;计划中提到的每个文件路径必须在工作区中可解析;shellcheck 针对标准目录中的所有 shell 脚本运行;对于 L3 和 L4 任务,必须存在期望清单且不得处于 BLOCKED 状态。
底线以高严重度发现的数量退出。非零退出被视为 BLOCKED 底线;编排器可以跳过第 2 层和第 3 层以快速失败,不过只想做确定性检查的操作者可以传入 --floor-only 来显式停在那里。
第 2 层——跨模型同行评审
第二层是一个具有干净上下文的对抗性审查者,在活跃的智能体运行时内派发——绝不派发到外部工具。提供者通过五步链解析:首先是显式的 --peer-provider 标志,然后是项目级配置(datarim/config.yaml),然后是用户级配置,然后是跨 Claude 家族子智能体(位于不同模型层级的 peer-reviewer 智能体,仅限 Claude Code),最后是作为最后手段的同模型隔离审查。只接受 sonnet、haiku、opus 和 none;任何其他提供者名称在解析时被拒绝。对减少偏差至关重要的属性是:审查者具有不同的检查点,且与产出制品的模型不共享上下文。
发送给审查者的对抗性框架是强制且具体的。审查者被告知其角色是对抗性审查者,职责是找出弱点,而非为文档祝福。它必须找出至少两个实质性关切,并检查验收标准验证命令、已记录但未运行的模式、反思覆盖、后续派生、可复现性以及范围外漂移。没有这一框架,该 skill 自身的 dogfood 实验显示审查者仅返回 29 个补全 token 和空的发现列表——一次静默的假通过。
第 3 层——并行派发
第三层在 Claude Code 运行时上派生三个并行子智能体:一个专注于正确性和完整性的审查者、一个专注于证据覆盖和可复现性的测试者,以及一个专注于安全类别和附录 A 控制项的安全智能体。每个子智能体都是只读的——没有 Write 或 Edit 工具。来自三者的发现按制品引用、验收标准和类别的元组进行并集和去重。当两个发现描述同一缺口时,来自较早层的那个胜出。
在 Codex CLI 运行时上,第 3 层降级为单提示循环。该路径在 13 个任务的内部 dogfood 基线上仅达到 7.7% 的字面缺口召回率,这就是它被标记为实验性的原因。在 Codex 上,第 2 层也回退到同模型隔离审查,辅助程序会记录一条警告,使降级路径在审计日志中保持可见。
发现模式与裁决
每个发现都携带一个来源层标签、一个带行号的制品引用、一个它所触及的验收标准数组、一个严重度级别和一个类别。类别字段区分正确性(无证据支持的事实性主张)、完整性(缺少必需的制品部分)、一致性(制品之间的漂移)和安全性(安全或回滚缺口)。evidence.type=absent 的发现会被自动丢弃,不计入裁决。
裁决遵循一条简单规则:任何未被丢弃的高严重度发现都会阻止该制品;中等发现产生需要操作者分诊的条件性裁决;仅有低严重度发现则产生通过。审计日志在写入后以 chmod a-w 处理,使其仅可追加。
阅读Datarim 是什么以了解更全面的图景,或查看安全 skill以了解安全类别发现是如何填充的。