v-ac-axis-split 技能 — 将确定性检查与统计性检查分开
v-ac-axis-split 技能如何识别将基于规则的判据与基于比率的判据混在一起的 V-AC 组,以及为什么将两个轴合并为一组会产生虚假的信心。
验证检查要么按规则通过,要么按观察通过。“状态码为 200”对于任何给定响应都有唯一正确答案。“一小时内错误率低于 1%”则取决于测量窗口、样本量和阈值。v-ac-axis-split 技能强制执行一个简单约束:这两类检查不得存在于同一个 V-AC 组中。
该技能在 /dr-prd 和 /dr-plan 期间、任何实现开始之前加载。它的职责是标记混合的 V-AC 组,并要求在规格定稿前进行拆分。
为什么混合两个轴会导致问题
确定性检查和统计性检查依赖不同的证据链。确定性检查——“schema 匹配 XSD”、“字段存在”、“退出码为零”——要么满足要么不满足,没有灰色地带。统计性检查——“p99 延迟低于 500ms”、“1 小时内错误率低于 1%”——仅在特定测量条件下通过,失败可能意味着系统已损坏,也可能意味着窗口太短。
当两个轴处于同一组时,对某个 Datarim 流水线的复盘揭示了会发生什么:确定性检查始终通过,统计性检查才是真正的不确定性来源,但由于它们被归为一组,失败最初被归类为不稳定测试而非设计错误。在将两个轴分开之前,这种区别是不可见的。
拆分模式
该流程有四个步骤。第一,将每个 V-AC 条目分类为确定性(无歧义规则)或统计性(窗口上的阈值)。第二,如果同一组中同时存在两种类型,将它们拆分为两组——确定性条目为 V-AC-N,统计性条目为 V-AC-M。第三,统计组必须明确引用其测量窗口、样本量和置信区间。第四,确定性组必须绑定到 bats 测试、spec 断言或 grep 证据——一种在每次运行时都产生相同结果的单调检查。
门禁激活扩展
该技能还包含针对相关问题的第二种模式:发布新验证器门禁或将现有门禁从建议性提升为硬失败的任务。在这种情况下,/dr-plan 第 4 阶段必须包含一个试运行行,列出当前在门禁范围内失败的所有文件。PRD 声明为范围外但落在门禁调用范围内的任何文件,必须在同一任务中重写,或以文档化的范围缩减明确豁免。将自身范围内的文件推迟处理的门禁激活任务是自我阻塞的:门禁在归档时会对这些文件运行,并拒绝激活它的归档。
阅读什么是 Datarim以了解更广泛的背景,或查看关于verification-before-completion 技能的相关文章,该技能更广泛地管理证据要求。