自动检查怎样跟上生成速度

第 21 讲从 2,000 行 PR 的评审成本开始。自动检查可以在每次变化时执行相同规则,让人工注意力集中到规格、设计和信任等尚不能自动裁定的部分。

验证关卡(Gate)不仅输出报告,还在失败时阻止合并。动态检查实际运行程序,静态检查分析源码与类型信息,两者覆盖的错误不同。

赞助商

从遗漏等待的 Promise 看静态分析

预约成功后调用异步通知,却没有等待或处理拒绝。测试替身总成功,所以测试看不到问题;类型感知的 no-floating-promises 规则却能发现未处理 Promise。

静态检查指出测试未触发的异步错误路径

修复应由业务语义决定:等待通知并把失败传给调用者,还是明确记录失败并交由可靠后台流程。只添加忽略标记,未必解决问题。

Linter 通常按语法树规则查找模式;类型检查器核对声明与使用;更深入的分析器可以跨函数追踪空值、资源和非可信输入。项目还可以增加自己的结构与 API 约定规则。

不同检查可以捕获不同形状的缺陷:

目标课件中的检查方向
某条路径上空值被解引用NullAway、Infer 或严格类型检查
异常路径资源未关闭资源分析与相关静态规则
Promise 或重要返回值被忽略类型感知 Lint
共享字段未持有对应锁并发注解与分析器
用户输入流入 SQL 或 Shell污点与跨函数数据流分析

项目也可编写自己的规则。课件用 VS Code 多窗口环境中禁止直接使用全局 document 的例子说明:规则不仅指出问题,还告诉调用者如何找到正确窗口。规则草稿应同时用应该通过与应该失败的样例验证,避免只对眼前代码作文本匹配。

误报与漏报需要管理

静态分析不能决定任意程序的全部有意义属性。健全分析(Sound Analysis)尝试报告目标范围内所有真实问题,通常为此容忍更多误报;工程工具也可能采用相反取舍,以降低告警噪声。工具会使用近似,可能误报正确代码,也可能漏掉真实缺陷;“检查通过”不等于它覆盖了所有目标错误。

课件区分技术误报与有效误报:一个发现即使技术上成立,若开发者不会采取行动,也会消耗信任。它引用 Google、Meta 的实践比较夜间仪表盘与评审时反馈,说明发现出现的位置和可操作性会影响修复。

因此引入规则时,需要确认目标缺陷、固定工具版本,并决定是报告还是阻塞。旧仓库可以记录基线,逐步减少历史项。抑制应解释为什么保留,例如必须同步清理资源,而不是留下无理由的忽略标记。

@ts-expect-error 可以在原错误消失时暴露多余抑制;描述要求与 unused-disable 检查则帮助发现失效注释。它们依旧不能证明抑制理由正确。差异中增加忽略、降低门槛或放宽配置,需要回到原行为检查。

类型应排除具体错误

编译器能拒绝不存在的方法,却不能判断一个真实方法是否被赋予了错误含义。领域类型、明确的输入输出,以及不可混用的标识符,让更多约束能够提前检查。

判别联合明确列出允许的预约状态

课件把多个可选字段改成判别联合,以下按原课含义整理:

1
2
3
type Booking =
| { status: "confirmed"; confirmedAt: Date }
| { status: "cancelled"; reason: string };

类型声明不再为确认分支提供取消原因字段,访问字段前也需要按状态缩小类型范围;运行时输入仍应校验。类型断言 as 不会执行运行时校验,any 则使后续检查变弱,外部数据仍应在入口验证。渐进类型可以先覆盖公开接口和领域核心,再逐步提高严格程度。

字符串输入的费用示例能说明类型实际排除了什么:表单的 hours 与 extraMinutes 都是字符串,Number(hours) * 60 + extraMinutes 得到 "6030",而不是 90。把费用函数参数声明为数字,可以在调用处拒绝这个结果;仅写 as number 则没有转换或校验数据。

公开签名与领域类型值得优先标注,局部变量可以交给推断。类型检查能发现不存在的 TimeRange.weekly();前面的判别联合、受保护构造与边界校验,则各自限制不同类型的错误。

测试分层,并修复不稳定根因

偶发失败通常与未受控制的异步、调度、测试顺序或共享数据有关。单独运行、重复运行和打乱顺序,可以帮助区分原因。稳定等待条件或直接控制时间,比随意延长 sleep 更接近根因。

暂时隔离不稳定测试应有记录与修复计划。不断重试直到绿色,会让真实间歇性缺陷也被隐藏。

课件把测试位置与成本对应起来:单元测试每次变化快速执行,集成测试连接真实数据库与代理,端到端测试驱动完整入口,部署后再用少量冒烟路径确认基础功能。更早执行可以更快反馈,CI 则防止本地步骤被省略。

对于偶发失败,单独运行正常、打乱顺序失败,往往提示共享状态;固定顺序反复偶发,则更值得检查时序和并发。课件引用的 VS Code 修复直接设置动画 currentTime,替代等待 120 ms,体现了重新控制输入,而不是继续猜一个更长的等待值。

哪些检查应该阻止合并

速度合理、可靠且失败后必然需要采取行动的检查适合阻塞;需要上下文判断的发现,可以先报告。性能测试还要控制环境与误差,依赖审计则可能因新公告在代码未变化时失败。

覆盖率适合作为发现未测试新增代码的弱信号,不能替代行为断言。Agent 评审报告也应通过具体反例验证,不能仅凭文字结论自动拒绝或接受修改。

课堂练习把四种失败放在同一 PR 中,需要分别判断:

失败应继续调查什么
未等待 events.publish(),模块声称自行处理错误核对实现与契约后判断是否为误报,并保留有理由的处理
覆盖率降到 78%,新增长周期拒绝分支无测试为新业务分支补断言,不能只把 80% 门槛降到 78%
创建后立即查询偶发为空,主干也曾失败排查一致性、等待与共享数据;重复到绿色不构成修复
测试运行器依赖出现高危公告核对影响、修复路径和项目阻塞政策,不能仅因不是业务依赖忽略

检查放在 deploy 的 needs 之前才会阻止部署;部署后的健康检查失败,已经需要回退或其他恢复动作。课件讨论的是一般取舍,作业六则明确要求严重漏洞与密钥泄漏阻断其流水线,不能用一般讨论覆盖作业契约。

Fuzzing 持续探索输入

Fuzzer 从种子样本生成大量输入,覆盖引导的方法保留能够到达新路径的输入。解析器、非可信字节处理和协议入口都适合建立目标。

Fuzz target 接收原始字节,调用解析器,只容忍规格允许的 ValidationError,其他异常继续抛出,让 Fuzzer 观察失败。这样预期拒绝非法输入不会被误算成缺陷,意外崩溃也不会被宽泛捕获隐藏。

长期 campaign 保存并积累语料,后续运行从已有种子继续;PR 可以针对变化部分短跑,后台再进行小时或天级探索。去重、缩减、二分、修复、保留反例构成完整处理流程。Fuzzer 没找到崩溃,并不能说明预约权限或收费规则正确。

让检查进入评审之前

指令文件可以要求运行检查,编辑后 Hook 或结束前关卡可以提前反馈,CI 仍需独立执行同一配置。Agent 评审适合提供候选发现,真正阻塞的依据应是可复现反例、明确契约或可靠规则。

请求维护者评审前,作者也应先处理自己能发现的问题,为说明中的结论提供证据,并把过长差异拆到可阅读的范围。课件把这与无责复盘连起来:我们还可以在事故之前问“什么检查本来能发现它”,有意不增加某项检查时,也要知道接受了哪种风险。

形式化验证仍依赖规格

课件附加部分介绍证明器与模型检查。Dafny、Lean、Verus 和 TLA+ 等方法处理的对象及保证不同,但共同要求把目标性质说明清楚。

下面按课件的 Max 例子整理两条后置条件:

1
2
3
输入:整数 a、b;输出:整数 m
要求一:m >= a 且 m >= b
要求二:m == a 或 m == b

只保留第一条时,返回较大值再加 1 也满足条件,说明证明通过仍可能源于规格不完整。测试检查选定输入,Fuzzing 检查生成输入,形式证明在其模型与假设内覆盖全部输入;证明器可能需要循环不变量和中间证明步骤,无法自动证明时也会拒绝。

课件用三个案例说明形式验证的对象与成本:seL4 约 8,700 行 C 对应约 20 万行证明,设计、实现与证明约投入 25 人年;AWS 使用 TLA+ 检查分布式设计,有些反例需要 35 步才能触发;Cedar 的形式证明与差分、性质测试分别发现了不同缺陷,说明这些方法仍然互补。

内核、分布式设计与授权语言采用不同形式化方法

Agent 可能降低编写成本。课件引用的 2025 年基准中,同时生成代码与通过证明的任务比例,Dafny 为 82%、Verus 为 44%、Lean 为 27%。这些比例属于该基准设置,实际项目仍要独立审查规格和证明。

证明检查器独立于生成者,可以在 CI 中重复运行;同时仍依赖编译器、硬件、环境假设与规格正确性。弱化规格,或者加入未经证明的 assume、sorry,同样可能绕过原来要证明的目标,评审时需要继续检查。

参考资料