测试通过以后,还需要问什么
前面我们通过注入时钟和仓库,让预约服务能够被测试。那么,Agent 生成了 312 个测试,而且全部通过,是否就足以说明服务正确?要回答这个问题,还得继续看测试选择了哪些输入、预期结果从哪里来,以及错误实现能否被断言发现。
把正确性写成契约
一个操作的前置条件约束调用之前的状态,后置条件描述执行后的承诺,不变量则需要在相关操作前后持续成立。
例如,账户取款要求 amount > 0 且余额足够;成功后的余额减少相应金额;账户余额始终非负。前置条件被违反时,责任首先属于调用者,而公开 API 仍应在信任边界验证输入并清楚失败。
规格需要足够精确。“排序列表”没有说明是否升序、是否稳定、是否修改输入,以及空值如何处理。只有补充这些条件以后,才能把它们逐条转成测试。规格同时为代码生成提供输入,也为测试预期提供依据。
那么,怎样从规格检查测试是否完整?我们可以逐条列出前置条件、后置条件与不变量,再寻找对应的输入和断言。取款测试不仅要检查成功后的余额,还要覆盖负金额、余额不足,以及连续操作后余额仍非负。未找到测试的条款,就是当前的规格覆盖缺口。
规格不描述内部算法,而是给生成与验证提供共同依据。例如“处理错误要优雅”无法直接断言,“没有匹配时返回空列表,查询参数为 null 时抛出异常”则可以分别检查。性能要求也要给出输入规模与响应时间;否则 Agent 与评审者可能采用完全不同的理解。
等价类与边界值
测试无法穷举全部输入,需要先把输入划分为行为相似的等价类。课件中的运费函数有四个区间:
重量 w(kg) | 结果 |
|---|---|
w <= 0 | 拒绝无效重量 |
0 < w <= 5 | 收费 5 |
5 < w <= 20 | 收费 5 + (w - 5) |
w > 20 | 拒绝超重 |
每个区间选择代表值,再检查 0、5、20 及附近输入。若重量允许小数,“附近”应依据精度选择,不能把所有边界都默认按整数加减 1。

预约区间采用 [start, end) 时,9:00—10:00 与 10:00—11:00 不重叠。只测试明显分离和明显重叠,会漏掉 < 与 <= 的差别。因此还需要相接、进入一分钟和相隔一分钟的测试。
多个条件组合时,可以用决策表合并无关情况。课件的支付例子按是否使用额度、额度是否足够、现金是否足够,决定使用哪种余额或失败;已经由前一个分支决定的变量,可以在表中标成无关。
支付例子的决策表可以具体展开为五行:
| 使用额度 | 额度足够 | 现金足够 | 预期行为 |
|---|---|---|---|
| 是 | 是 | 无关 | 扣额度,成功 |
| 是 | 否 | 是 | 扣现金,成功 |
| 是 | 否 | 否 | 失败 |
| 否 | 无关 | 是 | 扣现金,成功 |
| 否 | 无关 | 否 | 失败 |
“无关”表示该变量不改变这一行的结果,测试时仍需满足其他前置条件。这样我们就能把大量数值组合压缩成有依据的行为分类,再为额度和现金恰好等于费用的情况增加边界检查。
用性质覆盖更多输入
基于性质的测试(Property-based Testing)先声明对一类输入都应成立的关系,再由框架生成输入。例如编码与解码往返后应恢复原值,账户经过一系列合法操作后余额不应为负。
失败后,框架会缩减输入(Shrinking),把很长的操作序列压缩为仍能触发问题的反例。这让生成测试既能探索,也能留下可以理解的失败依据。
性质本身仍需要审查。reverse(reverse(xs)) == xs 是一个有用关系,却不能独自证明 reverse 的全部要求;恒等函数也能满足它。这里补充的例子说明,性质与具体示例应结合使用。
测试驱动开发则按失败测试、最小实现、重构循环推进。Agent 可以提出测试草稿,但哪些断言构成契约,仍需要人在实现之前决定。
性质适合表达往返关系、代数关系和操作序列中的不变量。比如 parse(print(x)) == x,添加再删除元素后集合恢复原状,以及任意合法交易序列后余额非负。对于“页面看起来合适”,如果没有可检查的关系,就还不能直接构造性质测试。
规格测试与结构测试从不同方向选择输入。黑盒测试从契约出发,实现重写后仍应适用;白盒测试沿代码分支寻找规格可能遗漏的情况。前者可能漏掉未写入规格的要求,后者容易复制实现假设,因此两者需要互相补充。
模块连接还要单独验证。假设 A 返回未排序列表,B 依赖已排序输入,两边在各自假设下都能通过单元测试;只有把二者接起来,才会暴露约定不一致。集成测试在这里检查的,就是局部测试看不到的连接。
覆盖率检查运行过什么
语句覆盖率统计执行过的语句,分支覆盖率统计条件各个方向,路径覆盖率统计完整执行路线。有循环时,可行路径可能非常多,甚至没有有限上界。
覆盖率没有检查断言的质量。即使所有语句和分支都执行过,也可能没有触及危险数值。课件的 scale(a, z) 在 a <= 1 时令除数为 a - 1;已有测试分别走两个分支,仍会漏掉 a = 1 的除零问题。
因此,红色区域帮助发现未执行代码,绿色区域只表明运行经过。把 100% 当成目标,还可能促使生成大量弱断言测试。更合理的做法,是优先补足关键行为和风险路径,并解释有意留下的缺口。
以 shippingCost(3) 为例,课件沿执行路径计算出语句覆盖 3/6、分支覆盖 2/6、路径覆盖 1/4。三个分母对应不同对象,不能直接互相比较。循环又引入重复路径,通常至少检查零次、一次和多次迭代。
即使语句覆盖达到 100%,也可能只走过条件的一个方向;即使分支覆盖达到 100%,也可能漏掉危险输入;如果调用 absolute(-5) 之后只写 assert True,全部语句运行过,仍没有检查结果。因此覆盖率适合提示遗漏位置,不适合单独评价断言质量。
课件借 Goodhart 定律解释这个问题:当指标本身成为目标,就可能生成专门让行号变绿的测试。对于不可达分支、生成代码或低风险样板,应说明取舍,把精力用于关键行为。高覆盖与强断言可以并存,但一个数字不能代替另一个。
用变异检查断言是否有效

变异测试会把 + 改成 -、< 改成 <= 等,再运行测试。如果测试失败,称为杀死变异;若仍通过,就需要调查测试是否遗漏了相关行为。补充说明:有些变异与原程序在可观察行为上等价,不能把所有存活变异都直接判定为真实缺陷。例如图中 a > b ? a : b 改为 a >= b ? a : b,在普通整数数值比较中结果相同,不能按图示直接期待测试杀死这一变异。
变异分数比执行覆盖率更接近“测试能否发现错误”,但每个变异都需要运行测试,成本较高。课程建议把这种方法用于正确性要求较高的部分。
完成测试设计后,应逐条对照规格,记录覆盖了什么、未覆盖什么,以及理由。规格测试与结构测试互相补充,集成测试还要检查模块连接处的假设。
用用户名注册练习测试设计
本讲最后给出 reserveUsername(name):用户名长 3—15 个字符,只允许小写字母和数字;成功后属于当前调用者,再次注册同名应抛出 AlreadyTaken。按前面的步骤,我们首先区分合法名字、长度无效、字符无效,以及已被占用的名字。
长度边界可以检查 2、3、15、16;字符检查可以选择大写、符号、空格与非 ASCII 输入。这里列举的是根据课件契约展开的测试建议。第一次成功后再次调用的序列,则检查“注册过的名字不能再次取得”这一状态变化。
还应发现规格没有说明的内容:是否自动去掉首尾空格,是否区分不同调用者的重复请求?遇到这种空白应先澄清,不能让测试与实现分别猜测。最后记录有意未测的范围及其依据,例如明确部署模型下的并发条件。这个依据一旦变化,原来的测试取舍也要重新审查。
