用例级别规范

发布时间 2023-11-14 14:55:14作者: 小嘉欣

CT规范:

1. 测试用例进行等级划分:

P0:覆盖用户核心使用流程,若不通过直接block本次提测(提供给开发自测)
P1:覆盖用户主要使用流程,若不通过直接block本次发版
P2:其他功能用例(非用户核心流程功能、性能等),有问题可以defer到下次迭代

2. 自动化覆盖范围:

冒烟用例:即P0用例,非UI用例均自动化覆盖,对接到CICD流水线部署&冒烟测试stages中。
功能回归用例:即P1用例,非UI用例100%自动化覆盖,对接到CICD流水线的QA stages环节。
性能用例:核心的用户场景自动化覆盖,且有基线管理

3. 核心指标:

用例通过率:P0/P1用例100%通过,P2用例0 blocker/critical bug遗留
系统SLI指标:并发、latency、QPS等
代码覆盖率:全量/增量覆盖率(暂无工具,待规划)