一、平台使用现状及数据
- C端接口覆盖率:线上App使用的接口已全部录入到平台,共2885个接口,平台覆盖接口100%,且自动生成一条探活用例
- 用例及断言使用情况
- 看选、买用的所有接口100%已在平台录入,信息系统等部分swagger导入的接口定义需要进行排重处理,目前覆盖率偏低;
- 接口相关用例及断言补充进行中;
空间
|
有用例的接口数
|
全量接口数
|
接口用例覆盖率
|
有断言的用例数
|
全部用例数
|
断言覆盖率
|
买用业务
|
11716
|
11722
|
100%
|
16572
|
31586
|
52%
|
看选业务
|
1118
|
1156
|
97%
|
1242
|
2136
|
58%
|
搜索业务
|
5
|
6
|
83%
|
0
|
5
|
0%
|
智能服务
|
2
|
3
|
67%
|
0
|
2
|
0%
|
移动办公
|
16
|
44
|
36%
|
0
|
16
|
0%
|
汽车金融
|
65
|
294
|
22%
|
0
|
66
|
0%
|
支付结算
|
35
|
187
|
19%
|
0
|
42
|
0%
|
信息系统
|
109
|
2298
|
5%
|
24
|
218
|
11%
|
二、平台使用心得:
AT平台结合流水线使用过程中,较之前手工测试或其他平台,整理心得如下:
- 测试前:有效规范流程,降低沟通成本,规范接口文档、提测流程,自动触发执行校验,降低线下沟通成本;
- 测试中:
- 提高提测质量:接入流水线,提测时自动触发主流程case执行,减少开发自测时间,提高提测质量;
- 复用率高:支持多次执行,用最低的成本完成多次迭代回归,更好的保证质量,提高测试效率;
- 平台断言覆盖场景更全:已有功能可以覆盖主流程验证,也可结合脚本的使用参数化入参,自动遍历更多场景,覆盖更全面。
- 测试用例管理:线上化维护用例,项目组成员对所有用例可见,降低解读用例成本
三、最佳实践场景
以看选业务“视频沉浸页据加载机制优化”需求为例,协同看选服务端研发,配置流水线
- 用例执行轮次,从1次变成多次
- 用例执行角色,从测试触发,变成可由平台自动触发,可由服务端开发触发
1、需求:视频沉浸页数据加载机制优化,https://doc.autohome.com.cn/docapi/page/share/share_lkDtG3yeWG
2、涉及接口:视频相关推荐接口,http://news.app.autohome.com.cn/video_v10.0.0/news/videorcm?title=&bratio=1.8268518&videosourceid=C7D1FDCF540658D56F15C4841F4F2CE2&apiext=&fromsite=&operation=0&ext=eyJwaWQiOiIxMDAwMTEiLCJwdmlkIjoiMTY3NzU4NzU0NDgwNjY1MTMyMHB2QWgwczlCNklCbXkiLCJiaXpfdHlwZSI6MTQsImJpel9pZCI6MTE3NzQyNjYsImNhcmRfdHlwZSI6MTUyMDB9&bsdata=&seriesids=5910&videotype=14&videoid=11774266&version=11.39.5&auth=&userid=&devicetype=2&cityid=110100&nettype=5&deviceid=6d82c481_4ff9_47f4_8da8_4912f076da25&pm=2
3、研发侧录入接口定义:
4、QA根据接口定义录入自动化测试CASE
5、QA组装开发自测使用场景
6、QA组装该接口下所有case使用场景
7、在接口对应的video流水线配置P0级用例自测job、接口所有case回归测试job
8、发布测试环境后,自动执行P0级用例自测场景,所有case通过后,提交测试
9、提交测试后,QA运行该接口下所有case,执行测试
10、若存在BUG,提交BUG后开发修复后,部署测试环境后,可自动触发所有case回归测试
11、重复步骤10,直到接口无任何BUG,发布生产环境
12、接口上线后,生产环境定时执行接口巡检
四、使用进阶(待完善):
- 第一步:在场景中,将接口入参参数化;
- 第二步:将参数化入参遍历传入接口,执行该接口脚本所有场景校验