AT平台使用数据统计及最佳实践场景

发布时间 2023-12-11 14:26:08作者: 虾米521

 

一、平台使用现状及数据
  • C端接口覆盖率:线上App使用的接口已全部录入到平台,共2885个接口,平台覆盖接口100%,且自动生成一条探活用例
  • 用例及断言使用情况
    • 看选、买用的所有接口100%已在平台录入,信息系统等部分swagger导入的接口定义需要进行排重处理,目前覆盖率偏低;
    • 接口相关用例及断言补充进行中;

空间

有用例的接口数

全量接口数

接口用例覆盖率

有断言的用例数

全部用例数

断言覆盖率

 买用业务 

11716

11722

100%

16572

31586

52%

 看选业务 

1118

1156

97%

1242

2136

58%

 搜索业务 

5

6

83%

0

5

0%

 智能服务 

2

3

67%

0

2

0%

 移动办公 

16

44

36%

0

16

0%

 汽车金融 

65

294

22%

0

66

0%

 支付结算 

35

187

19%

0

42

0%

 信息系统 

109

2298

5%

24

218

11%

 

 

 

 

、平台使用心得

AT平台结合流水线使用过程中,较之前手工测试或其他平台,整理心得如下:

  • 测试前:有效规范流程,降低沟通成本,规范接口文档、提测流程,自动触发执行校验,降低线下沟通成本;
  • 测试中:
    • 提高提测质量:接入流水线,提测时自动触发主流程case执行,减少开发自测时间,提高提测质量;
    • 复用率高:支持多次执行,用最低的成本完成多次迭代回归,更好的保证质量,提高测试效率;
    • 平台断言覆盖场景更全:已有功能可以覆盖主流程验证,也可结合脚本的使用参数化入参,自动遍历更多场景,覆盖更全面。
  • 上线后:上线发布可把关:接入流水线,线上发布时自动触发主流程case执行,可对发布节点做最后的质量把控;
  • 测试用例管理:线上化维护用例,项目组成员对所有用例可见,降低解读用例成本

 

、最佳实践场景

以看选业务“视频沉浸页据加载机制优化”需求为例,协同看选服务端研发,配置流水线

  • 用例执行轮次,从1次变成多次
  • 用例执行角色,从测试触发,变成可由平台自动触发,可由服务端开发触发

 

1、需求:视频沉浸页数据加载机制优化,https://doc.autohome.com.cn/docapi/page/share/share_lkDtG3yeWG

2、涉及接口:视频相关推荐接口,http://news.app.autohome.com.cn/video_v10.0.0/news/videorcm?title=&bratio=1.8268518&videosourceid=C7D1FDCF540658D56F15C4841F4F2CE2&apiext=&fromsite=&operation=0&ext=eyJwaWQiOiIxMDAwMTEiLCJwdmlkIjoiMTY3NzU4NzU0NDgwNjY1MTMyMHB2QWgwczlCNklCbXkiLCJiaXpfdHlwZSI6MTQsImJpel9pZCI6MTE3NzQyNjYsImNhcmRfdHlwZSI6MTUyMDB9&bsdata=&seriesids=5910&videotype=14&videoid=11774266&version=11.39.5&auth=&userid=&devicetype=2&cityid=110100&nettype=5&deviceid=6d82c481_4ff9_47f4_8da8_4912f076da25&pm=2

 

3、研发侧录入接口定义:

 

4、QA根据接口定义录入自动化测试CASE

 

5、QA组装开发自测使用场景

 

6、QA组装该接口下所有case使用场景

 

7、在接口对应的video流水线配置P0级用例自测job、接口所有case回归测试job

 

8、发布测试环境后,自动执行P0级用例自测场景,所有case通过后,提交测试

 

9、提交测试后,QA运行该接口下所有case,执行测试

 

10、若存在BUG,提交BUG后开发修复后,部署测试环境后,可自动触发所有case回归测试

 

11、重复步骤10,直到接口无任何BUG,发布生产环境

12、接口上线后,生产环境定时执行接口巡检

 

四、使用进阶(待完善):
  • 第一步:在场景中,将接口入参参数化;
  • 第二步:将参数化入参遍历传入接口,执行该接口脚本所有场景校验