提高性能测试结果的可信程度,各个环节搞不好都会影响整个结果

发布时间 2023-07-07 03:48:04作者: 技术改变命运Andy

前言

为了给出准确的性能测试结论,必须依靠准确的性能测试数据。有很多因素都会对性能测试产生影响,进而导致性能结果的不准确。为了提高性能数据的可信程度,测试过程中应尽量避免这些因素。

影响评估测试结果可信度的因素

测试环境

硬件环境

主要指我们的测试机的配置,应该和线上机器采用相同配置。除了cpu,内存大小要一致外,硬盘的大小、swap等也要一致。如果有大量io的话,work分区的硬盘剩余空间也会影响性能。因为如果剩余空间不一致,会造成磁头开始写硬盘时的位置不一样,那么靠内圈的性能会差。同时,频繁的拷贝删除会造成磁盘碎片,也会影响性能。

软件环境

在启动被测程序时,还要清楚线上有哪些程序是同时启动的,需要在测试时也一并起起来。保证资源配比的真实性。
测试机的一些软件配置也要和线上相同,比如内核版本,系统参数等等。

测试时间

程序从启动到稳定服务都需要一定的时间,各模块长短不同。那么在监控数据时,如果在服务还没达到稳定时就取数据,会不准确。同样,如果在服务达到稳定很久后取数据,不会造成数据的不准确,但是会造成测试时间太长而影响效率。

这是一个预热的问题

测试规模

有些模块在线上服务时,要连接多个下游进行调度。这样的模块,因为在测试时不能完全模拟线上的情况,就存在测试规模的模拟问题。此时需要和rd确认规模,尽可能的靠近线上情况。

测试方法

测试方法决定了测试采样点的数量,而采样点的数量决定了测试结果的准确性。当采样点数量较少时,测试结果的偶然性会较大,测试结果的可信度不高;当采样点数量足够多时,评估测试结果的可信度较高。

统计方法

采用如何的监控方式:插桩还是采样。插桩方式会占用系统资源;采样方式会漏掉峰值点。采用linux自带的监控方式时,也会有数据统计方式和资源占用的问题。

提高评估测试结果可信度的建议

综上所述,多方面的因素都能够不同程度地影响测试结果的可信度,尤其是在多方面因素影响效果累加时,更有可能大幅度降低测试结果的可信度。如果充分考虑影响测试结果的各项因素,采取有效措施来控制测试过程中的不规范行为,制订完善的测试方案并严格执行,那么将有助于提高测试结果的可信度。

根据前面对影响测试结果可信度因素的分析,从以下几个方面提出提高测试结果可信度的建议:

做好充足的准备工作,保证统一的测试条件

测试结果通常是通过对比的方法来得出结论的。要得到准确的比较结果,就要求进行比较的测试指标是在相同的前提条件下测量到的,即要求在进行测试前必须满足以下要求:

1.采用相同测试机器
2.采用相同的测试方法
3.取监控数据的时间段一致
4.采用相同命令和方式进行监控

采样点的选择

采用灵活,占用系统资源小的监控方式。推荐linux自带的监控命令,细节可见数据监控小组的结论。

改进统计分析方法

算术平均的统计方法并不适合所有的情况。针对模块特点可以采用基于时间点的,或者基于峰值的,或者基于变化拐点的一些统计方法。
监控和统计的方法最好在开始测试前和rd进行确认。