基准测试方法
基准测试方法
基准测试在开始之前要先进行规划,选择一个合适的测试方案,设计专用的基准测试是非常复杂的,往往需要一个迭代的过程:
首先要获取生产数据集的快照,而且要选择能覆盖整个系统活动状态的有代表性的时间段。
基准测试在进行时一般需要足够长的运行时间,让测试能够一直运行到确保系统已经稳定为止。
在基准测试被执行时,要尽量收集足够多的被测试系统的信息,这时可以通过一些自动化脚本来收集系统状态的性能指标,如CPU使用率、网络流量统计等。
在基准测试结束后,通过收集得出的信息来进行结果分析,在这里最好采用自动化测试来分析数据。
基准测试须知
基准测试须知
进行基准测试前的须知
在进行基准测试前需要先注意避免一些常见错误:进行基准测试需要使用真实数据的子集而不是全集、避免使用不真实的分布参数与错误的数据分布、避免与真实用户行为不匹配、注意不要忽略系统预热过程、避免过短的测试时间等。
分析基准测试结果时须知
在测试过程中需要注意很多因素,包括性能分析和监控系统、外部的压力、周期性作业等等。在每次测试中,修改的参数应该尽量少,因为有些参数是依赖着其他参数的,这些参数有可能无法被单独修改,从而让测试变得更加复杂。
进行基准测试前的须知
在进行基准测试前需要先注意避免一些常见错误:进行基准测试需要使用真实数据的子集而不是全集、避免使用不真实的分布参数与错误的数据分布、避免与真实用户行为不匹配、注意不要忽略系统预热过程、避免过短的测试时间等。
分析基准测试结果时须知
在测试过程中需要注意很多因素,包括性能分析和监控系统、外部的压力、周期性作业等等。在每次测试中,修改的参数应该尽量少,因为有些参数是依赖着其他参数的,这些参数有可能无法被单独修改,从而让测试变得更加复杂。
基于硬盘的基准测试局限性
基于硬盘的基准测试局限性
无论是混合存储还是全闪阵列,只要能正确补充存储,终端用户都会获得足够高的 IOPS。所以,基准测试无法替代好的设计。在遇到混合存储的时候,需要注意性能上的短板效应,将无需快速访问的数据放在相对稳定一些的后端磁盘上。如果后端使用了 15000 转速的磁盘,即便前端缓存的大小适中也不会产生更多影响,全闪存阵列则更为容易去衡量和评估,因为不再需要考虑多级存储之间的关系。
基准测试优点
基准测试优点
基准测试具有三大优点:
第一,其拥有可复现性,能够重现测试结果。
第二,其具备调整作业负载的能力。
第三,基准测试还拥有统一的性能衡量指标和采集汇总工具:基准测试的性能指标的定义需要清晰、一致,且可以适用于各种计算引擎,但是流计算的性能指标要比传统批处理的更难定义和采集,是流计算 benchmark 最具挑战性的一个问题。