云服务器内容精选

华为云首页用户手册

PerfTest测试报告管理

性能测试 CODEARTS PERFTEST-测试报告说明:报告总览

报告总览测试报告说明如表1所示。测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能，为了更好阅读测试报告，请参考以下信息：统计维度：测试报告的RPS、响应时间、并发等统计维度均为单个用例，如用例中有请求多个报文，只有在多个请求报文均正常返回会认为成功，响应时间也是多个请求报文的求和值。响应超时：出现该情况是在设置的响应超时时间内（默认5s），对应的TCP连接中没有响应数据返回时，会将本次用例请求统计为响应超时。出现原因一般是被测服务器繁忙、崩溃、网络带宽被占满等。校验失败：从服务器返回的响应报文不符合预期（针对HTTP/HTTPS默认的预期响应码为200），比如服务器返回404、502等。出现原因一般为高并发情况下被测服务无法正常处理导致的，如分布式系统中数据库出现瓶颈、后端应用返回错误等。解析失败：响应报文已全部接收完成，但是部分报文丢失导致整个用例响应不完整，这种情况一般需要考虑网络丢包。带宽统计：本报告统计的是性能测试服务执行端的带宽，上行表示从性能测试服务发出的流量，下行表示接收到的流量。如果是外网压测场景，您需要关注执行机的EIP带宽是否可以满足上行带宽的要求。而下行带宽需要关注单台执行机是否超过1GB。 RPS：Requests Per Second，每秒请求数。平均RPS=统计周期内的请求总数/统计周期。 SLA结果: 当测试用例配置SLA规则后，您可以在SLA报告中查看SLA规则是否被触发。SLA报告中，请求名称为测试用例中请求的名称，规则为已配置的SLA规则。平均值（运行中的任务显示为当前值）代表测试用例从开始压测到目前为止，业务指标的平均值，以及触发SLA规则的总次数。触发事件显示触发SLA规则的时间、请求名称和当前的触发次数。如何判断被测应用优劣：根据应用本身的服务质量定义，理想状态是没有任何响应失败、校验失败的情况，如果有，需要在服务质量定义范围之内，通常情况下不超过1%，同时响应时间越低越好（2s内体验较好，5s内可以接受，超过5s则需要考虑优化），TP90、TP99指标可以客观反映出90%、99%用户的体验响应时间。表1 测试报告说明参数参数说明各项指标总量所有用例各项指标总量的汇总。最大并发：最大并发操作的虚拟用户数。 RPS：每秒请求数。响应时间：指从客户端发一个请求开始计时，到客户端接收到从服务器端返回的响应结果结束所经历的时间。响应码：记录压测任务进行中响应码分布的情况。带宽：记录压测任务运行所消耗的实时带宽变化。 SLA事件：SLA中定义的事件发生情况。正常返回：如设置了检查点，检查点通过的用例响应数，如未设置默认为返回2XX的用例响应数。异常返回：解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。成功率：正常返回请求数/总请求数。平均RPS 统计周期内的请求总数/统计周期。平均RT 某一秒发出的所有请求的平均响应时间。并发数记录压测任务运行时，当前并发操作的虚拟用户数的变化。带宽（KB/S）记录压测任务运行所消耗的实时带宽变化。上行带宽：从性能测试服务测试执行机往外发送出去数据的速度。下行带宽：性能测试服务测试执行机接收到数据的速度。响应状态分布正常返回、解析失败、校验失败、响应超时、连接被拒绝和其他错误的每秒处理用例数，该项指标与思考时间、并发用户、服务器响应能力均有关，比如思考时间为500ms，如果服务器对于当前用户的上个请求响应时间小于500ms，则该用户每秒请求2次。正常返回：如设置了检查点，检查点通过的用例响应数，如未设置默认为返回2XX的用例响应数。异常返回：解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。解析失败：HTTP响应无法被正常解析的数量。校验失败：如设置了检查点，检查点未通过的用例响应数，如未设置，返回不是2XX的用例响应数。响应超时：在请求报文发送5S内未收到服务器响应的用例请求数量。连接被拒绝：发送报文建立连接时，服务器拒绝连接数。其他错误：不属于以上几种错误的数量。响应码分布 1XX/2XX/3XX/4XX/5XX。响应时间区间比例用例的响应时间区间比例。 TP最大响应时间指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取对应的百分比的那个值作为TPXX的最大响应时间。 TP50：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第50%的那个值作为TP50的值。 TP75：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第75%的那个值作为TP75的值。 TP90：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第90%的那个值作为TP90的值。 TP95：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第95%的那个值作为TP95的值。 TP99：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99%的那个值作为TP99的值。 TP99.9：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.9%的那个值作为TP99.9的值。 TP99.99：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.99%的那个值作为TP99.99的值。

性能测试 CODEARTS PERFTEST PerfTest测试报告管理
性能测试 CODEARTS PERFTEST-查看离线测试报告:操作步骤

操作步骤登录性能测试服务控制台，在左侧导航栏中选择“PerfTest测试工程”，单击待操作工程后的。在“性能报告”页签下，选择需要查看报告的任务。单击“任务名称”，或单击操作栏的，在左侧“报告列表”中选择需要查看的离线报告，详细参数说明请参考表1。您可以选择下载离线报告（PDF格式）到本地进行查看，同时支持导出原始数据（CSV格式），可进行二次加工。性能测试服务只为用户保留1年内的离线报告数据。在“总览”页签下，您可以查看失败数/总请求数、平均时延、RPS、最大并发、成功率、SLA告警、带宽、动态趋势、响应码等。在“明细”页签下，您可以查看该测试任务下测试用例的日志、通用测试指标、请求详情及SLA规则是否触发。单击“查看日志”，在“查看日志”弹窗中可以查看请求日志、事件日志及Pod信息。其中请求日志根据请求名称、返回码、结果这三个条件，各展示10条日志。用例日志采集策略配置为请求模式的请求日志支持对返回码/结果/请求名称进行过滤展示。日志采集策略中在测试用例的“高级配置”中设置，详见高级配置。报告明细显示的采样模式有等距抽样值和等距平均值。等距抽样值：根据用例执行时长，对大于45min的用例的趋势图以固定的时间间隔进行抽样点展示。等距平均值：根据用例执行时长，对大于45min的用例的趋势图以固定的时间间隔进行平均值展示。单击“数据显示”下拉框，输入关键字搜索，可以显示您需要的用例或请求数据。也可以在“数据显示”下拉框的用例目录中直接单击您需要显示的用例或请求数据。在“明细”页签下，您也可以单击“列表”进入报告指标汇总页面。单击“自定义列”，可以在“表格设置”弹框中选择需要显示的列表项；在弹框右侧拖动已选列，可以改变列表项的顺序。图1 表格设置单击操作栏中的查看日志。单击操作栏中的编辑测试用例。如果测试任务已关联智能分析对象中的应用监控（APM），测试报告则体现“调用分析”页签。在“调用分析”页签，通过设置查询条件，可以查看符合查询条件的APM调用详细记录。如果测试任务已关联智能分析对象中的主机监控（AOM），测试报告则体现“监控指标”页签。在“监控指标”页签可以查看CPU使用率、内存使用率、磁盘读取速度、磁盘写入速度信息。

性能测试 CODEARTS PERFTEST PerfTest测试报告管理
性能测试 CodeArts PerfTest-测试报告说明:常规用例类型

常规用例类型当“用例类型”为“常规用例”时，测试报告说明如表1所示。本测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能，为了更好阅读测试报告，请参考以下信息：统计维度：本报告的TPS、RPS、响应时间、并发等统计维度均为单个用例，如用例中有请求多个报文，只有在多个请求报文均正常返回会认为成功，响应时间也是多个请求报文的求和值。响应超时：出现该情况下是在设置的响应超时时间内（默认5s），对应的TCP连接中没有响应数据返回，会将本次用例请求统计为响应超时。出现原因一般是被测服务器繁忙、崩溃、网络带宽被占满等。校验失败：从服务器返回的响应报文不符合预期（针对HTTP/HTTPS默认的预期响应码为200），比如服务器返回404、502等。出现原因一般为高并发情况下被测服务无法正常处理导致的，如分布式系统中数据库出现瓶颈、后端应用返回错误等。解析失败：响应报文已全部接收完成，但是部分报文丢失导致整个用例响应不完整，这种情况一般需要考虑网络丢包。带宽统计：本报告统计的是性能测试服务执行端的带宽，上行表示从性能测试服务发出的流量，下行表示接收到的流量。如果是外网压测场景，您需要关注执行机的EIP带宽是否可以满足上行带宽的要求。而下行带宽需要关注单台执行机是否超过1GB。 TPS：TPS是指PerfTest在统计周期内每秒从被测服务器获取到的响应用例实时统计，TPS=统计周期内的正常返回数/统计周期。 RPS：RPS是指PerfTest在统计周期内每秒发送到被测服务器的请求数实时统计，RPS=统计周期内发送的请求数/统计周期。如何判断被测应用优劣：根据应用本身的服务质量定义，理想状态是没有任何响应失败、校验失败的情况，如果有，需要在服务质量定义范围之内，通常情况下不超过1%，同时响应时间越低越好（2s内体验较好，5s内可以接受，超过5s则需要考虑优化），TP90、TP99指标可以客观反映出90%、99%用户的体验响应时间。表1 常规用例测试报告说明参数参数说明各项指标总量所有用例各项指标总量的汇总。最大并发：最大并发操作的虚拟用户数。 RPS：是指PerfTest在统计周期内平均每秒发送到被测服务器的请求数统计。响应时间：指从客户端发一个请求开始计时，到客户端接收到从服务器端返回的响应结果结束所经历的时间。响应码：记录压测任务进行中响应码分布的情况。带宽：记录压测任务运行所消耗的实时带宽变化。 SLA事件：SLA中定义的事件发生情况。正常返回：如设置了检查点，检查点通过的用例响应数，如未设置默认为返回2XX的用例响应数。带宽：记录压测任务运行所消耗的实时带宽变化。异常返回：解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。 RPS 是指PerfTest在统计周期内每秒发送到被测服务器的请求数实时统计，RPS=统计周期内发送的请求数/统计周期。平均响应时间某一秒发出的所有请求的平均响应时间。并发数记录压测任务运行时，当前并发操作的虚拟用户数的变化。带宽（KB/S）记录压测任务运行所消耗的实时带宽变化。上行带宽：从PerfTest测试执行机往外发送出去数据的速度。下行带宽：PerfTest测试执行机接收到数据的速度。响应状态分布正常返回、解析失败、校验失败、响应超时的每秒处理用例数，该项指标与思考时间、并发用户、服务器响应能力均有关，比如思考时间为500ms，如果服务器对于当前用户的上个请求响应时间小于500ms，则该用户每秒请求2次。正常返回：如设置了检查点，检查点通过的用例响应数，如未设置默认为返回2XX的用例响应数。异常返回：解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。解析失败：HTTP响应无法被正常解析的数量。校验失败：如设置了检查点，检查点未通过的用例响应数，如未设置，返回不是2XX的用例响应数。响应超时：在请求报文发送5S内未收到服务器响应的用例请求数量。连接被拒绝：发送报文建立连接时，服务器拒绝连接数。其他错误：不属于以上几种错误的数量。响应码 1XX/2XX/3XX/4XX/5XX。响应时间区间比例用例的响应时间区间比例。 TP最大响应时间指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取对应的百分比的那个值作为TPXX的最大响应时间。 TP50：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第50%的那个值作为TP50的值。 TP75：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第75%的那个值作为TP75的值。 TP90：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第90%的那个值作为TP90的值。 TP95：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第95%的那个值作为TP95的值。 TP99：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99%的那个值作为TP99的值。 TP99.9：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.9%的那个值作为TP99.9的值。 TP99.99：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.99%的那个值作为TP99.99的值。

性能测试 CodeArts PerfTest PerfTest测试报告管理