【PYRESTTEST】基本测试集编写语法
PyRestTest支持通过Curl请求本身收集比较差的网络环境下的性能指标。

基准测试:它们扩展了测试中的配置元素,允许你进行相似的REST调用配置。然而,它们不对HTTP响应情况进行验证,它只收集指标数据

下列选项被指定用于benchmark:

  • warmup_runs:如果没有指定该选项,默认为10。在开始收集数据之前,多次运行这个基准测试调用,以允许JVM warmup、缓存等。
  • benchmark_runs: 如果没有指定该选项,默认为100。运行基准测试的次数。
  • output_file: 如果没有指定该选项,默认为None。要写入基准输出的文件名,每次运行都会被覆盖,如果没有给定,则只会写入终端
  • output_format:如果没有指定该选项,默认为CSV。将结果写入(’json’或’csv’)的格式。
  • metrics: 必须指定要收集的指标(如下所述),否则基准测试将不起作用

Metrics(指标)

收集性能指标的方法有两种:原始数据(Raw Data)、聚合统计值(Aggregates)。

每一个指标可以生出原始数据(Raw Data)、一个或多个聚合(Aggregates)值:

  • Raw Data: 返回值是一个数组,一个基准每运行一次都会参数一个数组。
  • Aggregates: 运行一个缩减(reduction)函数,在整个基准运行期间返回单个值(中值、平均值等)。

为获取原始数据,在“metrics”配置元素中,只需在“metrics”配置元素值列表中输入度量名称。示例如:

- benchmark: # create entity
    - name: "Basic get"
    - url: "/api/person/"
    - warmup_runs: 7
    - 'benchmark_runs': '101'
    - output_file: 'miniapp-benchmark.csv'
    - metrics:
        - total_time
        - size_download

上述示例,会返回运行101次之后,每组元素数值总时间、下载大小。

Aggregates are pretty straightforward:

聚合数值更直观,下面给出常用的聚合数值指标:

  • mean/mean_arithmetic: 算术平均数(通常是作为平均值
  • mean_harmonic: 调和平均值(等于两数乘积的二倍被两数之和除) (有助于衡量速率)
  • median: 数值中位数
  • std_deviation: 标准偏差, 有助于衡量它们的一致性
  • total/sum: 给定值之和

通常支持下述给定的指标,这些是Curl get_info变量的子集。关于这些变量的解释说明(这些变量移除了CURLINFO_ 前缀):https://curl.haxx.se/libcurl/c/curl_easy_getinfo.html。支持指标如下:
‘appconnect_time’, ‘connect_time’, ‘namelookup_time’, ‘num_connects’, ‘pretransfer_time’, ‘redirect_count’, ‘redirect_time’, ‘request_size’, ‘size_download’, ‘size_upload’, ‘speed_download’, ‘speed_upload’, ‘starttransfer_time’, ‘total_time’

报告格式

默认报告格式是CSV,输出报告包括如下内容:

  • Benchmark name:名称
  • Benchmark group:所属组,默认为default
  • Benchmark failure count (raw HTTP failures):失败次数
  • Raw data arrays:作为一个表,头是度量名称,按字母顺序排序
  • Aggregates: 格式为(metricname,aggregate_name,result)的结果表

以JSON格式输出,数据结构会有一些不同,下方式给出的json格式输出样例:

{"failures": 0,
"aggregates":
    [["metric_name", "aggregate", "aggregateValue"] ...],
"failures": failureCount,
"group": "Default",
"results": {"total_time": [value1, value2, etc], "metric2":[value1, value2, etc], ... }
}

Benchmark样例:

---
- config:
    - testset: "Benchmark tests using test app"

- benchmark: # create entity
    - name: "Basic get"
    - url: "/api/person/"
    - warmup_runs: 7
    - 'benchmark_runs': '101'
    - output_file: 'miniapp-benchmark.csv'
    - metrics:
        - total_time
        - total_time: mean
        - total_time: median
        - size_download
        - speed_download: median

- benchmark: # create entity
    - name: "Get single person"
    - url: "/api/person/1/"
    - metrics: {speed_upload: median, speed_download: median, redirect_time: mean}
    - output_format: json
    - output_file: 'miniapp-single.json'

发表评论

电子邮件地址不会被公开。