华为云首页用户手册

AI开发平台MODELARTS-动态benchmark:Step2 使用数据集测试动态benchmark

时间：2024-04-30 18:09:32

AI开发平台MODELARTS

Step2 使用数据集测试动态benchmark

切换到benchmark虚拟环境测试，命令如下。动态benchmark验证是在benchmark虚拟环境中操作。
```
conda activate benchmark
```
执行脚本benchmark_serving.py测试动态benchmark。具体操作命令如下，可以根据参数说明修改参数。
```
cd benchmark_tools 
python benchmark_serving.py --backend tgi --host 127.0.0.1 --port 8085 --dataset custom_dataset.json --dataset-type custom \
--tokenizer /path/to/tokenizer --request-rate 0.01 1 2 4 8 10 20 --num-prompts 10 1000 1000 1000 1000 1000 1000 \
--max-tokens 4096 --max-prompt-tokens 3768 --benchmark-csv benchmark_serving.csv
```
- --backend：服务类型，如"tgi"，vllm"，"mindspore"
- --host：服务IP地址，如127.0.0.1
- --port：服务端口
- --dataset：数据集路径
- --dataset-type：支持三种 "alpaca"，"sharegpt"，"custom"。custom为自定义数据集。
- --tokenizer：tokenizer路径，可以是huggingface的权重路径
- --request-rate：请求频率，支持多个，如 0.1 1 2。实际测试时，会根据request-rate为均值的指数分布来发送请求以模拟真实业务场景。
- --num-prompts：某个频率下请求数，支持多个，如 10 100 100，数量需和--request-rate的数量对应
- --max-tokens：输入+输出限制的最大长度，模型启动参数--max-input-length值需要大于该值
- --max-prompt-tokens：输入限制的最大长度，推理时最大输入tokens数量，模型启动参数--max-total-tokens值需要大于该值，tokenizer建议带tokenizer.json的FastTokenizer
- --benchmark-csv：结果保存路径，如benchmark_serving.csv
脚本运行完后，测试结果保存在benchmark_serving.csv中，示例如下图所示。
图1 动态benchmark测试结果