AI开发平台MODELARTS-语言模型推理性能测试:benchmark代码目录

时间：2025-04-09 09:16:18

AI开发平台MODELARTS 推理服务性能评测

benchmark代码目录

性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。具体代码目录如下。

benchmark_tools 
|--- modal_benchmark
    |--- modal_benchmark_parallel.py  # 评测静态性能脚本
    |--- utils.py
├── benchmark_parallel.py  # 评测静态性能脚本
├── benchmark_serving.py  # 评测动态性能脚本
├── generate_dataset.py   # 生成自定义数据集的脚本
├── benchmark_utils.py   # 工具函数集
├── benchmark.py         # 执行静态、动态性能评测脚本
├── requirements.txt       # 第三方依赖

上一篇：AI开发平台MODELARTS-语言模型推理性能测试:静态benchmark验证

下一篇：AI开发平台MODELARTS-语言模型推理性能测试:静态benchmark验证