AI开发平台MODELARTS-附录：大模型推理常见问题:问题8：使用benchmark-tools对GLM系列模型进行性能测试报错
时间：2025-04-09 09:16:49
下载AI开发平台MODELARTS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
问题8：使用benchmark-tools对GLM系列模型进行性能测试报错
使用benchmark-tools对GLM系列模型进行性能测试报错TypeError: _pad() got an unexpected keyword argument 'padding_side'
解决方法：
1、下载最新的tokenization_chatglm.py，替换原来权重里的tokenization_chatglm.py。
https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/tokenization_chatglm.py
https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenization_chatglm.py
或者2、修改tokenization_chatglm.py，在266行增加padding_side: str = "left"，如图1所示。
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91136.html
