响应示例 状态码： 200 OK 非流式问答响应 { "id": "chat-3f7d8e038f244ae5b7cb0cecf352e154", "object": "chat.completion", "created": 1745725506, "model": "pangu-nlp-n1-32k_kpyq10", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "你好！有什么我可以帮助你的吗？", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 64, "total_tokens": 73, "completion_tokens": 9 }, "prompt_logprobs": null } 带有思维链的非流式问答响应 { "id": "4c0dcef2-7f8f-4c57-93c7-484c03b0a216", "object": "chat.completion", "created": 1741937420, "model": "pangu-nlp-n1-32k_kpyq10", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "\n\n你好！很高兴见到你，有什么我可以帮忙的吗？", "reasoning_content": "嗯，用户发来“你好”，这是一个常见的中文问候。我要用中文回应用户，保持友好和亲切。首先要分析用户的需求，可能只是想打个招呼，或者有具体的问题想问。\n\n接下来要考虑用户可能的背景，可能来自不同的地方，但使用简体中文，所以可能是中国大陆的用户。需要保持回答的通用性，适合所有使用中文的人。\n\n还要判断是否有更深层次的需求，用户可能在测试聊天机器人，或者真的需要帮助。这时候需要给出一个开放式的回应，鼓励用户进一步说明需求。例如询问有什么可以帮忙的，这样既回应了问候，又引导用户提出具体问题。\n\n另外要注意语言的流畅和自然，避免过于机械化的回答。保持礼貌和专业，同时适当使用表情符号增加亲和力，比如用[微笑]或者之类的，不过可能根据平台的不同需要调整。\n\n最后要确保回答符合规范，不涉及敏感话题，内容积极健康。检查是否有拼写或语法错误，确保回复准确无误。\n", "tool_calls": [] }, "logprobs": null, "finish_reason": "stop", "stop_reason": null } ], "usage": { "prompt_tokens": 22, "total_tokens": 377, "completion_tokens": 355 }, "prompt_logprobs": null } 流式问答响应 V1推理接口返回体： data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"logprobs":null,"finish_reason":null,"message":{"role":"assistant"}}],"usage":{"prompt_tokens":64,"total_tokens":64,"completion_tokens":0}} data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"logprobs":null,"finish_reason":null,"message":{"content":"你好"}}],"usage":{"prompt_tokens":64,"total_tokens":65,"completion_tokens":1}} data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"logprobs":null,"finish_reason":"stop","stop_reason":null,"message":{"content":"！有什么我可以帮你的吗？"}}],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} data:{"id":"chat-59170add0fd1427bbca0388431058d45","object":"chat.completion.chunk","created":1745725837,"model":"pangu-nlp-n1-32k_kpyq10","choices":[],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} event:{"usage":{"completionTokens":9,"promptTokens":64,"totalTokens":73},"tokens":64,"token_number":9} data:[DONE] V2推理接口返回体： data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"delta":{"role":"assistant"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":64,"total_tokens":64,"completion_tokens":0}} data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"delta":{"content":"你好"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":64,"total_tokens":65,"completion_tokens":1}} data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[{"index":0,"delta":{"content":"！有什么我可以帮助你的吗？"},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} data:{"id":"chat-b9417f06b6524362ae09844cc9b0172d","object":"chat.completion.chunk","created":1745725924,"model":"pangu-nlp-n1-32k_kpyq10","choices":[],"usage":{"prompt_tokens":64,"total_tokens":73,"completion_tokens":9}} data:[DONE] 带有思维链的流式问答响应 V1推理接口返回体： data:{"id":"chat-cfc9f0e8404540af97aa97bfc5c5090f","object":"chat.completion.chunk","created":1747364482,"model":"pangu-nlp-n2-reasoner-32k","choices":[{"index":0,"message":{"role":"assistant"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":23,"total_tokens":23,"completion_tokens":0}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 24, "completion_tokens": 1}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 25, "completion_tokens": 2}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 26, "completion_tokens": 3}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "好的"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 27, "completion_tokens": 4}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "，"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 28, "completion_tokens": 5}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "用户"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 29, "completion_tokens": 6}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "发"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 30, "completion_tokens": 7}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "来了"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 31, "completion_tokens": 8}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "“"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 32, "completion_tokens": 9}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "你好"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 33, "completion_tokens": 10}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "”"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 34, "completion_tokens": 11}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "，"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 35, "completion_tokens": 12}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "我需要"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 36, "completion_tokens": 13}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "回复"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 37, "completion_tokens": 14}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "他们"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 38, "completion_tokens": 15}} ... data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "符合"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 178, "completion_tokens": 155}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "要求"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 179, "completion_tokens": 156}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "。"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 180, "completion_tokens": 157}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": "\n"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 181, "completion_tokens": 158}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 182, "completion_tokens": 159}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 183, "completion_tokens": 160}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "\n\n"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 184, "completion_tokens": 161}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "你好"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 185, "completion_tokens": 162}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "！"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 186, "completion_tokens": 163}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "我是"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 187, "completion_tokens": 164}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "华为"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 188, "completion_tokens": 165}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "云"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 189, "completion_tokens": 166}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "开发的"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 190, "completion_tokens": 167}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "盘"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 191, "completion_tokens": 168}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "古"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 192, "completion_tokens": 169}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "大"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 193, "completion_tokens": 170}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "语言"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 194, "completion_tokens": 171}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "模型"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 195, "completion_tokens": 172}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "。"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 196, "completion_tokens": 173}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "有什么"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 197, "completion_tokens": 174}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "可以"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 198, "completion_tokens": 175}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "帮"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 199, "completion_tokens": 176}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "您的"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 200, "completion_tokens": 177}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": "？"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 201, "completion_tokens": 178}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "message": {"content": ""}, "logprobs": null, "finish_reason": "stop", "stop_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 202, "completion_tokens": 179}} data:{"id":"chat-cfc9f0e8404540af97aa97bfc5c5090f","object":"chat.completion.chunk","created":1747364482,"model":"pangu-nlp-n2-reasoner-32k","choices":[],"usage":{"prompt_tokens":23,"total_tokens":202,"completion_tokens":179}} data:[DONE] V2推理接口返回体： data:{"id":"chat-cfc9f0e8404540af97aa97bfc5c5090f","object":"chat.completion.chunk","created":1747364482,"model":"pangu-nlp-n2-reasoner-32k","choices":[{"index":0,"delta":{"role":"assistant"},"logprobs":null,"finish_reason":null}],"usage":{"prompt_tokens":23,"total_tokens":23,"completion_tokens":0}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 24, "completion_tokens": 1}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 25, "completion_tokens": 2}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 26, "completion_tokens": 3}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "好的"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 27, "completion_tokens": 4}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "，"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 28, "completion_tokens": 5}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "用户"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 29, "completion_tokens": 6}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "发"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 30, "completion_tokens": 7}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "来了"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 31, "completion_tokens": 8}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "“"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 32, "completion_tokens": 9}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "你好"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 33, "completion_tokens": 10}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "”"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 34, "completion_tokens": 11}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "，"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 35, "completion_tokens": 12}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "我需要"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 36, "completion_tokens": 13}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "回复"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 37, "completion_tokens": 14}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "他们"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 38, "completion_tokens": 15}} ... data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "符合"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 178, "completion_tokens": 155}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "要求"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 179, "completion_tokens": 156}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "。"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 180, "completion_tokens": 157}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": "\n"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 181, "completion_tokens": 158}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 182, "completion_tokens": 159}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"reasoning_content": ""}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 183, "completion_tokens": 160}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "\n\n"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 184, "completion_tokens": 161}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "你好"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 185, "completion_tokens": 162}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "！"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 186, "completion_tokens": 163}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "我是"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 187, "completion_tokens": 164}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "华为"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 188, "completion_tokens": 165}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "云"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 189, "completion_tokens": 166}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "开发的"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 190, "completion_tokens": 167}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "盘"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 191, "completion_tokens": 168}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "古"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 192, "completion_tokens": 169}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "大"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 193, "completion_tokens": 170}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "语言"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 194, "completion_tokens": 171}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "模型"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 195, "completion_tokens": 172}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "。"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 196, "completion_tokens": 173}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "有什么"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 197, "completion_tokens": 174}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "可以"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 198, "completion_tokens": 175}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "帮"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 199, "completion_tokens": 176}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "您的"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 200, "completion_tokens": 177}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": "？"}, "logprobs": null, "finish_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 201, "completion_tokens": 178}} data:{"id": "chat-cfc9f0e8404540af97aa97bfc5c5090f", "object": "chat.completion.chunk", "created": 1747364482, "model": "pangu-nlp-n2-reasoner-32k", "choices": [{"index": 0, "delta": {"content": ""}, "logprobs": null, "finish_reason": "stop", "stop_reason": null}], "usage": {"prompt_tokens": 23, "total_tokens": 202, "completion_tokens": 179}} data:{"id":"chat-cfc9f0e8404540af97aa97bfc5c5090f","object":"chat.completion.chunk","created":1747364482,"model":"pangu-nlp-n2-reasoner-32k","choices":[],"usage":{"prompt_tokens":23,"total_tokens":202,"completion_tokens":179}} data:[DONE]

请求示例 单轮问答 V1推理接口： POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/chat/completions Request Header: Content-Type: application/json X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG... Request Body: { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } V2推理接口： POST https://{endpoint}/api/v2/chat/completions Request Header: Content-Type: application/json Authorization: Bearer 201ca68f-45f9-4e19-8fa4-831e... Request Body: { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 单轮流式问答（stream参数值为true） { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "五岳分别是哪些山" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 带有人设的单轮问答（role参数值为system） { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } 带有人设的单轮流式问答（role参数值为system，stream参数值为true） { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role": "system", "content": "你的名字叫智子，是一名幼儿园老师，请用幼儿园老师的口吻回答问题，注意语气温和亲切，通过提问、引导、赞美等方式，激发学生的思维和想象力。" }, { "role": "user", "content": "写一首诗" } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" } 多轮问答 # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "role":"assistant", "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "role":"user", "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "role":"assistant", "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "role":"user", "content": "提到的湖南景点，详细说明下" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600 } 多轮流式问答（stream参数值为true） # 多轮问答传参方法：在完成第一轮问答，进行第二轮问答时，需要将第一轮的问题和答案、第二轮问题作为参数传入……依次类推，完成多轮对话。 { "model": "pangu-nlp-n1-32k", // 仅V2接口需要此参数 "messages": [ { "role":"user", "content": "介绍下长江，以及长江中典型的鱼类" //第一轮问题 }, { "role":"assistant", "content": "长江是中国第一大河,全长6300多公里。它发源于青藏高原的唐古拉山脉南麓,流经中国11个省市自治区和两个特别行政区,最终注入东海。\n长江中典型的鱼类有:鲢鱼、鳙鱼、草鱼、鲤鱼等。" //第一轮答案 }, { "role":"user", "content": "途径的省份列2个，并说明有哪些人文风景" //第二轮问题 }, { "role":"assistant", "content": "1. 湖南 - 长沙岳麓山、张家界天门山等\n2. 四川 - 九寨沟、峨眉山等" //第二轮答案 }, { "role":"user", "content": "张家界具体在哪里" //第三轮问题 } ], "temperature": 0.9, "max_tokens": 600, "stream": "true" }

URI 获取URI方式请参见请求URI。 NLP推理服务提供两种推理接口调用： 盘古推理接口（V1推理接口） 业界通用的OpenAI格式接口（V2推理接口） 两种接口定义如表1所示。 表1 NLP服务推理接口 API分类 API访问路径（URI） V1推理接口 POST /v1/{project_id}/deployments/{deployment_id}/chat/completions V2推理接口 POST /api/v2/chat/completions V1推理接口URI需要输入额外参数，参数说明如表2 V1推理接口路径参数所示： 表2 V1推理接口路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型部署ID。

NLP大模型训练流程介绍 NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化。 针对预训练阶段，还可以继续进行训练，这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上继续训练模型。增量预训练旨在使模型能够适应新的领域或数据需求，保持其长期的有效性和准确性。 微调阶段：基于预训练的成果，微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。 针对微调阶段，微调后的模型可以直接部署，也可以继续进行强化学习（DPO）训练，以进一步对齐任务场景下的用户偏好，例如模型回答的风格、模型的价值观等。注意，目前盘古NLP大模型仅支持对N4系列进行DPO微调训练。

NLP大模型训练类型选择建议 平台针对NLP大模型提供了三种训练类型，包括预训练、微调、强化学习（DPO），三者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数据：通常使用海量的无监督数据（如文本语料库、百科文章），这些数据覆盖广泛的领域和语言表达方式，帮助模型掌握广泛的知识。 适合广泛应用：经过预训练后，模型可以理解自然语言并具备通用任务的基础能力，但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。 通过使用海量的互联网文本语料对模型进行预训练，使模型理解人类语言的基本结构。 微调 关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据，使模型的表现从通用性向具体任务需求过渡。 使用小规模的特定任务数据：微调通常需要小规模但高质量的标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。 在特定任务上具有更高的准确性：微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力，微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中，可以用特定领域（如电商、保险）的对话数据对预训练模型进行微调，使其更好地理解和回答与该领域相关的问题。 强化学习（DPO） 关注偏好性：DPO（Direct Preference Optimization，直接偏好优化）通过利用偏好数据来提升模型的对话质量，增强其安全性、可控性，并且优化其输出的风格和语气。 使用模型生成的多个回答的排序数据：这些偏好数据通常来自于已有的高质量对话数据集。关键在于数据的质量，需要保证生成的偏好数据能够有效反映人类的实际偏好和期望。 对话质量：通过优化生成的回复，使其更自然、更符合语境，并减少不当或低质量的内容。 语气和风格调整：可以根据需要调整模型的语气（如正式或亲和）和输出风格（如简洁或详细）。 安全性和可控性：减少有害或偏见内容的生成，增强模型的可控性，能够避免生成不符合伦理或社会规范的回答。 在内容创作和写作辅助中，DPO能够帮助创作类工具生成更加符合用户风格和偏好的文本内容，支持个性化写作。 强化学习（RFT） 关注正确性：RFT（Reinforcement Fine-Tuning，强化微调）是一种结合规则化奖励信号的强化学习方法。其训练目的是引导模型在具有明确“正确答案”的复杂任务中不断优化输出结果，使其逐步逼近最优解。RFT 通过少量高质量反馈数据，使模型在特定领域实现高精度推理与决策能力。 使用规则化奖励函数对模型生成的回答打分：RFT 的训练数据通常包括输入问题与标答。由模型自动生成的多个候选回答，每个候选回答会通过一个预定义的规则化奖励函数进行评分。这些得分作为强化学习中的奖励信号，用于指导策略更新，使模型更倾向于生成“正确”或“有效”的输出。 高精度推理能力：RFT 能显著提升模型在数学推理、代码生成、逻辑推导等任务上的准确率，使其接近甚至达到专家水平。 稳定性和一致性增强：通过规则化反馈机制，模型在重复任务中表现更加稳定，减少随机性导致的错误。 可解释性提升：由于依赖明确的规则奖励机制，RFT 训练出的模型在输出路径上更具可追踪性和可解释性，便于调试和优化。 泛化能力有限但可控：虽然 RFT 更聚焦于特定领域的性能优化，泛化能力相对较弱，但其输出更加可控，适合封闭式任务场景。 在数学问题求解中，RFT应用于解题系统，通过对答案是否正确进行反馈，让模型学会一步步推导出正确的解法。 此外，针对微调训练任务，平台提供了两种微调方式： 全量微调：适合有充足数据并关注特定任务性能的场景。在全量微调中，模型的所有参数都会调整，以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如，在特定领域（如金融、医疗）中，若拥有大量标注数据，且需要更高的特定任务推理精度，则全量微调是优先选择。 LoRA微调：适用于数据量较小、侧重通用任务的情境。LoRA（Low-Rank Adaptation）微调方法通过调整模型的少量参数，以低资源实现较优结果，适合聚焦于领域通用任务或小样本数据情境。例如，在针对通用客服问答的场景中，样本量少且任务场景广泛，选择LoRA微调既能节省资源，又能获得较好的效果。 微调方式选择建议： 若项目中数据量有限或任务场景较为广泛，可以选择LoRA微调以快速部署并保持较高适用性。 若拥有充足数据且关注特定任务效果，选择全量微调有助于大幅提升在特定任务上的模型精度。 创建训练任务如何配置资源： 创建训练任务页面默认资源配置为该模型支持的最小资规格源配置； 在训练任务创建页面，如果单实例训练单元数可以配置为8，且实例数可以配置为大于1，则说明当前模型支持多机多卡训练；

构建NLP大模型数据集流程 在ModelArts Studio大模型开发平台中，使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 加工文本类数据集 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提升数据质量。 加工文本类数据集 合成文本类数据集 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 合成文本类数据集 标注文本类数据集 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 配比文本类数据集 数据配比是将多个数据集按特定比例组合的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 配比文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 评估文本类数据集 发布文本类数据集 发布流通是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 发布文本类数据集

训练NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表2。 表2 构建NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量（数据条数） 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N2 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N4 微调 - 1000条/每场景 ≥ 1万条/每场景 4K版本：4096 32K版本：32768 预训练 4GB(等价10亿Tokens) - - 4K版本：4096 32K版本：32768 RFT强化学习 100 ~ 1万条 100条 - DPO强化学习 5万 ~ 15万条 1000条 -

NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，数据集文件内容包括：预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等，不同训练方式所需要使用的数据见表1，该数据集格式要求请参见文本类数据集格式要求。 表1 训练NLP大模型数据集类型要求 基模型 训练场景 数据集类型 数据集内容 文件格式 NLP 预训练 文本 预训练文本 jsonl 微调 文本 单轮问答 jsonl、csv 文本 多轮问答 jsonl 文本 单轮问答（人设） jsonl、csv 文本 多轮问答（人设） jsonl 强化学习（RFT） 文本 单轮问答 jsonl 强化学习（DPO） 文本 偏好优化DPO jsonl

NLP大模型评测指标说明 NLP大模型支持自动评测与人工评测，各指标说明如表1、表2、表3。 表1 NLP大模型自动评测指标说明-不使用预置评测集 评测指标（自动评测-不使用评测模板） 指标说明 F1_SCORE 精准率和召回率的调和平均数，数值越高，表明模型性能越好。 BLEU-1 模型生成句子与实际句子在单字层面的匹配度，数值越高，表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度，数值越高，表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权平均精确率，数值越高，表明模型性能越好。 ROUGE-1 模型生成句子与实际句子在单个词的相似度，数值越高，表明模型性能越好。 ROUGE-2 模型生成句子与实际句子在两个词的相似度，数值越高，表明模型性能越好。 ROUGE-L 模型生成句子与实际句子在最长公共子序列的相似度，数值越高，表明模型性能越好。 PRECISION 问答匹配的精确度，模型生成句子与实际句子相比的精确程度，数值越高，表明模型性能越好。 表2 NLP大模型自动评测指标说明-使用预置评测集 评测指标（自动评测-使用评测模板） 指标说明 评测得分 每个数据集上的得分为模型在当前数据集上的通过率；评测能力项中若有多个数据集则按照数据量的大小计算通过率的加权平均数。 综合能力 综合能力是计算所有数据集通过率的加权平均数。 表3 NLP大模型人工评测指标说明 评测指标（人工评测） 指标说明 准确性 模型生成答案正确且无事实性错误。 average 模型生成句子与实际句子基于评估指标得到的评分后，统计平均得分。 goodcase 模型生成句子与实际句子基于评估指标得到的评分后，统计得分为5分的占比。 badcase 模型生成句子与实际句子基于评估指标得到的评分后，统计得分1分以下的占比。 用户自定义的指标 由用户定义的指标，如有用性、逻辑性、安全性等。

使用“体验中心”调用医学NLP大模型 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前，请完成模型的部署操作，步骤详见云上部署。 使用“体验中心”调用NLP大模型可实现文本对话能力，即在输入框中输入问题，模型将基于问题输出相应的回答，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”，单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”，若不填写，将使用系统默认人设。 在页面右侧配置参数，具体参数说明见表1。 表1 NLP大模型体验中心参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题，从而避免生成重复内容。 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用，促使模型使用更多样化的词汇进行表达。 输出最大TOKEN长度 用于控制模型生成回复的长度，一般来说，较大的max_tokens值可以生成较完整的回复，但也可能增加生成无关或重复内容的风险。较小的max_tokens值可以生成较简洁的回复，但也可能导致生成不完整或不连贯的内容，请根据场景选择合适的值。 如图2，输入对话，单击“生成”，模型将输出相应的回答。 图2 调测医学NLP大模型 父主题： 调用医学NLP大模型

医学NLP大模型训练流程介绍 医学NLP大模型的训练分为两个关键阶段：预训练和微调。 预训练阶段：在这一阶段，模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础，如阅读理解、文本生成和情感分析，但它还未能针对特定任务进行优化。 针对预训练阶段，还可以继续进行训练，这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上继续训练模型。增量预训练旨在使模型能够适应新的领域或数据需求，保持其长期的有效性和准确性。 微调阶段：基于预训练的成果，微调阶段通过在特定领域的数据集上进一步训练，使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中，通过设定训练指标来监控模型的表现，确保其达到预期的效果。完成微调后，将对用户模型进行评估并进行最终优化，以确保满足业务需求，然后将其部署和调用，用于实际应用。 针对微调阶段，微调后的模型可以直接部署，也可以继续进行强化学习（DPO）训练，以进一步对齐任务场景下的用户偏好，例如模型回答的风格、模型的价值观等。注意，目前盘古NLP大模型仅支持对N4系列进行DPO微调训练。

NLP大模型训练类型选择建议 平台针对NLP大模型提供了三种训练类型，包括预训练、微调、强化学习（DPO），三者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法和语义的基础理解。通过大规模的通用数据训练，模型可以掌握丰富的语言模式，如语言结构、词义关系和常见的句型。 使用大规模通用数据：通常使用海量的无监督数据（如文本语料库、百科文章），这些数据覆盖广泛的领域和语言表达方式，帮助模型掌握广泛的知识。 适合广泛应用：经过预训练后，模型可以理解自然语言并具备通用任务的基础能力，但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。 通过使用海量的互联网文本语料对模型进行预训练，使模型理解人类语言的基本结构。 微调 关注专业性：微调是对预训练模型的参数进行调整，使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据，使模型的表现从通用性向具体任务需求过渡。 使用小规模的特定任务数据：微调通常需要小规模但高质量的标注数据，直接与目标任务相关。通过这些数据，模型可以学习到任务特定的特征和模式。 在特定任务上具有更高的准确性：微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力，微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中，可以用特定领域（如电商、保险）的对话数据对预训练模型进行微调，使其更好地理解和回答与该领域相关的问题。 此外，针对微调训练任务，平台提供了两种微调方式： 全量微调：适合有充足数据并关注特定任务性能的场景。在全量微调中，模型的所有参数都会调整，以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如，在特定领域（如金融、医疗）中，若拥有大量标注数据，且需要更高的特定任务推理精度，则全量微调是优先选择。 LoRA微调：适用于数据量较小、侧重通用任务的情境。LoRA（Low-Rank Adaptation）微调方法通过调整模型的少量参数，以低资源实现较优结果，适合聚焦于领域通用任务或小样本数据情境。例如，在针对通用客服问答的场景中，样本量少且任务场景广泛，选择LoRA微调既能节省资源，又能获得较好的效果。 微调方式选择建议： 若项目中数据量有限或任务场景较为广泛，可以选择LoRA微调以快速部署并保持较高适用性。 若拥有充足数据且关注特定任务效果，选择全量微调有助于大幅提升在特定任务上的模型精度。

使用“体验中心”调用NLP大模型 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前，请完成模型的部署操作，步骤详见创建NLP大模型部署任务。 使用“体验中心”调用NLP大模型可实现文本对话能力，即在输入框中输入问题，模型将基于问题输出相应的回答，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”，单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”，若不填写，将使用系统默认人设。 在页面右侧配置参数，具体参数说明见表1。 表1 NLP大模型体验中心参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 最大口令限制 用于控制聊天回复的长度和质量。 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题，从而避免生成重复内容。 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用，促使模型使用更多样化的词汇进行表达。 输出最大TOKEN长度 用于控制模型生成回复的长度，一般来说，较大的max_tokens值可以生成较完整的回复，但也可能增加生成无关或重复内容的风险。较小的max_tokens值可以生成较简洁的回复，但也可能导致生成不完整或不连贯的内容，请根据场景选择合适的值。 如图2，输入对话，单击“生成”，模型将输出相应的回答。 图2 调测NLP大模型 父主题： 调用NLP大模型

NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1和表2。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时，数据集列表为空。 创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集，并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0” 日志提示“root: XXX valid number is 0”，表示训练集/验证集的有效样本量为0，例如： INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0，可能有如下原因： 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。 训练日志提示“ValueError: label_map not match” 训练日志中提示“ValueError: label_map not match”，并打印出标签数据，例如： ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致，导致该错误发生。 例如，训练集中的标签共有4个，验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 表2 NLP大模型训练常见错误码和建议解决方法 错误码 错误信息 说明 建议解决方法 model.50010001 当前驱动 {0} 不满足指定的驱动版本 {1}。 当前驱动 {0} 不满足指定的驱动版本 {1}。 联系oncall检查宿主机上的驱动，若不符合要求，则需要oncall重新升级驱动到错误信息中指定的版本。 model.50010002 当前固件 {0} 不满足指定的驱动版本 {1}。 当前固件 {0} 不满足指定的驱动版本 {1}。 联系oncall检查宿主机上的固件，若不符合要求，则需要oncall重新升级驱动到错误信息中指定的版本。 model.50010003 当前磁盘空间大小不满足要求。 当前磁盘空间大小不满足要求。 联系oncall扩容宿主机上的磁盘，要求挂载到/cache目录上的空间大于等于19T。 model.50010101 Obs文件下载错误。 Obs文件下载错误。 请检查OBS服务是否正常，如果正常请联系技术支持。 model.50010104 Obs文件上传错误。 Obs文件上传错误。 请检查OBS服务是否正常，如果正常请联系技术支持。 model.50010106 文件删除错误，OBS服务不可用。 文件删除错误，OBS服务不可用。 请检查OBS服务是否正常，如果正常请联系技术支持。 model.50010107 文件上传错误，HDFS服务不可用。 文件上传错误，HDFS服务不可用。 请检查HDFS服务是否正常，如果正常请联系技术支持。 model.50010108 文件下载错误，HDFS服务不可用。 文件下载错误，HDFS服务不可用。 请检查HDFS服务是否正常，如果正常请联系技术支持。 model.50010109 文件删除错误，HDFS服务不可用。 文件删除错误，HDFS服务不可用。 请检查HDFS服务是否正常，如果正常请联系技术支持。 model.50010110 列举文件夹下文件错误，HDFS服务不可用。 列举文件夹下文件错误，HDFS服务不可用。 请检查HDFS服务是否正常，如果正常请联系技术支持。 父主题： 训练NLP大模型

设置plog日志 登录承载租户账户后，在左侧菜单页选择平台配置模块，并切换至运维配置页签。 点击添加按钮，在添加弹窗中将模块设置为训练，名称(config_key)设置为plog_level。 设置项目ID，其默认状态下是defalut，此默认状态表示为所有的项目设置plog日志级别，该字段支持填写项目id为其单独设置plog日志级别。 设置资源池，该项选择全局，表示为所有资源池设置plog日志级别；选择单个后，需要输入资源池ID，用于对资源池单独设置plog日志级别。 上述设置完成后，设置plog日志级别，详细说明参考获取训练日志。 完成设置后，查看plog日志并基于日志内容排查训练问题参考 表4 设置plog日志 参数类别 参数名称 说明 高级设置 plog日志 开启后plog日志功能，会记录模型训练过程中的执行过程、状态、错误等信息，盘古技术支持人员可通过plog日志定位模型训练问题。训练任务开始后可以在承载租户的OBS桶中查看。plog日志分级如下： DEBUG：记录模型训练过程中代码的执行流、变量状态、参数的变化等。 INFO：记录模型训练过程中的运行信息，通常包括一些重要的状态变化、执行的关键步骤、模型训练进度等。 WARNING：记录模型训练过程中的告警信息，可用于识别潜在的问题或异常情况。 ERROR：记录模型训练过程中的执行错误信息。