盘古ai大模型使用教程

准备工作

为确保有可用的NLP大模型，请先完成NLP大模型部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。

操作流程

创建AI研读研究助手Agent的流程见表1。

创建语文题库知识库

1. 在Agent开发平台，单击左侧导航栏“工作台”按钮，在“知识库”页签，单击右上角“创建知识库”按钮。
   图1 创建知识库入口

   

2. 在知识库创建界面填写基础信息、向量精排模型配置、解析切分策略配置。
   • 基本信息：配置知识库图标，填写名称、描述。
   • 模型配置：选择向量及精排模型。
   • 解析配置：配置文档解析。
   • 拆分配置：配置文档拆分。
   图2 创建知识库

   

3. 单击确定后，上传文档。

   在知识文档页签下单击上传。文件上传成功后，单击“确定”，完成知识库的创建。

   图3 上传文档
   
4. 单击右上角“命中测试”。
   图4 命中测试

   

5. 在文本框中输入问题，单击“命中测试”，页面下方将根据不同的检索方式，展示多条匹配的内容，并按照匹配分值降序排列。

   用户可以根据分值与匹配到的信息数量来评估当前知识库是否满足需求。

   图5 命中测试
   

创建并配置工作流

1. 登录 ModelArts Studio大模型开发平台首页，单击“AGENT开发”，将跳转至Agent开发平台。
   图6 ModelArts Studio首页
   
2. 在Agent开发平台，单击左侧导航栏“工作台”按钮，在“工作流”页签，单击右上角“创建工作流”按钮。
   图7 创建工作流入口
   
3. 选择“对话型工作流”，输入工作流名称、英文名称及描述，单击“确定”，进入工作流编排页面。
   图8 创建工作流

   

4. 在工作流编排页面，平台已预先编排了开始、大模型与结束节点。

   单击节点右上角的，可以对当前节点执行重命名、复制、删除操作。开始和结束节点为必选节点，无法删除。

   图9 节点的重命名、复制、删除操作
   
5. 配置“开始”节点。单击“开始”节点，该节点已默认配置query参数，表示用户输入的内容。当前场景下无需新增参数，单击“确定”。
   图10 配置开始节点
   
6. 配置“大模型”节点，从用户输入中进行问题提取，解析出用户的问题，并用json格式输出。
   1. 鼠标拖动左侧“大模型”节点至编排页面，连接“开始”节点和“大模型”节点。
      图11 连接“开始”节点和“大模型”节点

      

   2. 单击“大模型”节点，参考图12和图13完成参数配置，单击“确定”。
      图12 “大模型”节点配置
      
      图13 模型配置
      
7. 配置“知识检索”节点，从预先上传的语文题库中检索用户的问题，并返回匹配到的信息。
   1. 鼠标拖动左侧“知识检索”节点至编排页面，连接“大模型”节点（生成问题）和“知识检索”节点。
      图14 连接“大模型”节点（生成问题）和“知识检索”节点

      

   2. 单击“知识检索”节点，参考图15和图16完成参数配置，单击“确定”。
      • 输入参数

        参数名称：默认参数名称为query。

        类型、值：选择“引用>question”。question为“生成问题-大模型节点”的输出变量值。

      • 知识库可直接选择创建语文题库知识库章节创建的“语文知识库”。
      图15 “知识检索”节点配置
      
      图16 知识库设置
      
8. 配置“判断”节点，判定是否从预置的题库中检索到匹配的题目。
   1. 鼠标拖动左侧“判断”节点至编排页面，连接“知识检索”节点和“判断”节点。
      图17 连接“知识检索”节点和“判断”节点

      

   2. 单击“判断”节点，参考图18完成参数配置，单击“确定”。
      第一个分支，参数是“知识检索”节点输出的output_list，比较条件是“长度大于”，比较对象是“输入”，值为0。

      图18 “判断”节点配置
      
9. 配置“大模型”节点，对知识库检索到的结果进行润色，给出一个丰富的解答输出。
   1. 鼠标拖动左侧“大模型”节点至编排页面，连接“判断”节点的第一个分支和“大模型”节点，这表明如果知识检索的召回数大于0的时候，将运行到该大模型节点。
      图19 连接“判断”节点的第一个分支和“大模型”节点

      

   2. 单击“大模型”节点，参考图20和图21完成参数配置，单击“确定”。
      输入参数：

      • 参数名称：默认参数名称为input。
      • 类型、值：选择“引用>output_list”。output_list为“知识检索”节点的输出变量值。
      图20 “大模型”节点配置
      
      图21 模型配置
      
10. 配置“AI输出”大模型节点。对用户的问题直接给出一份丰富的解答输出，并注明“（此回答由AI生成）”。
    1. 鼠标拖动左侧“大模型”节点至编排页面，连接“判断”节点的第二个分支和“大模型”节点，这表明如果知识检索没到召回任何答案的时候，将运行到该大模型节点。
       图22 连接“判断”节点的第二个分支和“大模型”节点

       

    2. 单击“大模型”节点，参考图23和图24完成参数配置，单击“确定”。

       输入参数：

       • 参数名称：默认参数名称为input。
       • 类型、值：选择“引用>question”。question为“生成问题”节点的输出变量值。
       图23 大模型”节点配置
       
       图24 模型配置
       
11. 配置“代码”节点，对“大模型节点-润色输出”节点和“大模型节点-AI输出”节点的输出字符串使用代码，进行格式化处理。
    1. 鼠标拖动左侧“代码”节点至编排页面，连接“润色输出”大模型节点和“AI输出”大模型节点到代码节点。单击“代码”节点进行配置。编写代码，根据输入变量来生成返回值。
       图25 连接“润色输出”大模型节点和“AI输出”大模型节点到代码节点
       
    2. 单击“代码”节点，参考图26完成参数配置，单击“确定”。
       • 在“参数配置”中，配置两个输入参数{{str1}}和{{str2}}。

         表2 输入参数

         参数名称	类型	值
         str1	引用	“润色输出”大模型节点的输出
         str2	引用	“AI输出”大模型节点的输出

       • 在“代码配置”中，编写python代码对输入变量进行处理。需要定义一个main函数。代码节点里面有个main函数的代码模板，在此基础上编写自己的代码。输入变量的获取需要使用arg.get方法。

         该工作流中，使用代码节点对上两个节点的输出进行合并和格式化。

       图26 “代码”节点配置
       
12. 配置“结束”节点，输出最终结果。
    1. 连接“代码”节点到“结束”节点。
       图27 连接“代码”节点到“结束”节点
       
    2. 单击“结束节点”，如图28配置输入参数和回复。
       图28 “结束节点”配置
       
13. 编排完成的工作流如下图所示。
    图29 工作流
    

调试与发布工作流

1. 工作流编排完成后，单击右上角“试运行”。

   检查节点设置是否有误，常见节点报错可参考典型问题进行解决。

   图30 试运行
   
2. 在试运行过程中，可以单击右上角“”查看调试结果，包括运行结果与调用详情。
   图31 运行结果
   
   图32 调用详情
   
3. 必要时也可以针对工作流中的某个节点单独进行调试，以保证节点的成功运行。
   1. 在工作流编排页面，单击“AI输出”节点的“”，进入节点的调试页面。
      图33 调试单节点

      

   2. 在节点的“配置信息”输入请求参数的值，单击“开始运行”。
      图34 配置节点调试任务
      
   3. 单节点调试成功后，将在该节点显示“运行成功”字样及其运行时间。
      图35 单节点调试结果