检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
str(row[name]) return value def copy_local_to_obs(local_file_path, obs_file_path): mox.file.copy(local_file_path, obs_file_path) def
file_name) copy(obs_file_path, input_file) extract_json_data(input_file, output_file) copy(output_file, os.path
MA/OBS/Gallery/TICS}是否正常。 请确认服务{MRS/MA/OBS/Gallery/TICS}是否正常。 数据库访问异常。 请检查数据库是否正常。 数据配比 参数配置错误,请调整配置参数。 请调整配置参数。 权限(本地目录/服务访问)错误,请配置相应权限。 请配置相应权限。
知识库介绍 平台提供了知识库功能来对文本文档等数据进行向量化存储、知识检索,支持为应用、工作流提供检索增强能力。无论是文本文档、演示文稿,还是电子表格文件,用户都可以轻松地将数据导入知识库,无需额外的转换或格式处理。 知识库支持导入以下格式的本地文档: 表1 支持的文档格式 文档类型
配置知识库 知识库是Agent开发平台中用于存储、管理和检索领域知识的核心组件,它通过结构化存储、智能检索以及动态更新机制,为Agent提供精准的信息支持。知识库支持doc, pdf, pptx, xlsx, csv等多种格式上传,通过多源知识融合和向量化处理,知识库可实现对复杂
工作,例如应用自身的合法合规性、开发设计安全,以及相关组件(如中间件、数据库和操作系统)的漏洞修复、配置安全、安全防护方案等。 在PaaS场景下,客户除了对自身部署的应用负责,也要做好自身控制的中间件、数据库、网络控制的安全配置和策略工作。 在SaaS场景下,客户对客户内容、账号
知识库管理 知识库介绍 创建知识库及上传文档 知识库命中测试 在单智能体中使用知识库 在工作流中使用知识库 管理知识库 父主题: 管理Agent平台插件
知识库命中测试 平台支持对创建的知识库进行命中测试,以评估知识库的效果和准确性。 命中测试通过将用户的查询与知识库中的内容进行匹配,最终输出与查询相关的信息,并根据匹配的程度进行排序。 知识库命中测试步骤如下: 登录Agent开发平台。 进入“我的工作台 > 知识库”页面,单击所
管理知识库 新增、删除知识库中的文档 登录Agent开发平台。 进入“我的工作台 > 知识库”页面。 单击所需知识库,进入详情页面。 新增知识库中知识文档。单击右上角“继续上传”,可上传本地文档至当前知识库。 删除知识库中知识文档。在“知识文档”中单击操作列“删除”可删除当前知识文档。
导入数据 在使用ModelArts Studio大模型开发平台时,需要先完成OBS桶、资源池等准备工作,以支持后续模型调优、压缩部署任务,以及模型调优,任务日志等文件的存储。 准备ModelArts Studio资源。请参考准备工作。 准备训练数据集。 NLP预训练数据集导入平台
导入数据 在使用ModelArts Studio大模型开发平台时,需要先完成OBS桶、资源池等准备工作,以支持后续模型调优、压缩部署任务,以及模型调优,任务日志等文件的存储。 准备ModelArts Studio资源。请参考准备工作。 准备训练数据集。 NLP微调数据集导入平台前数据集格式需满足文本类数据集格式要求。
数据工程 ModelArts Studio大模型开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、标注、评估和发布等关键环节,帮助用户高效构建高质量的训练数据集,推动AI应用的成功落地。具体功能如下: 图1 数据流程 表1 各类数据支持的操作 数据类型 数据获取 数据加工
创建知识库及上传文档 创建知识库 登录Agent开发平台。 单击左侧导航栏“我的工作台”,在“知识库”页签,单击右上角“创建知识库”。 在知识库创建界面填写基础信息、向量精排模型配置、解析切分策略配置: 基本信息:配置知识库图标,填写名称、描述。 模型配置:选择向量及精排模型。 解析配置:配置文档解析。
使用数据工程构建数据集 数据工程介绍 数据工程使用流程 数据集格式要求 导入数据至盘古平台 加工数据集 发布数据集 数据集格式转换 数据工程常见报错与解决方案
并且不包含其他出参。 环境变量:在组件运行时可用的全局变量,可以用环境变量存储一些共享的配置信息。例如应用需要从数据库中获取待处理的数据,可以用环境变量存储数据库的位置信息、账密信息、API密钥等。 数据类型 组件参数的数值类型。 业务类型 参数的业务类型。非必填参数,默认为空,支持模型和模型服务两种类型。
数据回归预测 功能介绍 针对特定场景的回归任务,用户传入回归数据,使用模型对指定的预测目标进行回归预测。 URI POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/ 获取URI方式请参见请求URI。 表1 推理接口路径参数
数据分类预测 功能介绍 针对特定场景的分类任务,用户传入分类数据,使用模型对指定的预测目标进行分类预测。 URI POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/ 获取URI方式请参见请求URI。 表1 推理接口路径参数
数据保护技术 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密(HTTPS) 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
获取源数据 常用数据集类型 微调数据集为问答数据,分成通用数据集(语言理解、编程能力、数学能力、逻辑推理等)和行业数据集(如法律、医疗、金融等)。 数据获取方法 数据获取方法 开源数据集: 通用数据集 中文 SmolTalk 数据集 smoltalk-chinese 是一个参照 SmolTalk
并且不包含其他出参。 环境变量:在组件运行时可用的全局变量,可以用环境变量存储一些共享的配置信息。例如应用需要从数据库中获取待处理的数据,可以用环境变量存储数据库的位置信息、账密信息、API密钥等。 数据类型 组件参数的数值类型。 业务类型 参数的业务类型。非必填参数,默认为空,支持模型和模型服务两种类型。