云服务器内容精选

  • 调优大模型的流程 图2 调优大模型的流程 表2 调优大模型的流程详解 序号 流程环节 说明 1 创建数据集 创建微调数据集 用户根据需要创建微调数据集,用于模型微调。 标注数据 用户可以将数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。 2 创建提示语 选择平台预置提示语或自定义提示语 用户根据需要选择平台预置的提示语模板或自定义提示语模板,可在创建Agent、调测模型中快速引用。 优化提示语 针对提示语进行结构、排版、内容等维度的优化和改进,将大模型的输入限定在一个特定的范围中,进而更好地控制模型的输出。 3 调优大模型 创建模型微调流水线 通过选择合适的数据集,调整参数,训练平台预置的模型以提高模型效果,可通过训练过程/结果指标初步判断训练效果。 创建模型服务 训练好的模型需要部署后才可提供推理服务(在线测试模型、应用调用均需先部署模型)。 调测模型 通过调测模型,检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性。
  • 编排Agent的流程 图1 编排Agent的流程 表1 编排Agent的流程详解 序号 流程环节 说明 1 创建数据集 创建微调数据集/创建知识库数据集 用户根据需要创建微调数据集、知识库数据集,分别用于模型微调、创建知识库。 标注数据 用户可以将数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。 2 创建提示语 选择平台预置提示语或自定义提示语 用户根据需要选择平台预置的提示语模板或自定义提示语模板,可在创建Agent、调测模型中快速引用。 优化提示语 针对提示语进行结构、排版、内容等维度的优化和改进,将大模型的输入限定在一个特定的范围中,进而更好地控制模型的输出。 3 创建模型服务 模型需要部署成功后才可正式提供模型推理服务,平台支持将微调后的模型、系统预置的模型以及通过自建模型服务接入的模型发布为模型服务。调测模型、应用调用均需先部署模型(即部署模型服务)。 4 创建知识库 自定义创建并管理知识库,创建的知识库启用后可在创建Agent时引用。 5 编排Agent 创建及发布Agent 将准备好的模型服务、提示语、知识库等编排Agent应用,以及将应用程序和相关的组件发布,使其能够正常运行。
  • 调优大模型的流程 图2 调优大模型的流程 表2 调优大模型的流程详解 序号 流程环节 说明 1 创建数据集 创建微调数据集 用户根据需要创建微调数据集,用于模型微调。 标注数据 用户可以将数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。 2 创建提示语 选择平台预置提示语或自定义提示语 用户根据需要选择平台预置的提示语模板或自定义提示语模板,可在创建Agent、调测模型中快速引用。 优化提示语 针对提示语进行结构、排版、内容等维度的优化和改进,将大模型的输入限定在一个特定的范围中,进而更好地控制模型的输出。 3 调优大模型 创建模型微调流水线 通过选择合适的数据集,调整参数,训练平台预置的模型以提高模型效果,可通过训练过程/结果指标初步判断训练效果。 创建模型服务 训练好的模型需要部署后才可提供推理服务(在线测试模型、应用调用均需先部署模型)。 调测模型 通过调测模型,检验模型的准确性、可靠性及反应效果,发现模型中存在的问题和局限性。
  • 编排Agent的流程 图1 编排Agent的流程 表1 编排Agent的流程详解 序号 流程环节 说明 1 创建数据集 创建微调数据集/创建知识库数据集 用户根据需要创建微调数据集、知识库数据集,分别用于模型微调、创建知识库。 标注数据 用户可以将数据集中的某些元素进行标记或分类,以便模型可以更好地理解和使用这些数据。 2 创建提示语 选择平台预置提示语或自定义提示语 用户根据需要选择平台预置的提示语模板或自定义提示语模板,可在创建Agent、调测模型中快速引用。 优化提示语 针对提示语进行结构、排版、内容等维度的优化和改进,将大模型的输入限定在一个特定的范围中,进而更好地控制模型的输出。 3 创建模型服务 模型需要部署成功后才可正式提供模型推理服务,平台支持将微调后的模型、系统预置的模型以及通过自建模型服务接入的模型发布为模型服务。调测模型、应用调用均需先部署模型(即部署模型服务)。 4 创建知识库 自定义创建并管理知识库,创建的知识库启用后可在创建Agent时引用。 5 编排Agent 创建及发布Agent 将准备好的模型服务、提示语、知识库等编排Agent应用,以及将应用程序和相关的组件发布,使其能够正常运行。
  • 功能介绍 AI原生应用引擎的主要功能如表1所示。 表1 AI原生应用引擎功能介绍 主要功能 功能简介 Agent管理 提供自定义创建、开发、发布、取消发布AI应用,还可以对自己收藏的AI应用进行运行调试等。用户可以将自己在AI资产中心关注或后续计划使用的AI应用、技能(工具)进行收藏或取消收藏。 AI应用体验 将平台预置的应用和用户自己创建的应用进行API调测,帮助开发人员发现并解决应用接口上的问题和错误。 数据管理 平台纳管了用户自定义的和平台预置的数据集,用户使用这些数据集进行模型训练、知识库构建等,快速完成平台使用并验证模型训练效果。 模型管理 用户可以将平台预置模型通过创建模型微调流水线生成微调的模型,还可以创建模型服务及调测模型,检验模型的准确性、可靠性及反应效果。 提示语管理 用户可以将自己创建的、收藏的及平台预置的提示语模板进行优化和改进。 知识库管理 用户可以自定义创建并管理知识库,用于组织和管理大量的数据信息,且创建的知识库启用后可在创建及管理Agent时引用。 父主题: AI原生应用引擎简介
  • 基本概念 使用之前,请先了解表1中相关概念,从而更好的使用AI原生应用引擎。 表1 基本概念说明 基本概念 说明 Agent Agent指具备自主智能的实体,具有一定的智能和自主性,可以自主地发现问题、设定目标、构思策略、执行任务等。 技能 技能是在自动化和人工智能领域的应用程序。能够自动地执行一些任务或提供一些服务,如客户服务、数据分析、信息传输、智能助手、自动回复等。 智能编排 智能编排是一种基于人工智能技术的自动化流程编排工具,通过分析业务流程,自动构建流程模型,并根据预设规则自动化执行流程,从而提高工作效率和准确性。 ClickHouse ClickHouse是一个开源的分布式列式数据库管理系统,主要用于在线分析处理(OLAP)场景。它具有高性能、高可靠性、高可扩展性等特点,可以处理海量数据,支持复杂的查询和数据分析操作。ClickHouse支持SQL语言,同时还提供了许多扩展功能,如数据压缩、数据分区、分布式查询等。它被广泛应用于互联网企业、金融、电商、游戏等领域。 节点数 节点数是指在一个特定的环境中,例如测试或生产环境,需要部署的节点数量。 镜像名称 用于标识环境配置的镜像。 镜像版本 用于区分一个镜像库中不同的镜像文件所使用的标签。 资源规格 指根据不同的环境类型和用途,对服务器的 CPU 、内存、数据盘等硬件资源进行合理分配和管理的过程。例如,开发环境的资源规格可能会比生产环境的小,而性能测试环境的资源规格可能会更大,以满足其对硬件资源的需求。 容器端口 容器端口是指在容器内部运行的应用程序所监听的网络端口。容器是一种虚拟化技术,它可以将应用程序及其依赖项打包在一起,形成一个独立运行的环境。在容器内部,应用程序需要监听一个或多个网络端口,以便与外部系统进行通信。 服务端口 服务端口是计算机网络中用于标识应用程序的端口号,它是一个16位的整数,范围从0到65535。在一个计算机上,可以同时运行多个应用程序,每个应用程序都需要一个唯一的端口号来标识自己。当一个应用程序需要接受网络请求时,它会监听自己的端口号,等待来自网络的连接请求。当连接请求到达时,应用程序会接受连接并开始处理请求。 推理单元 推理单元是指计算机系统中的一个模块,用于进行逻辑推理和推断。其主要功能是根据已知的事实和规则,推导出新的结论或答案。 推理单元常常被用于解决问题、推理、诊断、规划等任务。它可以帮助计算机系统自动推理出一些结论,从而实现智能化的决策和行为。推理单元通常包括知识表示、推理机和推理策略三个部分。知识表示用于将事实和规则以一定的形式表示出来,推理机则用于实现推理过程,推理策略则用于指导推理机的搜索和推理方向。 大语言模型 大语言模型是一种能够理解和生成人类语言的人工智能模型。这些模型通常使用大量的数据进行训练,以便它们能够识别语言中的模式和规律。大语言模型的应用范围非常广泛,包括自然语言处理、机器翻译、语音识别、智能问答等领域。 向量化模型 向量化模型是将文本数据转换为数值向量的过程。常用于将文本转换为机器可以处理的形式,以便进行各种任务,如文本分类、情感分析、机器翻译等。 多模态模型 多模态模型是指能够处理多种类型数据(如文本、图像、音频等)的机器学习模型。这些模型可以将不同类型的数据进行融合和联合分析,从而实现更全面的理解和更准确的预测。多模态模型的应用非常广泛,例如在图像识别中,可以将图像和文本信息结合起来,提高图像识别的准确性;在自然语言处理中,可以将文本和语音信息结合起来,提高文本语义理解的准确性。 LoRA Low-Rank Adaptation,低秩适应,是一种将预训练模型权重冻结,并将可训练的秩分解矩阵注入Transformer架构每一层的技术,该技术可减少下游任务的可训练参数数量。 Loss曲线 Loss曲线是一个用于评估模型训练效果的工具,它展示了模型在训练过程中产生的损失(Loss)随时间的变化情况。通过观察Loss曲线,可以了解模型的收敛效果、参数的敏感性和有效性。 父主题: AI原生应用引擎简介
  • AI原生应用引擎优势 提供企业专属大模型开发的整套工具链,包括数据准备、模型选择/调优、知识工程等能力,广泛纳入业界优秀大模型,快速接入模型,提供行业模型评测能力,对多系列、多规格、多版本、多领域、多场景的大模型完成分级分权等精细化管理。 提供基于大模型快速构建AI原生应用的整套工具链,支持可视化画布流程编排,开箱即用的RAG/Prompt模版应用,应用部署及应用集成能力,帮助企业用好大模型。 构建企业应用与大模型之间的安全隔离带,保障AI原生应用安全可信。