云服务器内容精选

  • 使用“体验中心”调用NLP大模型 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“体验中心”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”,单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”,若不填写,将使用系统默认人设。 在页面右侧配置参数,具体参数说明见表1。 表1 NLP大模型体验中心参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 最大口令限制 用于控制聊天回复的长度和质量。 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题,从而避免生成重复内容。 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用,促使模型使用更多样化的词汇进行表达。 输出最大TOKEN长度 用于控制模型生成回复的长度,一般来说,较大的max_tokens值可以生成较完整的回复,但也可能增加生成无关或重复内容的风险。较小的max_tokens值可以生成较简洁的回复,但也可能导致生成不完整或不连贯的内容,请根据场景选择合适的值。 如图2,输入对话,单击“生成”,模型将输出相应的回答。 图2 调测NLP大模型 父主题: 调用NLP大模型
  • 统计NLP大模型调用信息 针对调用的大模型,平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。 对于已经接入API Key方式鉴权的模型,可以直接在“应用接入”页面,单击操作列“调用统计”按钮跳转至“调用统计”功能页查看调用信息。 图2 调用统计 父主题: 调用NLP大模型