云服务器内容精选

  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击右下角的“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,首次部署服务请单击可修改默认服务名称。 如果在不同版本非首次部署服务,服务名称不支持修改。 描述 待部署服务的简要说明。 资源池 用于部署服务的资源池和资源类型。资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 界面上选择计算规格。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 部署成功后,页面显示“服务部署成功”。您可以单击“查看应用监控”,进入应用监控页面查看监控信息,详情请见监控应用。
  • API调用 本章节以postman为例介绍如何调用API,建议使用SDK。 使用API调用时,因为需要使用Token进行认证鉴权,在鉴权中,会存在因华为账号升级导致的“无法使用主账户获取Token”的情况,产生“The username or password is wrong.”报错,该问题可以通过创建一个IAM子用户获取Token解决,处理步骤请参见帐密报错“The username or password is wrong.”。 获取Token。 由于自定义OCR部署在华北-北京四区域,因此需要获取北京四(cn-north-4)区域的Token。 POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens Request Header: Content-Type: application/json Request Body: { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "IAM子用户名", "password": "密码", "domain": { "name": "主账户的用户名" } } } }, "scope": { "project": { "name": "cn-north-4" } } } 图8 请求header 图9 请求body 调用自定义OCR API。 依据下图的对应关系,将自定义OCR部署后生产的API填写至postman中。url中的{endpoint}需要替换为ocr.cn-north-4.myhuaweicloud.com。 在"image"参数中,输入图片的base64编码即可调用API。 图10 调用自定义OCR API
  • SDK调用 本章节以Python SDK为例介绍如何进行使用,其他语言SDK使用方法相同。 获取SDK。 在自定义OCR的“部署”页面,选择“SDK调用”获取SDK。 图2 获取SDK 导入SDK至PyCharm(请在PyCharm中提前配置python环境)。 图3 导入SDK 获取AK、SK。 AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录访问密钥页面,依据界面操作指引,获取AK、SK。下载得到的访问密钥为credentials.csv文件,文件中的B列和C列分别是AK、SK信息。 图4 新增访问密钥 图5 AKSK文件 修改OCRDemo.py文件。 在文件中找到“aksk_request”,修改内容有两处: (1)填写获取的AK、SK。 (2)将代码示例中的请求url替换为自定义OCR部署后生成的url,只使用图片中用蓝色标注的字段进行替换。 (3)将代码示例中的# option["side"]="front"替换为: option["template_id"]="xxx" template_id的值可以在自定义OCR部署发布后获取。 图6 修改代码文件(修改前) 图7 修改代码文件(修改后) 调用自定义OCR SDK。 在示例代码“img_path”中输入需要识别的图片,并执行代码。
  • 步骤5:评估模型 在应用开发的“模型评估”页面,您可以针对当前版本的模型进行整体评估和详细评估。 “整体评估”左侧显示当前模型的“版本”、“标签数量”、“验证集数量”。 “整体评估”右侧显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。 图9 整体评估 在应用开发的“模型评估”页面,您可以搜索查看测试集中数据模型预测结果。 “详细评估”左侧在搜索框中搜索标签,右侧显示正确标签所对应样本的正确标签和预测标签,您可以对比正确标签和预测标签,判断当前模型预测该样本是否预测正确。 例如搜索框内输入标签“1”,下方会显示正确标签为“1”的样本中,预测正确的样本数在验证集中的占比。右侧显示正确标签为“1”的样本信息,包括样本的正确标签和预测标签。 图10 详细评估 单击右下角的“发布部署”。 进入应用开发的“服务部署”页面。
  • 步骤3:选择数据 在应用开发的“数据选择”页面,单击“新建数据集”。 右侧弹出“新建数据集”页面。 按表4填写数据集基本信息,然后单击“确定”。 图6 新建数据集 表4 新建数据集参数说明 参数 说明 推荐填写 数据集名称 待新建的数据集名称。支持输入中英文、数字、下划线及中划线。 本样例填写“test”。 描述 数据集简要描述。 - 数据集状态 上传的训练数据可以是已标注的数据,也可以是未标注的数据。 您可以根据自身业务选择“数据集状态”是“已标注数据集”还是“未标注数据集”。 数据集模板可在选择“数据集状态”后,单击下方的“文本分类已标注数据模板”或“文本分类未标注数据模板”,下载数据集模板至本地查看。 本样例使用已标注的数据集,所以选择“已标注数据集”。 如果您想手动修改标签,可单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据,详细的操作指导请参考标注数据。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右侧输入框,在弹出的“数据集输入位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 选择步骤1:准备数据中提前上传数据集的OBS路径“mapro-nlp/data-in”。 数据集输出位置 待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 选择步骤1:准备数据中提前创建好的输出数据集的OBS路径“mapro-nlp/data-out”。 勾选已上传的数据集。 服务进行标签解析,统计训练数据集中各个标签的样本数。 您可以选择打开“合并标签”开关,将样本数量较少的标签在模型训练中进行合并,以达到更优训练效果。 图7 数据选择 单击右下角“下一步”。 进入应用开发的“模型训练”页面。
  • 步骤4:训练模型 在应用开发的“模型训练”页面,勾选模型训练所使用的“预训练模型”。 当前服务提供预置预训练模型“BERT”、“TinyBERT”、“FastText”。本样例使用“FastText”模型。 在参数配置,填写“学习率”和“训练轮次”。 本样例使用“学习率”为“0.00001”,“训练轮次”为“3”。 单击右下角的“开始训练”,开始训练模型。 模型训练一般需要运行一段时间,等模型训练完成后,可查看“训练详情”、“准确率变化情况”和“误差变化”。 图8 训练详情 模型训练完成后,单击右下角的“下一步”。 进入应用开发的“模型评估”页面。
  • 步骤6:部署服务 在应用开发“服务部署”页面,按表5填写服务的相关参数,然后单击“部署”。 图11 服务部署 表5 服务部署参数说明 参数 说明 推荐填写 服务名称 待部署的服务名称,首次部署服务请单击可修改默认服务名称。 如果在不同版本非首次部署服务,服务名称不支持修改。 本样例使用默认服务名称。 描述 待部署服务的简要说明。 - 资源池 用于部署服务的资源池和资源类型。资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 本样例选择“公共资源池”。 计算节点规格 界面上选择计算规格。 - 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 本样例选择1个计算节点。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 本样例选择“1小时后”。 部署成功后,页面显示“服务部署成功”。您可以单击“查看应用监控”,进入应用监控页面查看监控信息,详情请见监控应用。
  • 步骤1:准备数据 在开发应用之前,您需要自行准备训练数据集并上传至OBS桶及文件夹中。由于数据安全原因,本样例不提供具体的样例数据,仅提供样例数据要求。 本样例使用已标注数据训练模型,数据集要求如下: 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。 每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 文本分类的标注对象和标注内容在一个文本文件内,标注对象与标注内容之间,多个标注内容之间可分别指定分隔符。 例如,文本文件的内容如下所示。标注对象与标注内容之间采用Tab键分隔。 手感很好,反应速度很快,不知道以后怎样 positive 三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面秒杀 positive 没充一会电源怎么也会发热呢音量健不好用回弹不好 negative 算是给自己的父亲节礼物吧物流很快下单不到24小时就到货了耳机更赞有些低音炮的感觉入耳很紧不会掉棒棒哒 positive 按上文要求准备训练数据集,并保存至本地,训练数据命名为“test.txt”。 登录OBS服务,创建桶和文件夹,用于存放数据集。 创建名称为“mapro-nlp”的OBS桶。 创建名称为“data-in”的文件夹用于存放训练数据集。 创建名称为“data-out”的文件夹用于存放输出的数据集。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问,请务必确保创建的OBS桶与ModelArts Pro服务在同一区域。 参考上传文件,使用单个文件上传方式将本地准备的训练数据“test.txt”文件上传至OBS路径“mapro-nlp/data-in”下。
  • 步骤1:准备数据 在开发应用之前,您需要设计好商品标签,并自行准备数据集并上传至OBS桶及文件夹中。 由于数据安全原因,本样例不提供具体的样例数据,仅提供适用本次样例的数据要求。本次样例需要准备两份数据,一份训练数据集用于训练模型,一份SKU数据用于创建SKU,即商品各类单品的图片,方便后续针对训练数据集中的数据进行自动标注。 商品标签 本次样例以蛋糕商品为例,设计“cream_cake”、“fruit_cake”、“cheese_cake”这三类标签。 数据格式 保证图片质量:不能有损坏的图片。 目前支持的格式包括JPG、JPEG、PNG、BMP。 训练数据集 本样例训练数据集使用未标注数据。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有商品分类的图片,即覆盖所有标签的图片。 每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 所有图片放在一个文件目录下,示例如下所示。 ├─Training-Dataset │ IMG_20180919_114732.jpg │ IMG_20180919_114745.jpg │ IMG_20180919_114945.jpg 如果训练数据集使用已标注数据,数据要求请见数据集要求。
  • HiLens套件 HiLens套件当前处于公测阶段,可免费试用。但是由于使用过程中依赖对象存储服务(Object Storage Service,OBS)、ModelArts服务和华为HiLens服务的使用,依赖服务会产生相应的费用。 HiLens套件安全帽检测技能工作流中训练安全帽检测模型,会使用到ModelArts的计算资源,价格详情请见ModelArts价格详情。 HiLens套件涉及OBS收费的功能如表5所示,价格详情请见OBS价格详情。 HiLens套件部署技能至边缘设备,并在华为HiLens平台上进行模型管理和技能管理,华为HiLens服务价格详情请见计费说明。 表5 HiLens套件涉及OBS收费功能 功能 与OBS关系 上传训练数据集 ModelArts Pro上传的训练数据集存储在OBS中。 管理数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 训练模型 训练模型使用的数据集存储在OBS中。 训练模型的运行脚本存储在OBS中。 训练模型输出的模型存储在指定的OBS中。
  • 文字识别套件 计费项 按API调用次数按需计费。 只有调用成功才会计算调用次数,其中2xx状态码表示调用成功。 计费模式 按需计费 指按照自定义模板文字识别API调用次数、阶梯价格计费,按月累计,一个自然月后次数清零重新累计。具体计费价格请参见文字识别价格详情,类型选择“自定义模板OCR”。 套餐包 用户可以购买套餐包,扣费时,优先在套餐包内进行抵扣。超出套餐包额度,转回按需计费方式。具体计费价格请参见文字识别价格详情,类型选择“自定义模板OCR”。
  • 自然语言处理套件 计费项 自然语言处理套件具体收费项请参见表1,具体计费价格请参见ModelArts价格详情。 表1 自然语言处理计费项说明 计费项 说明 训练文本分类模型、训练实体抽取模型 工作流中训练模型时,会使用到ModelArts计算资源。 部署服务(在线服务) 工作流中部署在线服务时,会使用到计算型实例资源。 计费模式 按需购买。购买方式比较灵活,可以即开即停。 依赖服务计费 由于使用自然语言处理套件的过程中依赖对象存储服务(Object Storage Service,OBS)的使用,OBS服务会产生相应的费用。 自然语言处理套件涉及OBS收费的功能如表2所示,价格详情请见OBS价格详情。 表2 自然语言处理套件涉及OBS收费功能 功能 与OBS关系 上传训练数据集 ModelArts Pro上传的训练数据集存储在OBS中。 标注数据 ModelArts Pro标注的数据存储在OBS中。 管理数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 训练模型 训练模型使用的数据集存储在OBS中。 训练模型的运行脚本存储在OBS中。 训练模型输出的模型存储在指定的OBS中。 部署应用 将存储在OBS中的应用部署上线为在线服务。
  • 处理步骤 子账号(IAM用户)需要联系主账户授予使用OCR服务的权限。为IAM用户授权过程请参见为IAM用户分配权限、IAM用户登录并验证权限。 授权时,子账号所在的用户组,需要设置为OCR FullAccess权限。 图1 用户组权限 授权后,子账号登录自定义OCR(ModelArts Pro )页面,服务会自动开通。 在子用户已经具备OCR权限,并开通ModelArts Pro后,如果仍然无法调用,请检查子用户是否有“编程访问权限”。 图2 编程访问权限
  • HiLens套件 HiLens套件当前处于公测阶段,可免费试用。但是由于使用过程中依赖对象存储服务(Object Storage Service,OBS)、ModelArts服务和华为HiLens服务的使用,依赖服务会产生相应的费用。 HiLens套件安全帽检测技能工作流中训练安全帽检测模型,会使用到ModelArts的计算资源,价格详情请见ModelArts价格详情。 HiLens套件涉及OBS收费的功能如表5所示,价格详情请见OBS价格详情。 HiLens套件部署技能至边缘设备,并在华为HiLens平台上进行模型管理和技能管理,华为HiLens服务价格详情请见计费说明。 表5 HiLens套件涉及OBS收费功能 功能 与OBS关系 上传训练数据集 ModelArts Pro上传的训练数据集存储在OBS中。 管理数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 训练模型 训练模型使用的数据集存储在OBS中。 训练模型的运行脚本存储在OBS中。 训练模型输出的模型存储在指定的OBS中。
  • 文字识别套件 计费项 按API调用次数按需计费。 只有调用成功才会计算调用次数,其中2xx状态码表示调用成功。 计费模式 按需计费 指按照自定义模板文字识别API调用次数、阶梯价格计费,按月累计,一个自然月后次数清零重新累计。具体计费价格请参见文字识别价格详情,类型选择“自定义模板OCR”。 套餐包 用户可以购买套餐包,扣费时,优先在套餐包内进行抵扣。超出套餐包额度,转回按需计费方式。具体计费价格请参见文字识别价格详情,类型选择“自定义模板OCR”。