华为云首页 用户手册

企业级AI应用开发专业套件 ModelArts Pro-上传数据集失败如何处理？:自然语言处理套件

企业级AI应用开发专业套件 ModelArts Pro-上传数据集失败如何处理？:自然语言处理套件

时间：2023-11-01 16:18:44
企业级AI应用开发专业套件 ModelArts Pro

自然语言处理套件

自然语言处理套件使用开发应用时，需要上传文本数据用于模型训练。

数据集要求如表2所示。

表2 自然语言处理套件数据集要求

工作流

数据集要求

通用文本分类工作流
  • 文件格式要求为txt或者csv，且编码格式为“UTF-8”格式，文件大小不能超过8MB。
  • 以换行符作为分隔符，每行数据代表一个样本数据，单个样本不能有分行显示，不支持换行。
  • 基于已设计好的分类标签准备文本数据。每个分类标签需要准备5个及以上数据，为了训练出效果较好的模型，建议每个分类标签准备100个以上的数据。
  • 针对未标注数据，将待标注的内容放在一个文本文件内，通用文本分类工作流仅支持中文文本内容的分类。
  • 针对已标注数据，文本分类的标注对象和标签在一个文本文件内，标注对象与标签之间，采用Tab键分隔，多个标签之间采用英文逗号分隔。
    例如，文本文件的内容如下所示。标注对象与标注内容之间采用Tab键分隔。 
    华为通过不断的技术创新，来应对来自全球政治环境的挑战    科技,政治最近科技创业公司纷纷上市科创板    科技,经济

多语种文本分类工作流
  • 文件格式要求为txt或者csv，且编码格式为“UTF-8”格式，文件大小不能超过8MB。
  • 以换行符作为分隔符，每行数据代表一个样本数据，单个样本不能有分行显示，不支持换行。
  • 文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据，为了训练出效果较好的模型，建议每个分类标签准备100个以上的数据。
  • 多语种文本分类工作流仅支持对单语种的文本分类，当前支持文本分类的语种包括英语、法语、德语、西班牙语、葡萄牙语、阿拉伯语等。暂不支持对同一文本中含多语种的文本进行分类训练。
  • 针对未标注数据，将待标注的内容放在一个文本文件内。
  • 针对已标注数据，文本分类的标注对象和标签在一个文本文件内，标注对象与标签之间，采用Tab键分隔，多个标签之间采用英文逗号分隔。
    例如，文本文件的内容如下所示。标注对象与标注内容之间采用Tab键分隔。 
    It feels very good, and the reaction speed is very fast.   positiveI bought one three months ago and used it very well and decisively replaced the old phone.   positiveHow can the power become hot even if the battery is not charged for a while?   negativeThe headphones are great. Some subwoofers feel very tight in the ears and won’t fall off.   positive

通用实体抽取工作流
  • 文件格式要求为txt或者csv，且编码格式为“UTF-8”格式，文件大小不能超过8MB。
  • 以换行符作为分隔符，每行数据代表一个样本数据，单个样本不能有分行显示，不支持换行。
  • 基于已设计好的实体标签准备文本数据。每个实体标签需要准备20个及以上数据，为了训练出效果较好的模型，建议每个实体标签准备100个以上的数据。
  • 本工作流只支持上传未标注数据，将待标注的内容放在一个文本文件内。
  • txt文件编码保存为“UTF-8”格式：
    1. 打开txt文件。
    2. 单击左上角的“文件”，选择“另存为”。
    3. “编码”选择“UTF-8”格式。
  • csv文件编码保存为“UTF-8”格式：
    1. 右键单击csv文件，“打开方式”选择“记事本”。
    2. 单击左上角的“文件”，选择“另存为”。
    3. “编码”选择“UTF-8”格式。
support.huaweicloud.com/modelartspro_faq/modelartspro_03_0006.html
看了此文的人还看了
CDN加速 GaussDB 文字转换成语音 免费的服务器 如何创建网站 域名网站购买 私有云桌面 云主机哪个好 域名怎么备案 手机云电脑 SSL证书申请 云点播服务器 免费OCR是什么 电脑云桌面 域名备案怎么弄 语音转文字 文字图片识别 云桌面是什么 网址安全检测 网站建设搭建 国外CDN加速 SSL免费证书申请 短信批量发送 图片OCR识别 云数据库MySQL 个人域名购买 录音转文字 扫描图片识别文字 OCR图片识别 行驶证识别 虚拟电话号码 电话呼叫中心软件 怎么制作一个网站 Email注册网站 华为VNC 图像文字识别 企业网站制作 个人网站搭建 华为云计算 免费租用云托管 云桌面云服务器 ocr文字识别免费版 HTTPS证书申请 图片文字识别转换 国外域名注册商 使用免费虚拟主机 云电脑主机多少钱 鲲鹏云手机 短信验证码平台 OCR图片文字识别 SSL证书是什么 申请企业邮箱步骤 免费的企业用邮箱 云免流搭建教程 域名价格
企业级AI应用开发专业套件 ModelArts Pro-上传数据集失败如何处理？:自然语言处理套件

搜索反馈

您搜索到想要的结果了吗?

是的 没有

意见反馈

0/200

提交 取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好 反馈提交失败！请稍后重试！
热门活动
推荐文章
更多内容
云硬盘存储EVS Web应用防火墙 人机语音识别 开发者大会2023 云计算入门 云数据库选择 HDC大会 华为云计算 响应式建站是什么 智慧班牌系统