"target":"提供包括但不限于计算、存储、网络等产品服务。", "bad_target":"我不会回答"} 从OBS导入：单个文件大小不超过50GB，文件数量不限制。 本地上传：单个文件大小不超过10M，文件数量最多100个。
在“创建自定义算子”页面，单击“下载样例”可查看算子配置文件与算子包的规格说明，使用OBS服务上传算子配置文件与算子包，设置空间可见性后，单击右下角“确定”，完成自定义算子的创建。
气象-海洋数据 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2 从OBS导入：单个文件大小不超过50GB，文件数量不限制。
get obs bucket folders error. 请检查OBS服务是否正常，是否可以访问OBS桶数据。 数据加工 dataset is not online. 数据加工使用的数据集未上线，请先执行上线操作。 invalid obs path.
从OBS导入：单个文件大小不超过50GB，文件数量不限制。 音频+标注 音频+jsonl 音频格式支持：mp3、flac、wav、opus、aac、m4a。 标注文件格式：jsonl。 从OBS导入：单个文件大小不超过50GB，文件数量不限制。
从OBS导入：单个文件大小不超过50GB，文件数量不限制。 本地上传：单个文件大小不超过10M，文件数量最多100个。 父主题： 数据集格式要求
表1 三方大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务或本地的数据导入至平台统一管理，用于后续加工或发布操作。 说明： 执行导入操作时，数据集类型需要选择“单轮问答数据”。
授权后，用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据，如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略，控制OBS的读写权限。
图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据或本地数据导入至平台统一管理，用于后续加工或发布操作。
基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明。 父主题： 安全
平台支持使用OBS服务导入数据，请详见通过控制台快速使用OBS。 创建导入任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击空间名称进入操作空间。
支持的接入方式：通过OBS服务导入数据。 支持的数据类型：文本、图片、视频、音频、气象、其他。 自定义格式：用户可以根据业务需求上传自定义格式的数据，提升数据获取的灵活性和可扩展性。 通过这些功能，用户可以轻松将大量数据导入平台，为后续的数据加工和模型训练等操作做好准备。
配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
URI NLP推理服务支持使用盘古推理接口（V1推理接口）调用，也支持使用业界通用的OpenAi格式接口（V2推理接口）调用。 V1接口、V2接口的鉴权方式不同，请求体和返回体略有差异。
self.args.input_obs_path=args.obs_input_path self.args.output_obs_path=args.obs_output_path logger.info(f'-------算子执行--------
查询数据血缘 功能介绍 客户通过obs导入原始数据集，可基于该obs路径查询所有基于该路径创建的原始数据集及后续的血缘信息。
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。
用户在部署服务的过程中，建议开启“安全护栏”功能，以保证内容的安全性。 父主题： 使用前必读
数据集彻底删除 功能介绍 只针对从obs上传的数据，在删除数据集的时候要关联删除OBS下对应的原始数据。
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。
