Flexus L实例
即开即用,轻松运维,开启简单上云第一步
立即查看
免费体验中心
免费领取体验产品,快速开启云上之旅
立即前往
企业级DeepSeek
支持API调用、知识库和联网搜索,满足企业级业务需求
立即购买
免费体验中心
免费领取体验产品,快速开启云上之旅
立即前往
企业级DeepSeek
支持API调用、知识库和联网搜索,满足企业级业务需求
立即前往
Flexus L实例
即开即用,轻松运维,开启简单上云第一步
立即查看
免费体验中心
免费领取体验产品,快速开启云上之旅
立即前往
Flexus L实例
即开即用,轻松运维,开启简单上云第一步
立即前往
企业级DeepSeek
支持API调用、知识库和联网搜索,满足企业级业务需求
立即购买
- 数据湖工厂 内容精选 换一换
-
选择作业所属的目录,默认为根目录。 日志路径 选择作业日志存放路径,默认为obs://dlf-log-....../。 勾选“我确认 OBS 桶obs://dlf-log-....../将被创建,该桶仅用于存储DLF的作业运行日志”选项,若要修改日志路径,请前往 DataArts Studio 空来自:帮助中心"location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"]来自:帮助中心
- 数据湖工厂 相关内容
-
数据湖 治理中心(DGC)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。华为云智能数据湖运营平台DAYU已正式更名为 “数据来自:其他访问数据源所使用的用户和密码。“数据源类型”不为“DLF”时配置该参数。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。 Access Key/Secret Key AK/SK信息,请联系DLF服务运维人员获取。来自:帮助中心
- 数据湖工厂 更多内容
-
删除作业 - DeleteJob 功能介绍 本接口用于删除DLF作业,调度中的作业不允许删除,若要删除调度中的作业,请先停止该作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 授权信息 账号具备所有API的调用权限,如果使用账号下的 IAM 用户调用当前来自:帮助中心
批量导出作业 - ExportJobList 功能介绍 此接口可以批量导出DLF作业定义,包括作业依赖的脚本和 CDM 作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 授权信息 账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API来自:帮助中心
(可选)修改作业日志存储路径 作业日志和 DLI 脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。来自:帮助中心
否则跳转2。 多租户模式下,确认其他租户的作业是否正常。 如果所有租户的作业执行spark sql都有问题,跳转3。 否则,跳转4。 进一步确认:用dlf建个脚本,选择直连连接,执行一条spark sql,看是否报time out的错(甚至可能数据库都list不出来)。如果有以上现象,大概率是 MRS 集群的jdbc来自:帮助中心
参数 是否必选 参数类型 描述 datasource_type 是 String 数据源类型: ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS 云数据库 RDS(for MySQL)、 OPEN_FOR_MYS来自:帮助中心