检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient httpClient = HttpClients.createDefault
配置 用户可以在“配置”界面设置“环境变量”和“工作区”,配置日志存储路径。工作区的配置是是项目级变量,环境变量的配置是工作区级变量。在工作区内设置好的环境变量,可以被该工作区的作业、脚本随意使用。 工作区 管理企业项目 环境变量 配置作业日志存储路径 配置委托
最新动态 本文介绍了DLF各特性版本的功能发布和对应的文档动态,欢迎体验。 2019年05月 序号 功能名称 功能描述 阶段 相关文档 1 - - - -
调用说明 数据湖工厂服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
数据湖开发 支持管理DWS、DLI等多种大数据服务,在同一作业中可实现数据在不同类型数据服务中的编排与调度,实现真正的数据湖开发。
通过PRESTO SQL脚本执行select 查询语句后的查询内容将自动转储至OBS桶的s3a://dlf-log-{project_id}/temp路径下。 Shell脚本 前提条件 脚本的最大配额是1000,请确保当前脚本的数量未达到最大配额。
您可以使用本文档提供API对数据湖工厂服务进行相关操作,如执行作业、停止执行作业等。支持的全部操作请参见API概览。 在调用数据湖工厂服务API之前,请确保已经充分了解数据湖工厂服务相关概念,详细信息请参见“产品介绍”。 父主题: 使用前必读
产品概述 数据湖工厂服务(Data Lake Factory,简称数据开发模块)是华为云大数据重要的平台产品,它可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
数据连接 创建数据连接 编辑数据连接 删除数据连接 导出数据连接 导入数据连接 父主题: 数据管理
数据库模式 新建数据库模式 修改数据库模式 删除数据库模式 父主题: 数据管理
运维调度 运维概览 作业监控 实例监控 补数据监控 通知管理 备份和还原资产
数据表 新建数据表(可视化模式) 新建数据表(DDL模式) 查看表详情 删除数据表 父主题: 数据管理
IAM权限管理 创建用户并授权使用DLF
数据库 新建数据库 编辑数据库 删除数据库 父主题: 数据管理
使用教程 开发一个Spark作业 开发一个Hive SQL脚本
作业监控 批作业监控 实时作业监控 实时子作业监控 父主题: 运维调度
配置管理 主机连接管理 资源管理
权限策略和授权项 策略及授权项说明
作业开发API 执行作业(废弃) 停止调度作业(废弃) 父主题: API
如何调用API 构造请求 认证鉴权 返回结果