在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 主类入口参数 否 填写程序的入口参数,参数之间使用Enter键分隔。
请根据实际需求提前在MySQL和PostgreSQL官网下载JDBC驱动程序,并上传到OBS桶中。 “驱动程序名称”选择的是“com.mysql.jdbc.Driver”时,请使用“mysql-connector-java-5.1.21.jar”驱动程序。
事件检测间隔 配置时间间隔,检测DIS通道或OBS路径下是否有新的消息。时间间隔单位可以配置为秒或分钟。 失败策略 选择节点执行失败后的策略: 结束调度 忽略失败,继续调度 更多节点功能 如需获取更多节点功能,请右键单击画布中的节点图标,根据实际需要选择如表5所示的功能。
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
作业使用时涉及到的其他资源服务,请参见其他服务的配额。
约束与限制 您能创建的作业数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 编辑通知 通知新建完成后,用户可以根据需求修改通知的参数。 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 通知管理”。 在页面右侧选择“通知管理”页签。
目前支持新建如下数据表: DLI DWS MRS Hive 前提条件 已开通相应的云服务并在云服务中创建数据库。例如,新建DLI表前,请确保DLI服务已开通,并在DLI服务中创建好数据库。 已在数据开发模块中创建与数据表类型匹配的数据连接,请参见创建数据连接。
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖工厂服务的终端节点如表1所示,请您根据业务需要选择对应区域的终端节点。
数据管理的使用流程如下: 图1 数据管理 创建数据连接,连接华为云的相关服务。 通过与相应服务建立连接,在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 父主题: 数据管理
例如您的员工中有负责软件开发的人员,您希望他们拥有数据湖工厂服务 (Data Lake Factory)的使用权限,但是不希望他们拥有删除数据湖工厂服务等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用数据湖工厂服务,但是不允许删除数据湖工厂服务的权限策略,
提供,您可以通过数据开发模块提供的基础模板进行服务体验。
最新动态 本文介绍了DLF各特性版本的功能发布和对应的文档动态,欢迎体验。 2019年05月 序号 功能名称 功能描述 阶段 相关文档 1 - - - -
调用说明 数据湖工厂服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
服务 是 选择需要开机/关机的服务: ECS CDM CS 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。
用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。
数据湖开发 支持管理DWS、DLI等多种大数据服务,在同一作业中可实现数据在不同类型数据服务中的编排与调度,实现真正的数据湖开发。
前提条件 已开通或创建相应的云服务,并创建数据连接。 操作步骤 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“数据开发 > 脚本开发”/“数据开发 > 作业开发”。 在页面中选择,右键单击连接目录中的> 导出。 图1 导出数据连接 父主题: 数据连接
您可以使用本文档提供API对数据湖工厂服务进行相关操作,如执行作业、停止执行作业等。支持的全部操作请参见API概览。 在调用数据湖工厂服务API之前,请确保已经充分了解数据湖工厂服务相关概念,详细信息请参见“产品介绍”。 父主题: 使用前必读
产品概述 数据湖工厂服务(Data Lake Factory,简称数据开发模块)是华为云大数据重要的平台产品,它可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。