检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增章节: 配置委托,支持创建委托,作业执行过程中,以委托的身份与其他服务交互。 MRS Flink Job,新增此节点。 屏蔽 函数描述。 2019-09-30 第六次发布。 新增PRESTO SQL脚本,修改新建脚本。 2019-07-08 第五次发布。
约束与限制 您能创建的作业数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
表达式 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 表达式使用示例 父主题: 参考
已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 新建工作区您可以选择默认的企业项目“default”或其他已有的企业项目。
数据开发模块的通知管理功能是通过消息通知服务来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 编辑通知 通知新建完成后,用户可以根据需求修改通知的参数。 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 通知管理”。 在页面右侧选择“通知管理”页签。
目前支持新建如下数据表: DLI DWS MRS Hive 前提条件 已开通相应的云服务并在云服务中创建数据库。例如,新建DLI表前,请确保DLI服务已开通,并在DLI服务中创建好数据库。 已在数据开发模块中创建与数据表类型匹配的数据连接,请参见创建数据连接。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。
在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 主类入口参数 否 填写程序的入口参数,参数之间使用Enter键分隔。
Flink自定义作业 jar包路径 是 用户需先上传自定义的Jar包至OBS桶中,在此处才能选择对应Jar包的OBS路径。 入口类 否 指定加载的Jar包入口类名(如:KafkaMessageStreaming)。若不指定,则根据Jar包文件的Manifest文件确定。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖工厂服务的终端节点如表1所示,请您根据业务需要选择对应区域的终端节点。
数据管理的使用流程如下: 图1 数据管理 创建数据连接,连接华为云的相关服务。 通过与相应服务建立连接,在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 父主题: 数据管理
用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。
导入解决方案 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS中的解决方案文件。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。
请根据实际需求提前在MySQL和PostgreSQL官网下载JDBC驱动程序,并上传到OBS桶中。 “驱动程序名称”选择的是“com.mysql.jdbc.Driver”时,请使用“mysql-connector-java-5.1.21.jar”驱动程序。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。
单击作业目录中的 > 导入脚本,选择已上传至OBS中的脚本文件,以及重名处理策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。 父主题: 脚本开发
例如您的员工中有负责软件开发的人员,您希望他们拥有数据湖工厂服务 (Data Lake Factory)的使用权限,但是不希望他们拥有删除数据湖工厂服务等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用数据湖工厂服务,但是不允许删除数据湖工厂服务的权限策略,
提供,您可以通过数据开发模块提供的基础模板进行服务体验。