检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击作业目录中的 > 导入脚本,选择已上传至OBS中的脚本文件,以及重名处理策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。 父主题: 脚本开发
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言(Expression Language,简称EL),根据运行环境动态生成参数值。数据开发模块 EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。
可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient httpClient = HttpClients.createDefault
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。
通过PRESTO SQL脚本执行select 查询语句后的查询内容将自动转储至OBS桶的s3a://dlf-log-{project_id}/temp路径下。 Shell脚本 前提条件 脚本的最大配额是1000,请确保当前脚本的数量未达到最大配额。
在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 主类入口参数 否 填写程序的入口参数,参数之间使用Enter键分隔。
请根据实际需求提前在MySQL和PostgreSQL官网下载JDBC驱动程序,并上传到OBS桶中。 “驱动程序名称”选择的是“com.mysql.jdbc.Driver”时,请使用“mysql-connector-java-5.1.21.jar”驱动程序。
查看表详情 数据表创建完成后,用户可以查看数据表的基本信息、存储信息、字段信息,以及预览数据等。 操作步骤 通过“右侧区域”页面 在DLF控制台的左侧导航栏,选择“数据开发 > 脚本开发”/“数据开发 > 作业开发”,进入“右侧区域”页面。 在左侧菜单选择,右键单击数据表的名称,选择
Open/Close Resource 功能 通过Open/Close Resource节点按需开启或关闭华为云服务。 参数 用户可参考表1和表2配置Open/Close Resource节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母
修订记录 发布日期 修改说明 2020-08-12 第七次正式发布。 新增章节: 配置委托,支持创建委托,作业执行过程中,以委托的身份与其他服务交互。 MRS Flink Job,新增此节点。 屏蔽 函数描述。 2019-09-30 第六次发布。 新增PRESTO SQL脚本,修改新建脚本
表达式 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 表达式使用示例 父主题: 参考
工作区 您可以自定义工作区,用以隔离资源。 操作步骤 登录DLF管理控制台。 在DLF控制台的左侧导航栏,选择“配置”。 单击“工作区”,在“工作区配置”页面,单击新建,输入工作区名称并配置其所属的企业项目。 已开通企业项目管理服务的用户才可以配置该参数。默认值为default。
事件检测间隔 配置时间间隔,检测DIS通道或OBS路径下是否有新的消息。时间间隔单位可以配置为秒或分钟。 失败策略 选择节点执行失败后的策略: 结束调度 忽略失败,继续调度 更多节点功能 如需获取更多节点功能,请右键单击画布中的节点图标,根据实际需要选择如表5所示的功能。
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员
配置 用户可以在“配置”界面设置“环境变量”和“工作区”,配置日志存储路径。工作区的配置是是项目级变量,环境变量的配置是工作区级变量。在工作区内设置好的环境变量,可以被该工作区的作业、脚本随意使用。 工作区 管理企业项目 环境变量 配置作业日志存储路径 配置委托
配额说明 目前默认每个用户最多可以创建1000个作业。 作业使用时涉及到的其他资源服务,请参见其他服务的配额。
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128
约束与限制 您能创建的作业数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 更详细的限制请参见具体API的说明。 父主题: 使用前必读