检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS Manager 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1和表2配置OBS Manager节点的参数。
转储服务类型 是 选择转储服务类型,目前支持转储至: OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》)。
对象存储服务 数据开发模块服务支持从对象存储服务(Object Storage Service,简称OBS)导入数据,同时数据开发模块还利用OBS存储数据、结果、日志文件,以及用户程序。
前提条件 已开通对象存储服务,并在OBS中创建桶。 备份资产 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“备份管理”。 单击“启动每日备份”,打开“OBS文件浏览”页面,选择OBS文件夹,设置备份数据的存储位置。
Create OBS 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。
图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。
举例 以作业调度计划时间的前一天时间作为子目录名称,生成一个OBS路径,EL表达式如下: #{"obs://test/"+DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} 父主题: 表达式
单击“OBS桶”,进入OBS桶配置页面。 单击“作业日志OBS桶”和“DLI脏数据OBS桶”后的OBS,选择OBS桶名称并确认。 父主题: 配置
Delete OBS 功能 通过Delete OBS节点在OBS服务中删除桶和目录。 参数 用户可参考表1和表2配置Delete OBS节点的参数。
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考appache commons文档
JSONUtil内嵌对象 JSONUtil内嵌对象提供了JSON对象方法。 方法 表1 方法说明 方法 描述 Object parse(String jsonStr) 将json字符串转换为对象。 String toString(Object jsonObject) 将对象转换为json
Import GES 功能 通过Import GES节点可以将OBS桶中的文件导入到GES的图中。 参数 用户可参考表1和表2配置Import GES节点的参数。
Env内嵌对象 Env内嵌对象提供了获取环境变量值的方法。 方法 表1 方法说明 方法 描述 String get(String name) 获取指定名称环境变量值。 举例 获取环境变量名称为test的参数值,EL表达式如下: #{Env.get("test")} 父主题: 表达式
环境准备 已开通对象存储服务OBS,并创建桶,例如“s3a://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“spark_cluster”,为Spark作业提供运行所需的物理资源。
Loop内嵌对象 使用Loop内嵌对象可获取for each数据集中的数据。 属性 表1 属性说明 属性 类型 描述 dataArray String For循环算子输入的数据集,是一个二维数组。 current String For循环算子当前遍历到的数据行,是一个一维数组。 offset
已开通对象存储服务,并在OBS中创建文件夹。 已将本地的数据连接上传至OBS文件夹。 数据连接的最大配额为20,当前数据连接的数量未达到最大配额。 操作步骤 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“数据开发 > 脚本开发”/“数据开发 > 作业开发”。
Job内嵌对象 Job为作业对象,提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。 planTime java.util.Date 作业调度计划时间,即周期调度配置的时间
已开通对象存储服务,并在OBS中创建文件夹。 配置通知 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 通知管理”。 在页面右侧的“周期概览”页签,单击“通知配置”,弹出“通知配置”页面,配置如表1所示的参数。
例如,使用“数据迁移”节点将数据从OBS导入到MRS Hive。