OBS Manager 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1和表2配置OBS Manager节点的参数。
Delete OBS 功能 通过Delete OBS节点在OBS服务中删除桶和目录。 参数 用户可参考表1和表2配置Delete OBS节点的参数。
Create OBS 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。
Import GES 功能 通过Import GES节点可以将OBS桶中的文件导入到GES的图中。 参数 用户可参考表1和表2配置Import GES节点的参数。
图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。
举例 以作业调度计划时间的前一天时间作为子目录名称,生成一个OBS路径,EL表达式如下: #{"obs://test/"+DateUtil.format(DateUtil.addDays(Job.planTime,-1),"yyyy-MM-dd")} 父主题: 表达式
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
Delete OBS OBS Manager Open/Close Resource Data Quality Monitor Sub Job SMN Dummy For Each 父主题: 参考
已开通对象存储服务,并在OBS中创建文件夹。 已将本地的数据连接上传至OBS文件夹。 数据连接的最大配额为20,当前数据连接的数量未达到最大配额。 操作步骤 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“数据开发 > 脚本开发”/“数据开发 > 作业开发”。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
新建资源 新建资源前,已开通OBS服务。 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“配置管理 > 资源管理”。 单击“新建资源”,弹出“新建资源”页面,配置如表2所示的参数。
不影响您使用DLF服务的其它功能。
配置服务级Admin权限 因作业执行过程中,需要往obs写执行日志信息,因此粗粒度授权时,所有作业都需要添加 OBS OperateAccess权限。
单击“OBS桶”,进入OBS桶配置页面。 单击“作业日志OBS桶”和“DLI脏数据OBS桶”后的OBS,选择OBS桶名称并确认。 父主题: 配置
日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明: 若您想自定义存储路径,请参见配置作业日志存储路径选择您已在OBS服务侧创建的桶。 单击“确定”,创建作业。 父主题: 作业开发
前提条件 已开通对象存储服务,并在OBS中创建桶。 备份资产 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“备份管理”。 单击“启动每日备份”,打开“OBS文件浏览”页面,选择OBS文件夹,设置备份数据的存储位置。
对象存储服务 数据开发模块服务支持从对象存储服务(Object Storage Service,简称OBS)导入数据,同时数据开发模块还利用OBS存储数据、结果、日志文件,以及用户程序。
例如,使用“数据迁移”节点将数据从OBS导入到MRS Hive。
图2 场景示例图 海量日志轻松分析挖掘 通过DIS将日志数据接入到OBS存储(或者Cloud Search服务),然后通过数据开发模块服务编写数据开发脚本和数据挖掘脚本,实现海量日志分析和挖掘。 图3 场景示例图
前提条件 已开通消息通知服务并配置主题,为主题添加订阅。 已提交作业,且作业不是“未启动”状态。 已开通对象存储服务,并在OBS中创建文件夹。 配置通知 登录DLF管理控制台。 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 通知管理”。