检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 场景示例图 海量日志轻松分析挖掘 通过DIS将日志数据接入到OBS存储(或者Cloud Search服务),然后通过数据开发模块服务编写数据开发脚本和数据挖掘脚本,实现海量日志分析和挖掘。 图3 场景示例图
当采取精细化授权方式时,任何类型的作业均需要添加OBS的如下授权项: obs:bucket:GetBucketLocation obs:object:GetObject obs:bucket:CreateBucket obs:object:PutObject obs:bucket:
none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。
类型 是 选择资源的文件类型: jar file archive 资源位置 是 选择资源所在的位置: 本地 OBS 主Jar包 是 选择已上传到OBS中的主Jar包。“类型”为“jar”,且“资源位置”为“OBS”时,配置该参数。
Delete OBS OBS Manager Open/Close Resource Data Quality Monitor Sub Job SMN Dummy For Each 父主题: 参考
jobs/{name}/run-immediate 查询作业实例列表 dlf:jobInstance:list 支持: IAM项目(Project) 不支持: 企业项目(Enterprise Project) GET /v1/{project_id}/jobs/instances/
路径 是 选择数据存储的OBS路径。“数据位置”为“OBS”时,配置该参数。 表描述 否 数据表的描述信息。 表结构 列名 是 填写列名,列名不能重复。 类型 是 选择数据类型,具体说明请参见《数据湖探索SQL语法参考》。 列描述 否 填写列的描述信息。
日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明: 若您想自定义存储路径,请参见配置作业日志存储路径选择您已在OBS服务侧创建的桶。 单击“确定”,创建作业。 父主题: 作业开发
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
DLF.0803 OBS路径不合法。 DLF.0810 查询的系统任务不存在。 DLF.0815 读取OBS文件失败。 DLF.1006 作业的节点为空。 DLF.1242 OBS桶不存在。 DLF.3004 作业名称不能为空。 DLF.3018 作业名称不合法。
例如,使用“数据迁移”节点将数据从OBS导入到MRS Hive。 S S 数据仓库 是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。本服务中指的是华为云上数据仓库,如DWS、DLI、MRS Hive等。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
在作业搜索框中搜索作业“doc1”,导出作业到本地,并上传作业至OBS文件夹中。 在DLF系统中删掉作业关联的dws数据连接“doctest”。 单击作业目录中的 > 导入作业,选择上传至OBS文件夹中的作业,并设置重名处理策略。
Flink自定义作业 jar包路径 是 用户需先上传自定义的Jar包至OBS桶中,在此处才能选择对应Jar包的OBS路径。 入口类 否 指定加载的Jar包入口类名(如:KafkaMessageStreaming)。若不指定,则根据Jar包文件的Manifest文件确定。
登录方式 是 选择主机的登录方式: 密钥对 密码 密钥对 是 主机的登录方式为密钥对时,用户获取并上传其私钥文件至OBS,在此处选择对应的OBS路径。 密钥对密码 否 如果密钥对未设置密码,则不需要填写该配置项。 密码 是 主机的登录方式为密码时,填写主机的登录密码。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
导入解决方案 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS中的解决方案文件。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。