检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
在作业搜索框中搜索作业“doc1”,导出作业到本地,并上传作业至OBS文件夹中。 在DLF系统中删掉作业关联的dws数据连接“doctest”。 单击作业目录中的 > 导入作业,选择上传至OBS文件夹中的作业,并设置重名处理策略。
转储服务类型 是 选择转储服务类型,目前支持转储至: OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》)。
Flink自定义作业 jar包路径 是 用户需先上传自定义的Jar包至OBS桶中,在此处才能选择对应Jar包的OBS路径。 入口类 否 指定加载的Jar包入口类名(如:KafkaMessageStreaming)。若不指定,则根据Jar包文件的Manifest文件确定。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
导入解决方案 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS中的解决方案文件。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。
单击作业目录中的 > 导入脚本,选择已上传至OBS中的脚本文件,以及重名处理策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。 父主题: 脚本开发
日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明: 若您想自定义存储路径,请参见配置作业日志存储路径选择您已在OBS服务侧创建的桶。 单击“确定”,创建作业。 父主题: 作业开发
环境准备 已开通对象存储服务OBS,并创建桶,例如“s3a://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“spark_cluster”,为Spark作业提供运行所需的物理资源。
路径 是 选择数据存储的OBS路径。“数据位置”为“OBS”时,配置该参数。 表描述 否 数据表的描述信息。 表结构 列名 是 填写列名,列名不能重复。 类型 是 选择数据类型,具体说明请参见《数据湖探索SQL语法参考》。 列描述 否 填写列的描述信息。
可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient httpClient = HttpClients.createDefault
登录方式 是 选择主机的登录方式: 密钥对 密码 密钥对 是 主机的登录方式为密钥对时,用户获取并上传其私钥文件至OBS,在此处选择对应的OBS路径。 密钥对密码 否 如果密钥对未设置密码,则不需要填写该配置项。 密码 是 主机的登录方式为密码时,填写主机的登录密码。
例如,使用“数据迁移”节点将数据从OBS导入到MRS Hive。 S S 数据仓库 是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。本服务中指的是华为云上数据仓库,如DWS、DLI、MRS Hive等。
通过PRESTO SQL脚本执行select 查询语句后的查询内容将自动转储至OBS桶的s3a://dlf-log-{project_id}/temp路径下。 Shell脚本 前提条件 脚本的最大配额是1000,请确保当前脚本的数量未达到最大配额。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。