前提条件 已开通相应的云服务并在云服务中创建数据库。例如,开发DLI的脚本前,请确保DLI服务已开通,并在DLI服务中创建好数据库。Flink SQL脚本不涉及。 已在数据开发模块中创建与脚本的数据连接类型匹配的数据连接,请参见创建数据连接。Flink SQL脚本不涉及。
DLF.0803 OBS路径不合法。 DLF.0810 查询的系统任务不存在。 DLF.0815 读取OBS文件失败。 DLF.1006 作业的节点为空。 DLF.1242 OBS桶不存在。 DLF.3004 作业名称不能为空。 DLF.3018 作业名称不合法。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
转储服务类型 是 选择转储服务类型,目前支持转储至: OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》)。
OBS 路径(必选):单击,在弹出的“OBS文件浏览”窗口选择OBS路径。 CSS 集群名称(必选):单击,在弹出的“CloudSearch集群”窗口选择CloudSearch集群。 索引名称(必选):输入CSS类型的索引名称。
在作业搜索框中搜索作业“doc1”,导出作业到本地,并上传作业至OBS文件夹中。 在DLF系统中删掉作业关联的dws数据连接“doctest”。 单击作业目录中的 > 导入作业,选择上传至OBS文件夹中的作业,并设置重名处理策略。
Flink自定义作业 jar包路径 是 用户需先上传自定义的Jar包至OBS桶中,在此处才能选择对应Jar包的OBS路径。 入口类 否 指定加载的Jar包入口类名(如:KafkaMessageStreaming)。若不指定,则根据Jar包文件的Manifest文件确定。
打开作业“test”,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 父主题: 配置
导入解决方案 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS中的解决方案文件。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件。
单击作业目录中的 > 导入脚本,选择已上传至OBS中的脚本文件,以及重名处理策略。 图3 导入脚本 单击“下一步”,根据提示导入脚本。 父主题: 脚本开发
目前支持新建如下数据表: DLI DWS MRS Hive CloudTable 前提条件 已开通相应的云服务并在云服务中创建数据库。例如,新建DLI表前,请确保DLI服务已开通,并在DLI服务中创建好数据库。
环境准备 已开通对象存储服务OBS,并创建桶,例如“s3a://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“spark_cluster”,为Spark作业提供运行所需的物理资源。
请参见《弹性云服务器用户指南》的“查看云服务器详细信息”页面获取。 端口 是 主机的端口号。 用户名 是 主机的用户名。 登录方式 是 选择主机的登录方式: 密钥对 密码 密钥对 是 主机的登录方式为密钥对时,用户获取并上传其私钥文件至OBS,在此处选择对应的OBS路径。
可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient httpClient = HttpClients.createDefault
例如,使用“数据迁移”节点将数据从OBS导入到MRS Hive。 S S 数据仓库 是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。本服务中指的是华为云上数据仓库,如DWS、DLI、MRS Hive等。
通过PRESTO SQL脚本执行select 查询语句后的查询内容将自动转储至OBS桶的s3a://dlf-log-{project_id}/temp路径下。 Shell脚本 前提条件 脚本的最大配额是1000,请确保当前脚本的数量未达到最大配额。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。
在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。