-
使用Livy提交Spark Jar作业 - 数据湖探索 DLI
准备一个linux弹性云服务器ECS,用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
-
partition - 数据湖探索 DLI
partition_specs 格式 partition_specs : (partition_col_name = partition_col_value, partition_col_name = partition_col_value, ...); 说明 表的分区列表,以k
-
partition - 数据湖探索 DLI
partition_specs 格式 partition_specs : (partition_col_name = partition_col_value, partition_col_name = partition_col_value, ...); 说明 表的分区列表,以k
-
服务器:请求dli.xxx,unable to resolve host address, 如何解决? - 数据湖探索 DLI
服务器:请求dli.xxx,unable to resolve host address, 如何解决? 首先使用ping命令测试dli.xxx是否可以访问。 如果dli.xxx可以正常访问,建议下DNS解析是否配置正确。 DLI 不支持跨区域服务,需在一个区域内进行访问。 父主题:
-
DLI委托权限设置 - 数据湖探索 DLI
DLI委托权限设置 DLI委托概述 更新委托权限 自定义DLI委托权限 常见场景的委托权限策略 DLI委托权限配置场景开发指南
-
创建弹性资源池 - 数据湖探索 DLI
创建弹性资源池 弹性资源池的使用场景可以参考弹性资源池概述中描述,本章节重点介绍创建弹性资源池的操作步骤和说明。 注意事项 使用DLI增强型跨源时,弹性资源池网段与数据源网段不能重合。 弹性资源池网段设置后不支持更改。 创建弹性资源池 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。
-
与其他云服务的关系 - 数据湖探索 DLI
与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。 与云审计服务(CTS)的关系 云审计服务(Cloud Trace
-
概述 - 数据湖探索 DLI
融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
-
修改表分区位置(只支持OBS表) - 数据湖探索 DLI
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
-
修改表分区位置(只支持OBS表) - 数据湖探索 DLI
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
-
修改主机信息 - 数据湖探索 DLI
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
-
SQL编辑器 - 数据湖探索 DLI
SQL编辑器 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索SQL语法参考》。 在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。
-
数据湖探索监控指标说明及查看指导 - 数据湖探索 DLI
u_num 弹性资源池CU分配量 展示用户弹性资源池的CU分配情况。 ≥0 弹性资源池 5分钟 elastic_resource_pool_min_cu_num 弹性资源池最小CU 展示用户弹性资源池的最小CU。 ≥0 弹性资源池 5分钟 elastic_resource_pool_max_cu_num
-
创建增强型跨源连接 - 数据湖探索 DLI
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
-
重命名分区(只支持OBS表) - 数据湖探索 DLI
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
-
重命名分区(只支持OBS表) - 数据湖探索 DLI
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
-
查询增强型跨源连接 - 数据湖探索 DLI
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 状态码 状态码如表7所示。
-
迁移Elasticsearch数据至DLI - 数据湖探索 DLI
择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择已1中已创建的数据库,执行DLI表查询语句,查询CSS的数据是否已成功迁移到DLI的“tablecss”表中。 select * from tablecss; 图8 迁移后查询DLI的表数据
-
数据湖探索简介 - 数据湖探索 DLI
考《数据湖探索用户指南》。 Flink跨源支持与多种云服务连通,形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态: 云服务生态:数据湖探索在Flink SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据。如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
-
Elasticsearch结果表 - 数据湖探索 DLI
搜索等场景。 云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息,请参见《云搜索服务用户指南》 前提条件 创建Flink