检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。
DLI Spark 2.3.2版本停止服务(EOS)公告 公告说明 华为云在2023年12月31 00:00(北京时间)将Spark 2.3.2版本停止服务(EOS)。 影响 DLI Spark 2.3.2版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的
DLI Spark 3.1.1版本停止服务(EOS)公告 公告说明 华为云在2024年12月31 00:00(北京时间)将Spark 3.1.1版本停止服务(EOS)。 影响 DLI Spark 3.1.1版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的
DLI Flink1.7版本停止服务(EOS)公告 公告说明 华为云在2022年12月31 00:00(北京时间)将DLI Flink 1.7版本停止服务(EOS)。 影响 DLI Flink 1.7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选择新版本的
DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 公告说明 华为云在2023年12月31 00:00(北京时间)将DLI Flink 1.10、Flink1.11版本停止服务(EOS)。 影响 DLI Flink 1.10、Flink1.11版本停止服务
port 否 3306 Integer MySQL 数据库服务器的整数端口号。 server-id 否 无 String 读取数据使用的 server id,server id 可以是个整数或者一个整数范围,比如 '5400' 或 '5400-5408'。
故障处理 问题1:运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败 问题现象 运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。
URI URI格式 GET /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name
URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name
URI URI格式 DELETE /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name
URI URI格式 PUT /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是
URI URI格式 PUT /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues/{queue_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name
步骤1:安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP,并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前,确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。
数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),提供一种安全、可靠、简单易用隐私数据加解密方案。
- DLI Server Region (REGION) 是 DLI的区域ID。 cn-north-4 DLI Server Host (HOST) 是 DLI的Endpoint地址。 dli. {REGION}.
Flink Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以通过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud
Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以通过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud
请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/scale-records?
如果手动关闭了debezium.connect.keep.alive,一旦发生拉取Binlog线程与MySQL服务器的连接连接异常,拉取Binlog线程不会尝试自动重连,这可能导致无法正常从源端拉取binlog日志。