表4 配置监听器 参数 说明 前端协议 客户端与负载均衡监听器建立流量分发连接的协议。 支持选择“HTTP”或“HTTPS”。 建议根据实际业务需要选择协议。 前端端口 客户端与负载均衡监听器建立流量分发连接的端口。 建议根据实际业务需要自定义。
表4 配置监听器 参数 说明 前端协议 客户端与负载均衡监听器建立流量分发连接的协议。 支持选择“HTTP”或“HTTPS”。 建议根据实际业务需要选择协议。 前端端口 客户端与负载均衡监听器建立流量分发连接的端口。 建议根据实际业务需要自定义。
Elasticsearch 7.6.2、Elasticsearch 7.10.2 配置Elasticsearch集群读写流量控制策略2.0 流量控制1.0 流量控制1.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制
配置Elasticsearch集群读写流量控制策略2.0 场景描述 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。
配置Elasticsearch集群读写流量控制策略1.0 场景描述 流量控制1.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能力
Filter(数据过滤):可选配置,用于数据清洗(如字段过滤、格式转换)。 Output(文件输出):使用logstash-output-file插件将数据写入本地JSON文件。 方案优势 高效批量处理:支持全量导出或基于过滤条件的增量导出。
增强Elasticsearch集群搜索能力 Elasticsearch集群搜索增强特性介绍 配置Elasticsearch集群向量检索 配置Elasticsearch集群存算分离 配置Elasticsearch集群读写流量控制策略2.0 配置Elasticsearch集群读写流量控制策略
OpenSearch 1.3.6、OpenSearch 2.19.0 配置OpenSearch集群存算分离 流量控制 流量控制策略通过限制客户端访问、反压写入流量、统计分析流量行为,实现集群资源的合理分配和风险防控,保障集群稳定性并防止异常流量冲击。
通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。
配置OpenSearch集群读写流量控制策略 通过流量控制策略管理OpenSearch集群的读写流量,保障集群稳定性并防止异常流量冲击。 在OpenSearch集群中,突发流量、恶意访问或资源竞争可能导致节点过载甚至崩溃。
在流量高峰期,为了及时处理增加的数据,可以通过升级Logstash节点规格来提高处理能力。 变更节点规格也支持将大规格降低为小规格,但是此变更会降低集群的处理性能,进而影响业务能力,请谨慎使用。 变更节点规格的流程: 选择一个节点下线。 调整下线的节点规格。 重启该节点。
流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。
如果日常使用有95%堆内存波动和节点掉线情况,可根据需要使用流量控制功能。更多信息,请参见配置ELasticsearch集群读写流量控制策略。 父主题: 功能使用类
通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。
缩容Elasticsearch集群 当Elasticsearch集群具备充足资源处理当前负载、业务处于流量低谷期或数据量减少时,可通过减少节点数量实现集群缩容以节省资源。
缩容OpenSearch集群 当OpenSearch集群具备充足资源处理当前负载、业务处于流量低谷期或数据量减少时,可通过减少节点数量实现集群缩容以节省资源。
暂停源集群的业务可以采用如下方式处理: 如果使用的集群版本支持流量控制功能,可以开启一键断流切断节点上除运维接口外的所有流量,拒绝所有请求。 如服务管理控制果使用的集群版本不支持流量控制功能,可以关闭所有业务索引的读写。
指定节点缩容 功能介绍 当集群具备充足资源处理当前负载、业务处于流量低谷期或数据量减少时,可通过缩容指定节点节省资源。 接口约束 缩容过程会涉及数据迁移,单个节点的数据迁移的超时阈值为48小时,超时将导致缩容失败。
处理 (Processing):Logstash配置文件中可选的filter部分用于对读取的数据进行清洗、转换和结构化处理(例如,使用grok过滤器解析日志格式)。
使用Logstash迁移数据 Logstash是一款收集、转换、清洗、解析数据的工具,本章节为您提供了一个使用CSS服务的Logstash集群完成Elasticsearch集群间数据迁移的示例,您可以参考此示例来了解Logstash服务,包括创建集群、导入导出数据、任务配置等操作。