2.0 √ √ 配置Elasticsearch集群读写流量控制策略2.0 流量控制1.0 √ √ 配置Elasticsearch集群读写流量控制策略1.0 大查询隔离 √ √ 配置Elasticsearch集群大查询隔离 聚合增强 x √ 配置Elasticsearch集群聚合增强
增强OpenSearch集群搜索能力 OpenSearch集群搜索增强特性介绍 配置OpenSearch集群向量检索 配置OpenSearch集群存算分离 配置OpenSearch集群读写流量控制策略 配置OpenSearch集群大查询隔离 配置OpenSearch集群聚合增强 配置
混合负载任务:同时涉及高CPU计算和网络I/O的任务(如实时日志采集、数据清洗)。 大规模数据处理:需要快速处理海量数据的场景(如日志聚合、事件流处理)。
混合负载任务:同时涉及高CPU计算和网络I/O的任务(如实时日志采集、数据清洗)。 大规模数据处理:需要快速处理海量数据的场景(如日志聚合、事件流处理)。
OpenSearch 1.3.6 OpenSearch 2.17.1 OpenSearch 2.19.0 相关文档 开源向量检索 √ √ √ k-NN query CSS向量检索 √ x √ 配置OpenSearch集群向量检索 存算分离 √ x √ 配置OpenSearch集群存算分离 流量控制
Elasticsearch 7.x版本中,将更新时间设置为15s的命令如下: PUT {index}/_settings { "refresh_interval": "15s" } 优化写入线程数与写入队列大小 为应对突发流量,可以适当地提升写入线程数与写入队列的大小,防止突发流量导致出现错误状态码为
避免绑定EIP直接通过互联网访问集群 避免将CSS集群部署在公网或者DMZ里,应该部署在公司内部网络,并使用路由器或者防火墙技术把集群保护起来,避免通过直接绑定弹性公网IP(简称EIP)的方式从互联网访问集群,防止未授权的访问及DDoS攻击等。
默认值:10 格式:数值 remote_sync.max_bytes_per_sec 每秒最大的同步流量。 默认值:40MB 格式:字符串 查询同步状态 获取指定索引的自动同步状态。
默认值:10 格式:数值 remote_sync.max_bytes_per_sec 每秒最大的同步流量。
logstash:基于开源Logstash提供数据收集、转换、清洗、解析等功能。 opensearch:基于开源OpenSearch提供分布式搜索、日志统计报表、语义搜索等功能,是CSS服务Elasticsearch集群的下一代版本。
数据预处理:对原始日志数据进行清洗、转换和丰富。 统一日志管理:搭建统一的日志管理平台,实现日志的统一存储、分析和可视化。 方案架构 图1 架构图 Kafka作为消息中间件,存储待处理的日志数据。
配置集群路由有以下优势: 提升跨VPC通信性能:通过路由表直接指定流量路径,避免绕行公网。 安全通信保障:基于VPC对等连接实现私有网络互通,数据不经过公网。 灵活管理访问策略:可自定义开放特定子网的访问权限。 支持混合云架构:实现不同VPC环境下的服务互联。
配置集群路由有以下优势: 提升跨VPC通信性能:通过路由表直接指定流量路径,避免绕行公网。 安全通信保障:基于VPC对等连接实现私有网络互通,数据不经过公网。 灵活管理访问策略:可自定义开放特定子网的访问权限。 支持混合云架构:实现不同VPC环境下的服务互联。
最小值:1d 默认值:7d 查看索引读写流量 当集群启用了索引监控后,支持查询一段时间内的索引读写流量。 执行如下命令,查看所有索引读写流量。 GET /_cat/monitoring 执行如下命令,查看某一索引的读写流量。
配置集群路由有以下优势: 提升跨VPC通信性能:通过路由表直接指定流量路径,避免绕行公网。 安全通信保障:基于VPC对等连接实现私有网络互通,数据不经过公网。 灵活管理访问策略:可自定义开放特定子网的访问权限。 支持混合云架构:实现不同VPC环境下的服务互联。
Client节点数量选择建议 Client节点负责接收并协调外部请求(如搜索和写入),节点数量和集群流量压力相关,以下是基于数据节点数量给出的Client节点数量的推荐值,供参考。
Client节点数量选择建议 Client节点负责接收并协调外部请求(如搜索和写入),节点数量和集群流量压力相关,以下是基于数据节点数量给出的Client节点数量的推荐值,供参考。
使用DSL语言在Elasticsearch中搜索数据 使用SQL语言在Elasticsearch中搜索数据 增强集群搜索能力 CSS服务的Elasticsearch集群基于社区版本提供了一系列增强特性,包括向量检索、存算分离、流量控制、大查询隔离、聚合增强、读写分离、冷热数据切换、
最小值:1d 默认值:7d 查看索引读写流量 当集群启用了索引监控后,支持查询一段时间内的索引读写流量。 执行如下命令,查看所有索引读写流量。 GET /_cat/monitoring 执行如下命令,查看某一索引的读写流量。
弹性公网IP的建议配置如下: “计费模式”:“按需计费” “公网带宽”:“按流量计费” 配置Logstash集群路由 配置Logstash集群的回程路由,使Logstash节点能正常访问公网数据源的IP地址。回程路由需覆盖所有公网数据源的IP网段。 登录云搜索服务管理控制台。