通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过备份与恢复可以将第三方Elasticsearch集群数据迁移至华为云Elasticsearch集群。 应用场景 通过备份与恢复实现第三方Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移
Elasticsearch显示CPU使用率高,导致日志无法写入 问题现象 Elasticsearch在某一时间段CPU比较高,logstash在该时刻报错Elasticsearch Unreachable,导致日志无法写入到Elasticsearch里。 原因分析 客户index是单
进行向量检索 CSS向量数据库提供了强大的向量检索功能,支持多种查询方式,包括标准查询、复合查询、ScriptScore查询、重打分查询和Painless语法扩展查询。通过这些查询方式,用户可以高效地检索向量数据,满足不同场景下的搜索需求。 标准查询:用于检索与查询向量最相似的文档
变更Logstash集群节点规格 当Logstash集群的数据面业务变化,需要动态调整集群的节点规格时,可以参考本文变更规格。 变更节点规格一般用于小规格升级为大规格,常用于如下场景: 当现有的Logstash节点处理能力达到瓶颈,无法满足日益增长的数据量时,升级节点规格可以提供更多的计算资源和存储空间
更改Elasticsearch集群安全模式 当Elasticsearch集群的安全性有变更需求时,CSS服务支持切换集群安全模式。 根据业务安全要求,可选择创建不同安全模式的集群: 表1 集群安全模式介绍 集群类型 关键配置 集群描述 适用场景 非安全集群 “安全模式”:关闭 非安全模式的集群无需安全认证即可访问
通过Cerebro登录Elasticsearch集群 Cerebro是Elasticsearch集群管理的专业工具,适用于需要实时监控和高效运维的场景。CSS服务的Elasticsearch集群默认集成开箱即用的Cerebro工具,无需安装部署即可一键启动。Cerebro可以快速查看集群的健康状态
切换Elasticsearch集群可用区 CSS服务支持跨可用区的能力,在集群使用过程中遇到可用区资源不足或需要提升集群的高可用性时,可以切换集群可用区。 切换可用区包含两大场景:可用区高可用改造和可用区平移切换。 可用区高可用改造:适用于单AZ改造成两AZ、单AZ改造成三AZ或两
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elasticsearch
规划集群可用区与高可用性 介绍如何通过多可用区部署提高集群的高可用性,包括节点在不同可用区的分布规则、副本数量配置建议,以及应对可用区故障的策略。 可用区(Availability Zone,AZ)指在同一区域(Region)下,电力、网络隔离的物理区域。同一地域内的可用区之间通过内网互通
使用Logstash将OBS数据导入Elasticsearch 通过CSS服务的Logstash将OBS数据导入Elasticsearch,可实现高效的数据检索与分析能力,满足数据迁移场景。 应用场景 对象存储服务OBS用于存储海量数据。当需要对这些数据进行快速搜索和分析时,可以使用
切换Elasticsearch集群冷热数据 在Elasticsearch集群中,切换冷热数据是一种通过将数据按使用频率分配到不同性能节点的策略,以优化存储成本和查询性能。 热数据:存储高频访问的实时数据,使用高性能硬件(如SSD),确保快速读写和检索。 冷数据:存储低频访问的历史数据
配置Elasticsearch集群YML文件默认参数 当需要根据业务需求调整Elasticsearch集群的运行行为时,比如优化查询速度、修改跨域访问配置、调整内部缓存大小或管理后台任务队列等,都可以通过调整集群的配置实现。Elasticsearch集群的核心配置信息都集中在“elasticsearch.yml
配置Elasticsearch集群存算分离 随着数据量的快速增长,传统单一存储架构面临性能与成本的双重挑战。CSS服务的Elasticsearch集群通过存算分离方案,将热数据(频繁访问数据)与冷数据(历史归档数据)分离存储,既能保障实时查询性能,又能大幅降低长期存储成本。该方案适用于日志分析
为Elasticsearch集群绑定企业项目 CSS服务支持为集群绑定企业项目。企业可以根据组织架构规划企业项目,将企业分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 您可以在创建集群时绑定企业项目,也可以在集群创建完成后,参考本章节管理企业项目
向量检索的Java代码示例 OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以
替换Elasticsearch集群指定节点 当Elasticsearch集群中的节点发生故障时,可以执行“替换指定节点”任务修复故障节点。 替换指定节点的变更流程: 将待替换节点的数据迁移到其他可用节点。 按照原节点的ID、IP地址、规格、AZ等信息重建节点。 将节点重新加入集群,
使用CSS Logstash迁移Elasticsearch集群的Logstash配置文件样例 本文以源端和目的端是相同类型的CSS Elasticsearch集群为例,介绍使用CSS服务的Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引
CSS集群平均已用内存比例达到98%怎么办? 问题现象 查看集群监控发现,Elasticsearch集群“平均已用内存比例”一直处于98%,用户担心内存比例过高是否对集群有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被
使用Logstash将Kafka数据接入Elasticsearch 本文介绍如何使用云搜索服务CSS的Logstash将Kafka中的数据接入到CSS的Elasticsearch中。Logstash作为ELK(Elasticsearch、Logstash、Kibana)日志方案中的关键组件