创建快照备份OpenSearch集群数据 CSS服务的快照备份功能为OpenSearch集群提供数据保护和恢复能力。通过快照备份,可以将集群的数据状态保存到OBS桶中,以便在需要时进行恢复。CSS集群快照分为两种方式:自动创建快照和手动创建快照。 自动创建快照:按照预设的时间策略自动执行快照备份操作
设置Elasticsearch集群标签 标签是集群的标识。为集群添加标签,可以方便用户识别和管理拥有的集群资源。 您可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务
创建向量索引 在OpenSearch集群中创建向量索引,定义包含向量字段的Mapping(指定向量维度、索引算法、相似度度量方式等)。将特征向量数据(通常连同原始数据或元数据)索引到OpenSearch中。 登录OpenSearch Dashboards 登录OpenSearch
智能检测OpenSearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险
查看Elasticsearch集群信息 CSS服务通过Elasticsearch集群列表页和基本信息页,为用户提供全面的集群状态、版本、节点及配置信息,方便用户实时查看集群运行状态和资源分配情况。 集群列表介绍 集群列表会展示当前账号下同一集群类型的所有集群。当集群数量较多时,会翻页显示
通过备份与恢复迁移第三方Elasticsearch集群至华为云 通过备份与恢复可以将第三方Elasticsearch集群数据迁移至华为云Elasticsearch集群。 应用场景 通过备份与恢复实现第三方Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移
Elasticsearch集群某一节点分配不到shard 解决方案 使用GET _cluster/allocation/explain?pretty 查看未分配shard。 在console上,选择“cerebro > more > cluster settings ”-,在左上角输入
安全组策略设置不合理导致集群不可用 问题现象 “集群状态”为“不可用”。 单击集群名称进入集群基本信息页面,选择“日志管理”,单击“日志查询”页签,可见日志内容存在警告“master not discovered or elected yet, an election requires
如何查看CSS集群的系统默认插件列表 CSS服务的Elasticsearch和OpenSearch集群自带系统默认插件。可以通过控制台查看,也可以在Kibana或OpenSearch Dashboards中执行命令查询。 在控制台查询默认插件 登录云搜索服务管理控制台云搜索服务管理控制台
获取集群升级或切换AZ的详情信息 功能介绍 为防止数据丢失,并确保在服务中断情况下能降低集群的停机时间,从而增强集群的高可用性,CSS服务支持跨可用区(即多可用区)部署。用户可以在同一个区域内选择两个或三个不同的可用区进行集群部署。由于升级过程时间较长,该接口可以展示当前集群升级或者切换可用区时
优化Elasticsearch和OpenSearch集群写入性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。 数据写入流程 图1 数据写入流程 如图1所示,以Elasticsearch
管理向量索引缓存 CSS向量检索引擎基于C++构建,采用堆外内存技术以提升性能和效率。为更好地管理和优化向量索引缓存,CSS向量数据库提供了一系列专用接口,使用户能够灵活地监控和调整缓存使用情况,从而确保查询性能的稳定性和可靠性。 查看缓存统计信息 通过下面的API检索堆外内存的使用情况
停止Logstash迁移任务 场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除
扩容Elasticsearch集群 当Elasticsearch集群的数据量持续增长或内存占用过高时,集群可能无法有效应对业务负载和性能需求。此时,可以通过横向扩展方式增加节点数量和类型,或纵向扩展方式提升节点的存储容量。 表1 扩容场景介绍 扩容类型 适用场景 变更流程 增加节点数量
启动Logstash迁移任务 场景描述 使用Logstash集群启动Logstash迁移任务的操作流程: 测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件
缩容Elasticsearch集群 当Elasticsearch集群具备充足资源处理当前负载、业务处于流量低谷期或数据量减少时,可通过减少节点数量实现集群缩容以节省资源。 表1 缩容场景介绍 缩容类型 适用场景 变更流程 缩容随机节点 基于节点类型随机下线节点,减少集群的节点数量,
管理Logstash集群的CA证书 当Logstash集群连接CSS服务的Elasticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elasticsearch
创建OpenSearch向量集群 CSS向量数据库通过结合高效索引技术,为高维向量检索提供了高性能、低成本、易扩展的解决方案。OpenSearch向量集群通过将非结构化数据转换为高维向量,并结合向量索引技术(如HNSW图索引、乘积量化等),可实现近似最近邻检索(ANN),在保证高召回率的同时显著降低计算复杂度
通过Kibana登录Elasticsearch集群 Kibana是Elasticsearch官方提供的可视化分析平台,适用于需要深度数据分析和交互式可视化的场景。CSS服务的Elasticsearch集群默认集成开箱即用的Kibana工具,无需安装部署即可一键启动。Kibana不仅提供丰富的仪表盘构建能力和可视化工具
为Logstash集群绑定企业项目 CSS服务支持为集群绑定企业项目。企业可以根据组织架构规划企业项目,将企业分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 您可以在创建集群时绑定企业项目,也可以在集群创建完成后,参考本章节管理企业项目