配置OpenSearch集群简繁体转换搜索 本文介绍如何在OpenSearch集群实现搜索数据的简繁体转换。 场景介绍 简繁体转换插件是一款可以使中文简体和中文繁体相互转换的插件。通过该插件的转换,用户可以使用中文繁体关键字搜索出包含对应中文简体的索引数据,也可以使用中文简体关键字搜索出包含对应中文繁体的索引数据
Elasticsearch集群创建index pattern卡住,如何解决? 问题现象 在Kibana的“Dev Tools”页面,执行GET .kibana/_settings命令查询kibana索引的状态,如果状态为“true”,说明集群磁盘过高。 问题原因 索引置为只读状态导致
X-pack参数配置导致集群不可用 问题现象 “集群状态”为“不可用”,集群的“任务状态”为“配置错误,重启失败”。 图1 集群配置错误 原因分析 集群可能配置了X-pack相关的自定义参数导致集群不可用。CSS服务不支持X-pack功能。 处理步骤 在集群管理页面,单击不可用的集群名称
如何查看CSS集群所分布的可用区? 在集群的“基本信息”页面,可以获取集群所分布的可用区信息。 登录云搜索服务管理控制台云搜索服务管理控制台。 在左侧导航栏,选择“集群管理”,根据目标集群选择集群类型,进入集群列表页面。 在集群列表,单击目标集群名称,进入集群详情页。 选择“概览”
CSS安全集群如何获取安全证书? CSS服务只有启用HTTPS访问的安全集群才能下载安全证书(CloudSearchService.cer)。安全证书不支持在公网环境下使用。 Elasticsearch集群获取安全证书 登录云搜索服务管理控制台云搜索服务管理控制台。 在左侧导航栏,
使用Elasticsearch Pipeline实现数据增量迁移 通过Elasticsearch Pipeline的自动字段更新能力,解决了增量迁移中增量字段识别困难的问题,实现了可靠的增量数据迁移方案。 应用场景 当使用Logstash、ESM等工具进行Elasticsearch
配置OpenSearch集群索引回收站 OpenSearch集群在执行删除索引操作时,默认会直接删除索引数据,缺乏数据恢复机制。为防止误操作导致数据丢失,CSS服务提供索引回收站功能,支持将删除的索引暂存至回收站,并提供还原和彻底删除操作,提升数据可靠性与操作安全性。 原理介绍 索引回收站通过以下机制实现
管理OpenSearch集群日志 CSS服务通过日志查询、日志备份和日志采集三大核心功能,为用户提供全面的日志管理能力,满足不同场景下的日志处理需求,帮助用户高效定位问题、优化性能及保障系统安全。 日志查询:在云搜索服务管理控制台的日志管理页面,用户可按节点、日志类型等条件筛选最近日志
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 缩容流程:随机下线节点,并修改集群配置。 前提条件 集群处于“可用”状态,且无正在进行的任务
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到OpenSearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据 目标集群 将
重启Elasticsearch集群 当Elasticsearch集群停止工作时,可通过重启恢复运行,有快速重启与滚动重启两种方式,建议在业务空闲时进行重启操作。 约束限制 避免在业务高峰期重启,以防影响数据完整性或服务可用性。 快速重启过程时,集群全程不可用。 滚动重启仅支持节点数
规划集群版本和安全模式 介绍OpenSearch集群版本,包括不同版本的特性支持和适用场景。同时,介绍了非安全集群和安全集群的特点和适用场景。 集群版本介绍 选择OpenSearch集群版本时,建议综合考虑业务需求、特性支持、性能改进、安全性更新和长期支持等因素,以确保选择的版本能够满足当前和未来的业务发展
扩容Logstash集群 当Logstash集群的数据面业务变化,需要动态调整集群节点的数量时,可以扩容Logstash集群。 Logstash集群支持扩容集群的“节点数量”。适用于如下场景: 当需要确保数据的持续可用性时,扩容Logstash集群的节点数量可以增加系统的容错能力。
删除Elasticsearch集群 当用户已完成数据搜索业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,未备份的数据将永久丢失,请谨慎操作。 如果集群没有备份快照,则删除后不可恢复集群数据。当集群启用过快照功能,且OBS桶中创建的快照并未被删除
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值
访问Elasticsearch集群时9200和9300端口是否都开放? 都开放。9200端口为外部访问Elasticsearch集群端口,9300为节点之间通讯端口。 访问9300端口有以下几种方式: 如果是同VPC同子网内可直接访问。 如果是同VPC下跨子网访问,需要单独申请路由配置
迁移Elasticsearch的Kibana可视化图表 应用场景 迁移Elasticsearch集群间的Kibana可视化图表的应用场景主要包括以下几个方面: 当需要将数据从一个Elasticsearch集群迁移到另一个新集群时,Kibana可视化图表的迁移是确保业务连续性的关键步骤
使用DSL语言在OpenSearch中搜索数据 DSL语言是OpenSearch查询域的特定语言,是客户端与OpenSearch集群交互的最佳语言。OpenSearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为OpenSearch DSL再与OpenSearch
配置OpenSearch集群索引监控 索引监控功能用于监测集群索引的运行状态和变化趋势,帮助评估业务使用情况,并能够及时发现潜在风险,确保集群稳定运行。通过收集索引的stats信息,系统能够全面了解索引的性能和使用情况,为运维决策提供数据支持。 原理介绍 索引监控通过以下机制实现:
导入向量数据 导入向量数据是将数据写入CSS向量数据库的过程。在向量数据库中,向索引写入向量数据时,需通过指定向量字段名称(如my_vector)和对应的数据格式才能完成数据结构化存储。CSS向量数据库支持两种常见格式:浮点数组格式和Base64编码格式。 浮点数组格式:直接传输可读的数值数组