管理Elasticsearch集群日志 CSS服务通过日志查询、日志备份和日志采集三大核心功能,为用户提供全面的日志管理能力,满足不同场景下的日志处理需求,帮助用户高效定位问题、优化性能及保障系统安全。 日志查询:在云搜索服务管理控制台的日志管理页面,用户可按节点、日志类型等条件筛选最近日志
通过索引生命周期管理实现OpenSearch集群自动滚动索引 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史索引删除,实现自动滚动索引。 本案例通过配置OpenSearch集群的生命周期策略,实现当索引的大小达到1TB
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch集群中,数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景 源数据
使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED 问题现象 使用ElasticSearch的HLRC(High Level Rest Client)时,偶现报出I/O Reactor STOPPED
使用Logstash将RDS MySQL数据同步至Elasticsearch 应用场景 CSS服务的Logstash集群默认安装了logstash-input-jdbc插件,该插件为Logstash提供了从关系型数据库RDS MySQL中导入和处理数据的能力,通过配置Logstash
规划集群可用区与高可用性 介绍如何通过多可用区部署提高集群的高可用性,包括节点在不同可用区的分布规则、副本数量配置建议,以及应对可用区故障的策略。 可用区(Availability Zone,AZ)指在同一区域(Region)下,电力、网络隔离的物理区域。同一地域内的可用区之间通过内网互通
导入向量数据 导入向量数据是将数据写入CSS向量数据库的过程。在向量数据库中,向索引写入向量数据时,需通过指定向量字段名称(如my_vector)和对应的数据格式才能完成数据结构化存储。CSS向量数据库支持两种常见格式:浮点数组格式和Base64编码格式。 浮点数组格式:直接传输可读的数值数组
创建向量索引 在Elasticsearch集群中创建向量索引,定义包含向量字段的Mapping(指定向量维度、索引算法、相似度度量方式等)。将特征向量数据(通常连同原始数据或元数据)索引到Elasticsearch中。 登录Kibana 登录Kibana进入命令执行页面。Elasticsearch
使用DSL语言在Elasticsearch中搜索数据 DSL语言是Elasticsearch查询域的特定语言,是客户端与Elasticsearch集群交互的最佳语言。Elasticsearch DSL是基于JSON格式的语言,其他语言如SQL本质上也是先转译为Elasticsearch
智能检测Elasticsearch集群风险 CSS服务提供智能运维功能,支持检测集群潜在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情
创建快照备份Elasticsearch集群数据 CSS服务的快照备份功能为Elasticsearch集群提供数据保护和恢复能力。通过快照备份,可以将集群的数据状态保存到OBS桶中,以便在需要时进行恢复。CSS集群快照分为两种方式:自动创建快照和手动创建快照。 自动创建快照:按照预设的时间策略自动执行快照备份操作
通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云 自建Elasticsearch集群数据迁移到华为云Elasticsearch集群可以使用S3快照备份恢复方式。 应用场景 S3插件(repository-s3)是一个专为Elasticsearch设计的插件,该插件允许用户将
向量检索特性介绍 在人工智能时代,图像、视频、音频、文本语料等非结构化数据激增,传统的关键词搜索难以有效捕捉这些数据深层的语义或视觉特征,为了解决这个问题,CSS服务提供了向量检索功能。基于Elasticsearch的向量检索功能,面向图像、视频、语料等非结构化数据的特征向量检索场景
管理向量索引缓存 CSS向量检索引擎基于C++构建,采用堆外内存技术以提升性能和效率。为更好地管理和优化向量索引缓存,CSS向量数据库提供了一系列专用接口,使用户能够灵活地监控和调整缓存使用情况,从而确保查询性能的稳定性和可靠性。 查看缓存统计信息 通过下面的API检索堆外内存的使用情况
进行向量检索 CSS向量数据库提供了强大的向量检索功能,支持多种查询方式,包括标准查询、复合查询、ScriptScore查询、重打分查询和Painless语法扩展查询。通过这些查询方式,用户可以高效地检索向量数据,满足不同场景下的搜索需求。 标准查询:用于检索与查询向量最相似的文档
向量检索的Java代码示例 Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖
配置和使用OpenSearch集群的自定义词库 前提条件 确认已准备好自定义词库文件,且已上传至OBS桶。OBS桶必须和CSS集群位于同一“区域”,且“存储类别”为“标准存储”。 配置自定义词库 登录云搜索服务管理控制台。 在左侧导航栏,选择“集群管理 > OpenSearch”。
创建Elasticsearch向量集群 CSS向量数据库通过结合高效索引技术,为高维向量检索提供了高性能、低成本、易扩展的解决方案。Elasticsearch向量集群通过将非结构化数据转换为高维向量,并结合向量索引技术(如HNSW图索引、乘积量化等),可实现近似最近邻检索(ANN)
配置Elasticsearch集群读写流量控制策略1.0 场景描述 流量控制1.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能力
通过嵌套字段实现向量检索 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档