使用Logstash将OBS数据导入Elasticsearch 通过CSS服务的Logstash将OBS数据导入Elasticsearch,可实现高效的数据检索与分析能力,满足数据迁移场景。 应用场景 对象存储服务OBS用于存储海量数据。
其他相关问题 存储在OBS上的索引数据的收费说明 存储在OBS上的索引数据会收取OBS费用,具体费用请参见云搜索服务价格详情中的“标准冷存储价格”。
应用场景 S3插件(repository-s3)是一个专为Elasticsearch设计的插件,该插件允许用户将Elasticsearch的快照备份存储到与S3 API兼容的存储服务中,例如华为云的对象存储服务(OBS)。
GET _snapshot/my_backup/snapshot_1 通过华为云对象存储迁移服务OMS将快照数据从存储仓库迁移到对象存储服务OBS的“esbak”桶中。 OMS支持多种云服务商数据迁移到对象存储服务OBS中,具体请参见各云服务商迁移教程。
应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。常用于以下场景: 跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。
登录云搜索服务管理控制台。 在左侧导航栏,选择“集群管理 > OpenSearch”。 在集群列表,选择目标集群,单击操作列的“Dashboards”,登录OpenSearch Dashboards。
策略定义:当索引创建3天后,自动调用冻结索引API将数据转储到OBS;当索引创建7天后,删除该索引。
通过OBS桶中存储的快照信息恢复被删除集群的操作步骤: 登录云搜索服务管理控制台云搜索服务管理控制台。 在左侧导航栏,选择“集群管理”,根据目标集群选择集群类型,进入集群列表页面。 单击右上角的“创建集群”新建一个同类型的集群。
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch集群中,数据文件支持JSON格式。
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到OpenSearch集群中,数据文件支持JSON格式。
IAM委托:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。 自动设置集群快照接口将会自动创建快照OBS桶和委托。如果有多个集群,每个集群使用这个接口都会创建一个不一样的OBS桶,可能会导致OBS的配额不够,较多的OBS桶也难以维护。
在CSS服务中,关于Elasticsearch集群的跨区域迁移,可以通过以下方法实现: 如果OBS桶在同一个区域,请参考备份与恢复索引进行集群迁移。 如果OBS桶跨区域,请先参考配置跨区域复制进行跨区域复制OBS桶,再参考备份与恢复索引进行集群迁移。
配置和使用OpenSearch集群的自定义词库 前提条件 确认已准备好自定义词库文件,且已上传至OBS桶。OBS桶必须和CSS集群位于同一“区域”,且“存储类别”为“标准存储”。 配置自定义词库 登录云搜索服务管理控制台。
409 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 412 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 错误码 请参见错误码。 父主题: 日志管理
配置和使用Elasticsearch集群的自定义词库 前提条件 确认已准备好自定义词库文件,且已上传至OBS桶。OBS桶必须和CSS集群位于同一“区域”,且“存储类别”为“标准存储”。 配置自定义词库 登录云搜索服务管理控制台。
当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需要,可以通过OBS桶中存储的快照信息恢复数据,具体参见集群被删除后是否还能恢复?。
当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需要,可以通过OBS桶中存储的快照信息恢复数据,具体参见集群被删除后是否还能恢复?。
按需计费资源 对于按需计费模式的资源,例如按需计费的弹性云服务器、按需计费的云硬盘等,若不再使用这些资源且需停止计费,请删除集群,避免继续产生费用。 清理存储数据 由于云搜索服务的快照和日志备份数据存储在OBS桶中,退订或删除集群时,需要前往OBS服务删除对应数据,停止计费。
修改集群快照的基础配置 功能介绍 该接口用于修改集群快照的基础配置,可修改OBS桶和IAM委托。 OBS桶:快照存储的OBS桶位置。 备份路径:快照在OBS桶中的存放路径。 IAM委托:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。
云搜索服务支持将ES实例的快照数据保存到对象存储(OBS)服务中,借助OBS的跨region复制功能,可实现数据的跨region备份。