应用场景 S3插件(repository-s3)是一个专为Elasticsearch设计的插件,该插件允许用户将Elasticsearch的快照备份存储到与S3 API兼容的存储服务中,例如华为云的对象存储服务(OBS)。
GET _snapshot/my_backup/snapshot_1 通过华为云对象存储迁移服务OMS将快照数据从存储仓库迁移到对象存储服务OBS的“esbak”桶中。 OMS支持多种云服务商数据迁移到对象存储服务OBS中,具体请参见各云服务商迁移教程。
应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。常用于以下场景: 跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。
对象存储服务(Object Storage Service,简称OBS) 云搜索服务CSS的集群快照存储在对象存储服务(OBS)的桶中。详细请参考对象存储服务用户指南。
自动设置集群快照的基础配置(不推荐使用) 功能介绍 该接口用于自动设置集群快照的基础配置,包括配置OBS桶和IAM委托。 OBS桶:快照存储的OBS桶位置。 备份路径:快照在OBS桶中的存放路径。
原理介绍 图1 存算分离 存算分离的核心原理是根据索引数据的访问频率,将数据分层存储,实现降本。 热数据:高频访问数据,存储在高速SSD磁盘,支持毫秒级检索。 冷数据:低频访问的历史归档数据,转储至对象存储服务OBS桶(用户不可见),采用标准存储类型。
原理介绍 图1 存算分离 存算分离的核心原理是根据索引数据的访问频率,将数据分层存储,实现降本。 热数据:高频访问数据,存储在高速SSD磁盘,支持毫秒级检索。 冷数据:低频访问的历史归档数据,转储至对象存储服务OBS桶(用户不可见),采用标准存储类型。
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到OpenSearch集群中,数据文件支持JSON格式。
计费影响 当使用快照备份功能时,备份的快照存储在OBS桶中需要额外收费,具体收费说明请参见对象存储服务计费说明。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。
使用Logstash将OBS数据导入Elasticsearch 通过CSS服务的Logstash将OBS数据导入Elasticsearch,可实现高效的数据检索与分析能力,满足数据迁移场景。 应用场景 对象存储服务OBS用于存储海量数据。
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch集群中,数据文件支持JSON格式。
查看用户组的权限中是否包含:“全局服务”中“对象存储服务”项目的“Tenant Administrator”权限、当前所属区域的“Elasticsearch Administrator”权限。 具体操作请参见《统一身份认证服务用户指南》中的查看或修改用户组章节。
查看用户组的权限中是否包含:“全局服务”中“对象存储服务”项目的“OBS Administrator”权限、当前所属区域的“Elasticsearch Administrator”权限。 具体操作请参见《统一身份认证服务用户指南》中的查看或修改用户组章节。
计费影响 当使用快照备份功能时,备份的快照存储在OBS桶中需要额外收费,具体收费说明请参见对象存储服务计费说明。 约束限制 备份与恢复索引功能上线之前(即2018年3月10日之前)创建的集群,无法创建快照。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。
计费影响 当使用日志备份功能时,备份的日志存储在OBS桶中需要额外收费,具体收费说明请参见对象存储服务计费说明。 前提条件 当使用日志备份功能时,需要提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件: “存储类别”为“标准存储”。 “区域”须与集群所在区域相同。
通过备份与恢复实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移:仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。
该功能支持自定义备份策略(如备份时间、存储路径等),备份日志包含运行日志、弃用操作日志等类型,满足不同场景的审计与排查需求。 计费影响 当使用日志备份功能时,备份的日志存储在OBS桶中需要额外收费,具体收费说明请参见对象存储服务计费说明。
表2 高级配置计费项 计费项 计费项说明 对象存储 如有快照备份或日志备份需求,您需要购买对象存储服务(Object Storage Service,OBS),用来存放集群产生的备份数据。 对象存储服务的详细计费信息请参见对象存储价格详情。
当存储在对象存储服务OBS中的快照或日志备份数据不再使用时,您可以将这些备份的数据删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。
按需计费资源 对于按需计费模式的资源,例如按需计费的弹性云服务器、按需计费的云硬盘等,若不再使用这些资源且需停止计费,请删除集群,避免继续产生费用。 清理存储数据 由于云搜索服务的快照和日志备份数据存储在OBS桶中,退订或删除集群时,需要前往OBS服务删除对应数据,停止计费。