云服务器内容精选
-
FAQ:如何跳过索引的rollover步骤? 使用场景 手动执行过rollover的场景:当用户使用生命周期进行索引的rollover,并在policy中设置了基于时间的rollover条件。在条件未被满足之前,用户进行了手动的rollover操作。随后,当索引生命周期中配置的时间条件被满足时,自动的rollover尝试执行,但由于之前手动rollover的存在,导致自动rollover失败,生命周期任务停止。为解决此问题,用户需要配置跳过索引的rollover,然后重试生命周期任务,以使滚动索引能够继续执行。 对已经自动rollover的索引执行过remove或add policy操作的场景:通过生命周期自动rollover过的索引,在修改过policy(如remove policy和add policy)之后,生命周期会从头开始执行,当再次执行到rollover时,任务会失败。为了解决此问题,用户需要配置跳过索引的rollover,然后重试生命周期任务,以使滚动索引能够继续执行。 索引在设置跳过rollover步骤以后,索引生命周期将不再对索引进行rollover步骤,也不会生成rollover后的索引,因此,对正常执行的索引进行跳过rollover步骤可能会导致数据丢失,请谨慎操作。 约束限制 支持跳过索引rollover步骤的Elasticsearch集群要求版本号为7.6.2或7.10.2,并且集群镜像版本号不低于7.x.2_25.1.0_x.x.x。 操作步骤 当索引生命周期任务因为rollover失败而停止时,执行如下命令配置跳过索引的rollover。 PUT index_name/_settings { "index.plugins.index_state_management.rollover_skip": true } 返回结果为“true”,表示配置成功。 配置跳过索引的rollover之后,执行如下命令,重试生命周期任务。 POST _opendistro/_ism/retry/index_name 返回如下信息,表示重试成功。 { "updated_indices": 1, "failures": false, "failed_indices": [] }
-
变更时长 变更集群安全模式的时长估算公式如下: 变更时长(分钟)= 5(分钟)x 节点总个数 + 数据恢复时长(分钟) 其中: 5分钟为初始化等非数据恢复操作的基准耗时,是经验值。 节点总个数是集群的数据节点、Master节点、Client节点和冷数据节点数量之和。 数据恢复时长(分钟)= 数据总量(MB)÷ [ 数据节点的CPU核数 x 32(MB/s)x 60(秒)] 其中: 32MB/s表示每个CPU核每秒可处理32MB数据,是经验值。 以上公式为理想状态下的理论估算值,实际恢复速率受集群负载影响。
-
变更影响 在更改安全模式前,您需要了解以下关键影响和操作建议,以便合理规划变更,最小化业务影响。 表3 变更影响总览 变更类型 业务是否会中断 认证方式变化 性能影响 公网访问变化 安全账号风险 非安全 → 安全+HTTP 是 增加安全认证 不涉及 不支持 不涉及 非安全 → 安全+HTTPS 是 增加安全认证 下降 支持 不涉及 安全 → 非安全 是 移除安全认证 提升 自动禁用 永久删除 HTTP → HTTPS 是 无变化 下降 支持 不涉及 HTTPS → HTTP 是 无变化 提升 自动禁用 不涉及 变更影响说明: 非安全表示非安全模式的集群;安全表示安全模式的集群。 业务中断:在更改集群安全模式的过程中,集群会自动重启,导致业务暂时不可用。 认证方式变化:更改集群安全模式后,访问集群时的安全认证机制会发生改变,此时客户端必须同步更新认证逻辑。如未及时完成适配,可能导致业务服务中断。 性能影响:当集群安全模式变更导致通信协议从HTTP切换为HTTPS后,在相同硬件配置下,集群处理高并发请求时的性能指标(如吞吐量)将出现约20%的下降。相反,当通信协议从HTTPS切换为HTTP后,集群性能会有所提升。 公网访问变化:只有安全模式+HTTPS协议的集群才支持配置公网访问,其他类型的集群都不支持。 安全账号风险:当安全模式变更为非安全模式的集群,系统会清理安全集群的账号,所有安全账号将被永久删除。 工具影响:对于已打开过Kibana会话框的集群,在更改集群安全模式后,Kibana会提示Session错误,此时需要清理缓存再打开Kibana才能正常访问。 由于更改安全模式会导致节点访问方式改变,此过程可能会引起业务中断,建议在业务上线前或集群可接受停机变更的场景下使用。
-
通过索引生命周期管理实现存算分离 登录 云搜索服务 管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录Kibana页面。 在Kibana的左侧导航中选择“Dev Tools”,进入命令执行页面。 创建生命周期策略“hot_warm_policy”。 策略定义:当索引创建3天后,自动调用冻结索引API将数据转储到OBS;当索引创建6天后关闭索引,7天后归档索引;当索引创建满30天,删除该索引。 PUT _opendistro/_ism/policies/hot_warm_policy{ "policy": { "description": "hot warm archive delete workflow", "error_notification": null, "default_state": "hot", "states": [ { "name": "hot", "actions": [], "transitions": [ { "state_name": "warm", "conditions": { "min_index_age": "3d" } } ] }, { "name": "warm", "actions": [ { "freeze_low_cost": {} } ], "transitions": [ { "state_name": "close", "conditions": { "min_index_age": "6d" } } ] }, { "name": "close", "actions": [ { "close": {} } ], "transitions": [ { "state_name": "archive", "conditions": { "min_index_age": "7d" } } ] }, { "name": "archive", "actions": [ { "freeze_archive": {} } ], "transitions": [ { "state_name": "delete", "conditions": { "min_index_age": "30d" } } ] }, { "name": "delete", "actions": [ { "delete": {} } ], "transitions": [] } ] }} 新建索引模板“template_hot_warm”。 模板定义:新建的所有“data”开头的索引会自动关联上生命周期策略“hot_warm_policy”。 PUT _template/template_hot_warm{ "index_patterns": "data*", "settings": { "number_of_replicas": 5, "number_of_shards": 1, "opendistro.index_state_management.policy_id": "hot_warm_policy" }, "mappings": { "properties": { "name": { "type": "text" } } }} 表1 参数说明 参数 说明 number_of_shards 索引分片数。 number_of_replicas 索引分片副本数。 opendistro.index_state_management.policy_id 生命周期的策略名。 新建一个索引“data-2022-06-06”,该索引会自动应用索引模板“template_hot_warm”,并通过索引模板的配置与生命周期策略“hot_warm_policy”相关联,实现索引在创建3天后冻结,6天后关闭,7天后归档,30天后删除。 POST data-2022-06-06/_bulk{"index":{}}{"name":"name1"}{"index":{}}{"name":"name2"}{"index":{}}{"name":"name3"}{"index":{}}{"name":"name4"}{"index":{}}{"name":"name5"}{"index":{}}{"name":"name6"} 查询数据,确认数据是否实现自动存算分离。 在索引创建3天后查看冻结的索引: GET _cat/freeze_indices?s=i&v 正常情况下会显示3天以前的索引已经被冻结: health status index uuid pri rep docs.count docs.deleted store.size pri.store.sizegreen open data-2022-06-06 x8ab5NX6T3Ox_xoGUanogQ 1 1 6 0 7.6kb 3.8kb 在创建索引7天后,查看索引情况: GET _cat/archive_indices?v 正常情况下会显示7天以前的索引已经被归档: health status index uuid pri rep docs.count docs.deleted store.size pri.store.size close data-2022-06-06 M0uRAWj_SKydjg0dFzyJow 在索引创建30天后,查看索引情况,正常情况下30天以前的索引已经被删除。
-
方案概述 CSS 支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关闭索引;当索引创建7天后,对存储在OBS上的索引数据执行归档操作,进一步降低存储成本;当索引创建30天后,删除该索引。 图1 存算分离方案
-
修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录在 云搜索 服务管理控制台, 在左侧导航栏,选择对应的集群类型,进入集群管理页面。 在集群列表中,单击集群名称进入集群“基本信息”页面。 在集群“基本信息”页面,单击“企业项目”右侧的企业项目名称,进入项目管理页面。 在“资源”页签下,“区域”选项中选择当前集群所在的区域,“服务”选项中选“云搜索服务 CS S”。此时,资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群,然后单击“迁出”。 在“迁出资源”页面,选择“迁出方式”,再选择“请选择要迁入的企业项目”,然后单击“确定”。 迁出完成后,可以在云搜索服务管理控制台集群管理页面,查看修改后的集群企业项目信息。