华为云用户手册

示例指导 登录 云搜索服务 管理控制台。 在左侧导航栏中，选择“集群管理”，进入集群列表页面。 在集群列表中，单击需要使用的集群对应“操作”列的“Kibana”。 如果开启了安全模式，需要输入创建集群时设置的管理员账户名和密码。 在Kibana的左侧导航中选择“Dev Tools”，进入Console界面。 在Console界面，执行如下命令，创建索引“stconvert”，并指定自定义映射来定义数据类型。 PUT /stconvert { "settings": { "number_of_shards": 1, "number_of_replicas": 0, "analysis": { "analyzer": { "ts_ik": { "tokenizer": "ik_smart", "char_filter": [ "tsconvert", "stconvert" ] } }, "char_filter": { "tsconvert": { "type": "stconvert", "convert_type": "t2s" }, "stconvert": { "type": "stconvert", "convert_type": "s2t" } } } }, "mappings": { "properties": { "desc": { "type": "text", "analyzer": "ts_ik" } } } } 返回结果如下所示。 { "acknowledged" : true, "shards_acknowledged" : true, "index" : "stconvert" } 在Console界面，执行如下命令，导入数据到“stconvert”索引中。 POST /stconvert/_doc/1 { "desc": "國際電視臺" } 当返回结果信息中“failed”字段的值为“0”时，表示数据导入成功。 在Console界面，执行如下命令，搜索关键字“国际”，并查看搜索结果。 GET /stconvert/_search { "query": { "match": { "desc": "国际" } } } 搜索结果如下所示。 { "took" : 15, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.5753642, "hits" : [ { "_index" : "stconvert", "_type" : "type", "_id" : "1", "_score" : 0.5753642, "_source" : { "desc" : "國際電視臺" } } ] } }

约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。 如果替换的是数据节点（ess）或冷数据节点（ess-cold），需要确认集群/节点是否满足以下条件： 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和ess-cold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和ess-cold）。 如果替换的数据节点或冷数据节点所在集群不存在Master节点（ess-master），则集群中可用的数据节点（含ess和ess-cold）个数要大于等于3。 如果替换的是Master节点（ess-master）或Client节点（ess-client），则不受以上四条约束。 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。

前提条件 目的端集群（Es-2）和源端集群（Es-1）处于可用状态。建议在业务空闲期进行集群迁移。 确认目的端集群（Es-2）和源端集群（Es-1）在同一个Region下。 确认目的端集群（Es-2）的版本大于等于源端集群（Es-1）的版本。 确认目的端集群（Es-2）的节点数大于源端集群（Es-1）的节点数的一半。 确认目的端集群（Es-2）的节点数大于等于源端集群（Es-1）的shard副本数。 确认目的端集群（Es-2）的CPU、MEM和Disk配置大于等于源端集群（Es-1）。

场景描述 云搜索 服务集成了共享型负载均衡器的能力，支持绑定公网访问和开启终端节点服务。相比共享型负载均衡器，独享型负载均衡器功能更丰富、性能更强，本章主要介绍如何使用独享型负载均衡器接入集群。 使用独享型负载均衡器接入集群具有如下优点： 非安全模式集群也支持集成弹性负载均衡服务的能力。 支持用户使用自定义证书进行HTTPS双向认证。 支持7层流量监控及告警配置，方便用户随时查看监控情况。 不同安全模式的集群对接独享型负载均衡器共有8种不同的服务形态，不同服务形态对应的ELB能力如表1所示，8种组合的配置概览如表2所示。 如果ELB绑定公网，则不推荐接入非安全模式的集群。非安全模式的集群使用HTTP通信且不需要安全认证即可访问，如果对外公网访问存在安全风险。 表1 不同集群对应的ELB能力 集群安全模式 ELB最终对外提供的服务形态 ELB负载均衡 ELB流量监控 ELB双向认证 非安全 无认证 支持 支持 不支持 单向认证 双向认证 支持 支持 支持 安全+HTTP 密码认证 支持 支持 不支持 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 安全+HTTPS 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 表2 不同集群对接ELB的配置概览 集群安全模式 ELB最终对外提供的服务形态 ELB监听器 后端服务器组 前端协议 前端端口 SSL解析方式 后端协议 健康检查端口 健康检查路径 非安全 无认证 HTTP 9200 无认证 HTTP 9200 / 单向认证 HTTPS 9200 单向认证 HTTP 9200 双向认证 HTTPS 9200 双向认证 HTTP 9200 安全+HTTP 密码认证 HTTP 9200 无认证 HTTP 9200 /_opendistro/_security/health 单向认证+密码认证 HTTPS 9200 单向认证 HTTP 9200 双向认证+密码认证 HTTPS 9200 双向认证 HTTP 9200 安全+HTTPS 单向认证+密码认证 HTTPS 9200 单向认证 HTTPS 9200 双向认证+密码认证 HTTPS 9200 双向认证 HTTPS 9200 父主题： （可选）对接独享型负载均衡器

约束限制 为了保证业务的连续性，集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点，需要保证单节点下线后，其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中，防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 切换前建议做好数据备份，防止升级故障数据丢失。 当集群处于切换可用区过程中，部分节点的AZ属性可能已经更改，此时节点的可用区可能会显示出中间状态，等待任务结束后，集群的可用区显示将恢复正常状态。 可用区高可用改造是基于原可用区进行扩展，切换时必须保留原可用区。如果是单AZ改造成两AZ或单AZ改造成三AZ的场景，必须所有节点一起改造；如果是两AZ改造成三AZ的场景，则既支持同时操作集群中所有类型的节点，也支持单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行切换可用区，将Master节点形变为三AZ，而其他节点依旧是两AZ）。高可用改造会尽可能挪动最小的节点重建集群，改造完成后，因未挪动节点的yml配置更新，需要重启集群才能生效。 可用区平移切换一次只能迁移一个可用区，切换时选择的可用区只能有一个不同。平移切换支持同时操作集群中所有类型的节点，或者单独操作集群中某一类型的节点（例如，在已有两AZ的集群中，可以只对Master节点进行平移切换，将Master节点从当前AZ迁移到另一个AZ，而其他节点依旧在当前AZ）。除了单AZ平移切换场景，其他的多AZ平移切换场景均需要重启集群生效。

注意事项 第一次备份时，建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 创建快照之前，您需要进行基础配置，包含存储快照的OBS桶、快照的备份路径及安全认证使用的 IAM 委托。 集群快照存储的OBS桶，在首次设置后，不管自动创建快照还是手动创建快照，如果快照列表中已有可用的快照，则OBS桶将无法再变更，请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费，具体收费以 对象存储服务 为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 CSS 集群第一次快照是全量，后面再备份快照是在之前的快照基础上增量， CS S是增量快照逻辑，快照之间的文件会相互依赖。

自定义Visualizations图表 索引监控定期把index/stats信息存储到monitoring-eys-css索引中，通过使用kibana图表功能可以绘制自定义的图表。 下面以文档数据为例介绍通过图表查看文档数量的变化趋势的操作步骤： 登录云搜索服务管理控制台。 选择已创建的集群，单击操作列“Kibana”，登录Kibana界面。 选择左侧的“Visualize”进入图形列表。 单击“Create visualization”，选择 “TSVB” ，进入TSVB绘图页面。 设置图表参数，查看Visualizations。 如图所示，在“Data”页签，选择“index_stats.primaries.docs.count”表示主分片的文档数量；选择“Derivative”表示聚合桶之间的差异；“Unit”设置为“1s”表示使用每秒代替速率；选择“Positive only”避免数字重置后出现负数。如果需要区分不同索引的情况，将“Group by”设置为“Terms”，“By”设置为“index_stats.index”，最终得到的聚合结果将按照索引名称区分。 图2 TSVB绘图页面 如果需要查看不同时间段的数据，则需要将时间聚合间隔设置好，否则将导致数据显示不完整。在“Panel options”页签，将“Interval”设置为“1m”或“30m”，即可调整“timestamp”的时间间隔。 图3 设置时间间隔

查看Dashboard图表 登录云搜索服务管理控制台。 在“集群管理”页面，选择已创建的集群，单击操作列“Kibana”，登录Kibana界面。 单击左侧导航栏的“Dashboard”，打开dashboard界面。 单击 “[Monitoring] Index monitoring Dashboard”查看预置dashboard。 图1 预置dashboard图表 预置dashboard展示集群的每秒读写数量和每秒读写数量前10的索引情况。 表1 预置图表说明 图表名称 说明 [monitoring] markdown Markdown图表，简单说明dashboard表达的内容。 [monitoring] Indexing Rate (/s) 集群每秒写入文档数。 [monitoring] Search Rate (/s) 集群每秒查询次数。 [monitoring] indexing rate of index for top10 每秒写入文档数最多的Top10索引。 [monitoring] search rate of index for top10 每秒查询次数最多的Top10索引。 [monitoring] total docs count 集群总文档数量变化。 [monitoring] total docs delete 集群总的删除文档数量变化。 [monitoring] total store size in bytes 集群总文档所占用的存储空间变化。 [monitoring] indices store_size for top10 占用存储空间最多的Top10索引。 [monitoring] indices docs_count for top10 文档数量最多的Top10索引。 [monitoring] indexing time in millis of index for top10(ms) 单位时间内文档写入时延最大的Top10索引（ms）。 [monitoring] search query time in millis of index for top10(ms) 单位时间内索引查询时间最大的Top10索引（ms）。 [monitoring] segment count of index for top10 索引Segment数量最多的Top10索引。 [monitoring] segment memory in bytes of index for top10 索引Segment占用堆内存最大的Top10索引。 索引监控不允许删除monitoring-eye-css-* 的index pattern，否则会导致监控图表异常。

删除快照 当快照信息不需要使用时，您可以删除快照释放存储资源。当自动创建快照功能开启时，自动创建的快照无法手动删除，系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。当自动创建快照功能关闭，且之前已自动创建的快照并未同步删除时，快照列表中自动创建的快照，可通过删除按钮手动删除。如果未手动删除，且之后用户又重新开启了自动创建快照功能，那么此集群中所有“快照类型”为自动创建的快照（包含开启自动创建快照功能前已存在的自动创建的快照）都无法手动删除，只会被系统自动删除。 快照信息删除后，数据将无法恢复，请谨慎操作。 在快照管理页面中，选择需要删除的快照。 单击“操作”列的“删除”，在弹窗中确认要删除的快照信息后，单击“确定”删除快照。 父主题： 备份与恢复索引

约束限制 要确保缩容之后的磁盘使用量小于80%，且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群，在不同AZ中同类型节点个数的差值要小于等于1。 关于没有Master节点的集群，每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半，缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 关于有Master节点的集群，每次缩容的Master节点个数要小于当前Master节点总数的一半，缩容后的Master节点个数必须是奇数且不小于3。

在Kibana查询 登录云搜索服务控制台。 在集群管理列表，选择需要查看插件的集群，单击操作列的“Kibana”登录Kibana界面。 非安全模式的集群：将直接进入Kibana操作界面。 安全模式的集群：需要在登录页面输入用户名和密码，单击“Log In”进入Kibana操作界面。用户名默认为admin，密码为创建集群时设置的管理员密码。 进入Dev Tools，执行如下命令查看集群插件信息： GET _cat/plugins?v 响应体示例如下： name component version css-test-ess-esn-1-1 analysis-dynamic-synonym 7.6.2-xxxx-ei-css-v1.0.1 css-test-ess-esn-1-1 analysis-icu 7.6.2-xxxx-ei-css-v1.1.6 css-test-ess-esn-1-1 analysis-ik 7.6.2-xxxx-ei-css-v1.0.1 ...... “name”是集群的节点名称，“component”是插件名称，“version”是插件版本。

背景信息 重启集群支持快速重启和滚动重启。 快速重启 所有集群都支持。 当选择“节点类型”快速重启时，所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时，一次只能重启一个节点。 快速重启过程中，集群不可用。 滚动重启 仅当集群的节点数量（含Master节点、Client节点和冷数据节点）大于等于3时，才支持滚动重启。 滚动重启只支持根据“节点类型”进行重启。选择节点类型滚动重启时，所选类型的节点会依次重启。 滚动重启过程中，只有正在重启的节点不可用，不在重启过程中的节点可以正常提供服务。 当数据量比较大时，滚动重启耗时较长。

约束限制 最多同时支持20个集群升级，建议在业务低峰期进行升级操作。 待升级的集群不能存在正在进行中的任务。 升级任务一旦启动就无法中止，直到升级任务的“任务状态”显示“失败”或“成功”才结束。 升级过程中，存在节点替换的过程，此时如果有请求发送到替换中的节点，请求可能会失败。为防止该情况出现，建议通过终端节点服务或者独享型负载均衡器接入集群进行访问。 升级过程中会重建Kibana和Cerebro组件，重建过程中，Kibana和Cerebro可能会访问失败。而且，由于不同Kibana版本相互不兼容，升级过程中Kibana还可能因为版本不兼容而无法访问。访问失败的问题，待集群升级成功后会自动恢复。

升级前检查 为了保证升级成功，需要做升级前检查，升级前检查主要包括如下事项： 表2 升级前检查项 检查项 检查方式 描述 正常状态 集群状态 系统检查 升级任务启动后，系统会自动检查集群状态。集群状态为green或者yellow，表示集群可以正常提供服务，不存在未分配的主分片。 “集群状态”为“可用”。 节点个数 系统检查 升级任务启动后，系统会自动检查节点个数。为了保证业务的连续性，集群中数据节点和冷数据节点的个数之和要不小于3。 集群的数据节点和冷数据节点个数之和 ≥ 3 磁盘容量 系统检查 升级任务启动后，系统会自动检查磁盘容量。升级过程中会逐一下线节点再新建节点，需要保证单节点下线后，其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后，剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中，防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和 数据备份 系统检查 升级前要做好数据备份，防止升级故障数据丢失。在提交升级任务时，可以选择是否需要系统检查全量索引的快照备份。 确认是否存在数据备份。 资源充足 系统检查 升级任务启动后，系统会自动检查资源。升级过程中会新建资源，需要保证有资源可用。 资源可用且配额充足。 自定义插件 系统检查+人工检查 历史版本的集群装有自定义插件才需要进行该项检查。如果集群装有自定义插件，则需要在插件管理界面上传目标版本的所有插件包，升级过程中才能将自定义插件转入新节点中，否则集群升级成功后，自定义插件将丢失。升级任务启动后，系统会自动检查是否已经上传自定义插件包，但是上传的插件包是否正确需要人工检查。 说明： 如果上传的插件包不正确或者不兼容将导致升级过程中无法自动安装插件包，升级任务会失败。如果需要恢复集群，可以终止升级任务，执行指定节点替换操作，修复当前升级失败的节点。 升级完成后，自定义插件对应的“插件状态”将会重置为“已上传”状态。 装有自定义插件的集群已经把对应版本的插件包上传到升级插件列表中。 自定义配置 系统检查 升级过程中，系统会自动同步集群配置文件“elasticsearch.yml”中的内容。 如果集群有自定义的参数配置，升级完成后，配置都未丢失。 非标操作 人工检查 确认是否存在非标操作。非标操作指的是没有被记录下来的手动操作，这些操作在升级过程中无法自动传递，比如“Kibana.yml”配置文件修改、系统配置、回程路由等。 有些非标操作是兼容的，例如安全插件的修改，可以通过元数据保留下来；系统配置修改，可以通过镜像的操作保留下来。但是有些非标操作例如“kibana.yml”文件修改就无法保留，需要提前备份。 兼容性检测 系统检查+人工检查 跨版本升级的升级任务启动后，系统会自动检测集群升级前后两个版本是否有不兼容配置。如果集群装有自定义插件，则自定义插件的版本兼容性需要人工检测。 跨版本升级时，升级前后没有不兼容的配置。

场景描述 升级原理 升级过程采用的是one-by-one的方式，不会中断业务。升级时，先下线一个节点，将该节点的数据迁移到其余节点，再创建一个目标版本的新节点，将已下线节点的网卡port挂载到新节点，以此保留节点IP地址，待新节点加入到集群后，再依次将其余节点进行替换。当集群的数据量很大时，升级耗时将依赖数据迁移耗时。 升级流程 升级前检查 手动创建快照 创建升级任务 版本限制 待升级的集群版本不同，支持升级的目标版本也不同，具体请参见表1。 表1 版本升级的版本限制 当前版本 目标版本 Elasticsearch：6.2.3 Elasticsearch：6.5.4，6.8.23 Elasticsearch：6.5.4 Elasticsearch：6.8.23 Elasticsearch：6.8.23 Elasticsearch：7.6.2，7.10.2 Elasticsearch：7.1.1 Elasticsearch：7.6.2，7.10.2 Elasticsearch：7.6.2 Elasticsearch：7.10.2 Elasticsearch：7.9.3 Elasticsearch：7.10.2 Elasticsearch：7.10.2 OpenSearch：1.3.6 说明： ELasticsearch集群以7.6.2 和7.10.2为主力版本，建议其他版本的集群收编到该版本。实际支持的目标版本请以升级页面中“目标镜像”的可选值为准。 5.x版本的ELasticsearch集群不支持跨版本升级，6.2.3和6.5.4版本Elasticsearch集群可先升级到6.8.23版本，再升级到7.x.x版本。 当前仅支持7.10.2版本Elasticsearch集群跨引擎升级至1.3.6版本OpenSearch集群。

约束限制 一次只能选择一个节点进行替换。 节点替换过程会按照原节点的ID、IP地址、规格、AZ等信息重建节点。 节点替换过程中不会保留手动操作。例如被替换的节点手动加过回程路由，那么节点替换完成后，需要重新添加回程路由。 如果替换的是数据节点（ess）或冷数据节点（ess-cold），需要确认集群/节点是否满足以下条件： 替换数据节点或冷数据节点的过程中，会先将被替换节点的数据迁移到其他数据节点，因此集群中每个索引的副本数和主分片数之和的最大值要小于集群的数据节点个数之和（含ess和ess-cold）。替换过程耗时跟数据迁移到其他节点的耗时强相关。 版本号在7.6.2以前的集群，不能有close的索引，否则不支持替换数据节点或冷数据节点。 被替换的数据节点或冷数据节点所在的AZ需要有两个及以上的数据节点（含ess和ess-cold）。 如果替换的数据节点或冷数据节点所在集群不存在Master节点（ess-master），则集群中可用的数据节点（含ess和ess-cold）个数要大于等于3。 如果替换的是Master节点（ess-master）或Client节点（ess-client），则不受以上四条约束。 如果替换的是故障节点，不管什么类型都不受以上四条约束。因为故障节点不包含在“_cat/nodes”中。

约束限制 扩容操作不支持修改“节点规格”。 扩容什么节点类型的“节点数量”和“节点存储容量”，扩容完成后只生效该节点类型的“节点数量”和“节点存储容量”，其他节点类型的“节点数量”和“节点存储容量”保持不变。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 当集群包含的节点类型不同时，扩容的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

参数说明 表1 kibana创建用户和授权 参数 描述 Permission 单个动作，例如创建索引（例如indices:admin/create）。 Action group 操作组 一组权限。例如，预定义的SEARCH操作组授权角色使用_search和_msearchAPI。 Role 角色 角色定义为权限或操作组的组合，包括对集群，索引，文档或字段的操作权限。 Backend role 后端角色 （可选）来自授权后端的其他外部角色（例如LDAP / Active Directory）。 User 用户 用户可以向Elasticsearch集群发出操作请求。用户具有凭证（例如，用户名和密码）、零个或多个后端角色以及零个或多个自定义属性。 Role mapping 角色映射 用户在成功进行身份验证后会担任角色。角色映射，就是将角色映射到用户（或后端角色）。例如，kibana_user（角色）到jdoe（用户）的映射意味着John Doe在获得kibana_user身份验证后获得了所有权限。同样，all_access（角色）到admin（后端角色）的映射意味着具有后端角色admin（来自LDAP / Active Directory服务器）的任何用户都获得了all_access身份验证后的所有权限。您可以将每个角色映射到许多用户和/或后端角色。 OpenSearch Dashboard中可以自定义用户名、角色名、租户名等，但不能包含中文字符。

操作步骤 登录云搜索服务管理控制台。 在“集群管理”页面选择目标集群，单击操作列“Kibana”，登录Kibana界面。 单击左侧导航栏的“Dev Tools”，执行命令开启或关闭内存流控。 开启内存流控 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": true, "flowcontrol.memory.allow_path": "/index/_search", "flowcontrol.memory.heap_limit": "85%" } } 开启单个请求Path的内存流控 基于单个索引和请求Path设置堆内存使用阈值，可以基于此规则做优先级调度。 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": true, "flowcontrol.memory": { "flowcontrol_search": { "filter_path": "index1/_search", "heap_limit": "50%" }, "flowcontrol_bulk": { "filter_path": "index*/_bulk", "heap_limit": "50%" } } } } 删除单个请求Path的内存流控配置 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": true, "flowcontrol.memory": { "flowcontrol_search": { "filter_path": null, "heap_limit": null } } } } 关闭集群内存流控 PUT /_cluster/settings { "persistent": { "flowcontrol.memory.enabled": false } }

热启动配置文件 Logstash服务已在运行时，可以选择热启动功能增加管道。 使用logstash stdin插件的配置文件禁止使用热启动功能。 使用热启动功能时，如果配置文件热启动失败且导致logstash进程异常退出，会进行恢复机制重新启动原logstash进程，请谨慎操作。 只能选择一个配置文件进行热启动，且在管道列表中状态为“工作中”的配置数量小于20个。 选择一个需要热启动的配置文件，单击左上角的“热启动”。 对话框中“是否保持常驻”的值默认与管道列表中的“是否保持常驻”值保持一致。 单击“确定”，开始热启动配置文件。 可以在管道列表看到热启动的配置文件。

连通性测试 在使用Logstash集群迁移数据时，可以先测试下数据源和Logstash集群的网络是否连通。用户也可以输入数据输出端（output）的IP地址或域名和端口号，测试该Logstash集群和数据输出端的网络是否连通。 登录云搜索服务管理控制台。 在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”，或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。 在配置中心页面，选择“连通性测试”。 输入数据来源的IP地址或域名和端口号，单击“测试”。 图1 连通性测试 连通性测试最多可一次性测试10个IP地址或域名。您可以单击“继续添加”，添加多个IP地址或域名，然后单击“批量测试”，进行一次性测试多个IP地址或域名的连通性。

启动配置文件 配置文件创建完成后，在配置中心页面可以看到创建成功的配置文件。 选择需要启动的配置文件，单击左上角的“启动”。 配置文件可以同时选择多个进行启动，一次不能超过50个。 在“启动Logstash服务”对话框中，根据业务需要，选择“是否保持常驻”。 开启“保持常驻”适用于需要长期运行的业务，开启“保持常驻”以后，将会在每个节点上面配置一个守护进程，当logstash服务出现故障的时候，会主动拉起并修复。“保持常驻”不适用于短期运行的业务，短期业务开启保持常驻，如果源端无数据，会导致任务失败。 单击“确定”，开始启动配置文件。 可以在管道列表看到启动的配置文件。 您也可以单击“操作记录”或“运行日志”，查看配置文件的相关操作记录和运行日志信息。

创建配置文件 登录云搜索服务管理控制台。 在“集群管理”页面，选择Logstash类型集群，单击需要配置数据导入导出文件的集群名称，进入集群基本信息页面，选择“配置中心”页签，进入配置中心页面；或者直接单击目标集群操作列的“配置中心”，进入配置中心页面。 单击右上角“创建”，进入创建配置文件页面。 您可以选择系统模板或者自定义模板方式创建，也可以直接进行创建配置文件。 如果选择模板方式，可以直接单击对应的模板操作列的“应用”，然后在“名称”、“配置文件内容”和“隐藏内容列表”中进行命名和修改。 目前支持的系统模板类型有： redis： 从redis数据库导入数据到Elasticsearch类型集群。 elasticsearch：从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 jdbc：从jdbc导入数据到Elasticsearch类型集群。 kafka：从kafka导入数据到Elasticsearch类型集群。 beats：从beats导入数据到Elasticsearch类型集群。 dis：从dis导入数据到Elasticsearch类型集群。 各个模板的参数配置请参考系统模板配置参数说明。 如果直接创建配置文件，在“名称”和“配置文件内容”参数中直接输入对应内容即可。创建的配置文件内容大小不能超过100k。支持创建配置文件个数不超过50个。 隐藏内容列表：输入需要隐藏的敏感字串列表，按Enter创建；配置隐藏字符串列表后，在返回的配置内容中，会将所有在列表中的字串隐藏为***（列表最大支持20条，单个字串最大长度512字节）。 配置完成后，单击“下一页”，配置参数。 配置文件在迁移数据时管道中的配置。 表1 参数说明 参数 说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为1-20之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。 pipeline.batch.delay 创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。 queue.checkpoint.writes 如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。 queue.max_bytes 如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。 单位：MB。 配置完成后，单击“创建”。 在配置中心页面可以看到创建的配置文件，状态为“可用”，表示创建成功。您还可以在操作列对创建的配置文件进行编辑、添加到自定义模板、删除等操作。 编辑：单击操作列的“编辑”，可以修改配置文件的内容及配置参数。 添加到自定义模板：可以将当前创建的配置文件，作为模板添加到自定义模板中，方便下次创建配置文件时使用。 删除：如果不需要此配置文件，可以通过操作列进行删除。

变更策略 您可以更改任何托管索引策略，但是ISM有一些约束条件可以确保策略更改不会破坏索引。 如果索引卡在其当前状态，永不进行，并且您想立即更新其策略，请确保新策略包括与旧策略相同的状态（名称，操作，顺序相同）。在这种情况下，即使策略处于执行操作中，ISM也会应用新策略。 如果在不包含相同状态的情况下更新策略，则ISM仅在当前状态下的所有操作执行完成后才更新策略。或者，您可以在旧策略中选择特定状态，然后让新策略生效。 在Kibana中更改更改政策，操作步骤如下： 在Managed indices下，选择需要更换新策略的索引。 单击右上角的Change policy，进入Choose managed indices页面，选择更换新策略的相关信息 。 表1 更换索引策略参数信息 参数 说明 Managed indices 选择需要更换策略的索引名称。支持选择多个索引。 State filters 选择索引状态。选择后，会将新策略附加到处于特定状态的索引。 New policy 选择新策略。 选择完成后，单击Change。 父主题： 管理索引

背景信息 如果您要以按需计费或者包年包月方式使用集群，则直接创建集群。 新建集群时，当设置不同节点类型时支持的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

背景信息 重启集群支持快速重启和滚动重启。 快速重启 所有集群都支持。 当选择“节点类型”快速重启时，所选类型的所有节点会一起重启。 当选择“节点名称”快速重启时，一次只能重启一个节点。 快速重启过程中，集群不可用。 滚动重启 仅当集群的节点数量（含Master节点、Client节点和冷数据节点）大于等于3时，才支持滚动重启。 滚动重启只支持根据“节点类型”进行重启。选择节点类型滚动重启时，所选类型的节点会依次重启。 滚动重启过程中，只有正在重启的节点不可用，不在重启过程中的节点可以正常提供服务。 当数据量比较大时，滚动重启耗时较长。

注意事项 开启Bulk本地shard优先路由优化和开启Bulk路由优化后，数据写入不再根据_id进行路由，与路由的相关功能使用会受限，比如根据_id进行文档GET请求可能失败。Bulk本地shard优先路由优化依赖客户端Bulk请求的随机打散和主shard的均衡分布。 开启“index.native_speed_up”文本索引加速功能后不再支持index_sorting。 开启“index.native_analyzer”配置的前提条件： 已开启“index.native_speed_up”配置。

步骤二：使用关键词搜索 创建索引“book”，配置分词策略。 示例中“analyzer”和“search_analyzer”可以根据实际需要“ik_max_word”或“ik_smart”分词策略，此处以“ik_max_word”为例。 PUT /book { "settings": { "number_of_shards": 2, "number_of_replicas": 1 }, "mappings": { "properties": { "content": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_max_word" } } } } 导入数据，将文本信息导入“book”索引中。 PUT /book/_doc/1 { "content":"智能手机是很好用" } 使用关键词“智能手机”进行文本搜索，并查看搜索结果。 GET /book/_doc/_search { "query": { "match": { "content": "智能手机" } } } 搜索结果： { "took" : 16, "timed_out" : false, "_shards" : { "total" : 2, "successful" : 2, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 1.7260926, "hits" : [ { "_index" : "book", "_type" : "_doc", "_id" : "1", "_score" : 1.7260926, "_source" : { "content" : "智能手机是很好用" } } ] } }

步骤三：使用同义词搜索 创建索引“myindex”，配置分词策略。 PUT myindex { "settings": { "analysis": { "filter": { "my_synonym": { "type": "dynamic_synonym" } }, "analyzer": { "ik_synonym": { "filter": [ "my_synonym" ], "type": "custom", "tokenizer": "ik_smart" } } } }, "mappings": { "properties": { "desc": { "type": "text", "analyzer": "ik_synonym" } } } } 导入数据，将文本信息导入“myindex”索引中。 PUT /myindex/_doc/1 { "desc": "我今天获奖了我很开心" } 使用同义词“高兴”进行文本搜索，并查看搜索结果。 GET /myindex/_search { "query": { "match": { "desc": "高兴" } } } 搜索结果： { "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 0.1519955, "hits" : [ { "_index" : "myindex", "_type" : "_doc", "_id" : "1", "_score" : 0.1519955, "_source" : { "desc" : "我今天获奖了我很开心" } } ] } }

创建集群时配置公网访问 登录云搜索服务管理控制台。 在创建集群页面，开启“安全模式”。设置管理员密码，并启用HTTPS访问。 “公网访问”选择“自动绑定”，配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。