华为云用户手册

创建集群时配置公网访问 登录 云搜索服务 管理控制台。 在创建集群页面，开启“安全模式”。设置管理员密码，并启用HTTPS访问。 “公网访问”选择“自动绑定”，配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。

已有集群公网访问管理 您可以对已经创建集群的公网访问进行修改，查看，解绑，也可以配置公网访问。 登录 云搜索 服务管理控制台。 在集群管理页面，单击需要配置公网访问的集群名称，进入集群基本信息页面，管理公网访问相关配置。 图2 修改公网访问相关配置 配置公网访问 如果创建安全集群时，开启了HTTPS访问但未配置公网访问，集群创建成功后，可以在集群基本信息页面配置公网访问。 单击“公网访问”参数右侧的“绑定”，设置访问带宽后，单击“确定”。 如果绑定失败，用户可以等待几分钟后，再次尝试重新绑定公网访问。 修改 对已经配置了公网访问的集群，可以通过单击“带宽”参数右侧的“修改”，修改带宽大小，也可以通过单击“访问控制”右侧的“设置”，设置访问控制开关和访问白名单。 查看 在“基本信息”页面，可以查看当前集群绑定的公网IP地址。 解绑 对于已经绑定的公网IP，可以通过单击“公网访问”参数右侧的“解绑”，解绑公网IP。

通过公网IP接入集群 公网访问配置完成后，集群将会获得一个“公网访问”的IP地址，用户可以通过公网IP地址和端口接入集群。 例如，查看集群中的索引信息，集群中某一个节点的公网访问地址为“10.62.179.32”，端口为“9200”，使用curl执行如下命令。 如果接入集群未启用安全模式，接入方式为： curl 'http://10.62.179.32:9200/_cat/indices' 如果接入集群已启用安全模式，则需要使用https方式访问，并附加用户名和密码，在curl命令中添加-u选项。 curl -u username:password -k 'https://10.62.179.32:9200/_cat/indices'

创建集群时配置公网访问 登录云搜索服务管理控制台。 在创建集群页面，开启“安全模式”。设置管理员密码，并启用HTTPS访问。 “公网访问”选择“自动绑定”，配置公网访问相关参数。 图1 创建集群时配置公网访问 表1 公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。

创建集群时配置Kibana公网访问 登录云搜索服务管理控制台。 单击右上角的“创建集群”，进入创建集群页面。 在创建集群页面，开启“安全模式”。 “高级配置”选择“自定义”后，开启Kibana公网访问，配置相关参数。 表1 Kibana公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 取值范围：1-100。 单位：Mbit/s。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 集群创建成功后，单击集群名称，进入集群基本信息页面，在“Kibana公网访问”页签，可以查看kibana公网访问地址。

通过公网IP访问Kibana Kibana公网访问配置完成后，将会获得一个Kibana公网访问地址，用户可以通过此IP地址访问集群的Kibana。 登录云搜索服务管理控制台。 在集群管理页面，单击需要配置Kibana公网访问的集群名称，进入集群基本信息页面。 选择“Kibana公网访问”，获取kibana公网访问地址。 图1 获取Kibana公网访问地址 通过该地址，就可以在公网上面访问云搜索服务集群的Kibana。

修改Kibana公网访问 对已经配置了Kibana公网访问的集群，云搜索服务支持修改带宽、修改访问控制和关闭Kibana公网访问。 登录云搜索服务管理控制台。 在集群管理页面，单击需要修改Kibana公网访问的集群名称，进入集群基本信息页面。 选择“Kibana公网访问”，修改Kibana公网访问。 修改带宽 单击“带宽”参数右侧的“修改”，在“修改Kibana公网访问带宽”页面修改带宽大小，修改完成后，单击“确定”。 修改访问控制 单击“访问控制开关”右侧的“修改”，在“修改Kibana公网访问控制”页面设置“访问控制开关”和访问“白名单”，修改完成后，单击“确定”。 关闭Kibana公网访问 在“Kibana公网访问”右侧单击开关，确认关闭Kibana公网访问功能。

已有集群开启Kibana公网访问 您可以对已经创建的安全模式集群的Kibana公网访问进行开启、关闭、修改、查看等操作。 登录云搜索服务管理控制台。 在集群管理页面，单击需要配置Kibana公网访问的集群名称，进入集群基本信息页面。 选择“Kibana公网访问”，在“Kibana公网访问”右侧单击开关，打开Kibana公网访问功能。 在开启Kibana公网访问页面，配置相关参数。 表2 Kibana公网访问参数说明 参数 说明 带宽 设置公网访问的带宽。 取值范围：1-100。 单位：Mbit/s。 访问控制开关 如果关闭访问控制开关，则允许任何IP通过公网IP访问集群Kibana。如果开启访问控制开关，则只允许白名单列表中的IP通过公网IP访问集群Kibana。 白名单 设置允许访问的IP地址或网段，中间用英文逗号隔开。仅当打开“访问控制开关”时才需要配置。 建议开启白名单。 配置完成后，单击“确定”。

低基字段分组聚合 对低基字段，在排序的情况下，具备较好的数据聚簇性，利于向量化优化处理。假如有如下查询语句： POST testindex/_search { "size": 0, "aggs": { "groupby_region": { "terms": { "field": "region" }, "aggs": { "groupby_host": { "terms": { "field": "host" }, "aggs": { "avg_cpu_usage": { "avg": { "field": "cpu_usage" } } } } } } } } 假设region和host为低基字段，如果要使用聚合增强特性，那么设置如下： 聚簇键必须是排序键的前缀子集。 // 索引设置 "settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "region", "host", "other" ] }, "cluster" : { "field" : [ // 指定聚簇键 "region", "host" ] } } } 父主题： 聚合增强

可用区中断的行为分析 当创建集群时，选择两个或三个AZ，如果一个AZ故障，业务故障行为分析如表2所示。 表2 AZ故障的业务故障行为分析 选择的AZ数量 开启主节点个数 业务中断行为 2 0 如果节点个数为2的倍数： 一半的数据节点故障，需要替换故障可用区中的一个节点，才能继续选择主节点。 如果节点数为奇数： 故障AZ含多一个节点，需要替换故障可用区中一个节点，才能继续选择主节点。相关替换请联系技术支持。 故障AZ含少一个节点，不中断业务，能够继续选择主节点。 2 3 有50%机会的停机时间。当两个专用主节点分配到一个可用区中，一个主节点分配到另一个可用区中时： 如果具有一个专用主节点的可用区遇到中断，则剩余可用区具有两个专用主节点，这两个专用主节点可以选择出主节点。 如果具有两个专用主节点的可用区遇到中断，剩余可用区只有一个专用主节点，无法选择出主节点，业务中断，需要联系技术支持。 3 0 当您选择3个可用区，节点个数为4，三个可用区的节点分布数为2，1，1，如果节点个数为2的可用区故障，那么此时业务中断，建议您选择三个可用区时避免选择4个节点。 一般不会出现业务中断时间。 3 3 无业务中断时间。

设置副本 设置副本能有效的利用AZ的高可用能力。 在跨两个可用区的部署中，当其中一个AZ不可用时，剩下的AZ需要继续提供服务，因此索引的副本个数至少为1个。由于Elasticsearch默认副本数为1个，因此如果您对读性能没有特殊要求，可以直接使用默认值。 在跨三个可用区部署中，为了保证其中任意一个AZ不可用时，剩余的AZ需要继续提供服务，因此索引的副本数至少要为1个。为了提高集群的查询能力，也可以设置更多的副本。由于Elasticsearch默认的副本数为1个，因此需要用户修改setting配置来实现修改索引副本个数。 可以通过如下命令修改索引的副本个数，如： curl -XPUT http://ip:9200/{index_name}/_settings -d '{"number_of_replicas":2}' 也可以通过在模板中指定所有索引的副本个数，如： curl -XPUT http://ip:9200/ _template/templatename -d '{ "template": "*", "settings": {"number_of_replicas": 2}}' ip：内网访问地址。 index_name：索引名称。 number_of_replicas：修改后的索引副本个数。命令中的取值表示修改为2个索引副本。

选择节点数 当创建集群时，选择了两个或者三个可用区时， CSS 服务将自动为开启跨AZ高可用特性，节点将会被均衡的分布在不同的AZ，不同节点数量的AZ分布情况可以参见表1。 创建集群时，选择的节点数量要大于等于AZ数量，否则不支持跨AZ部署。 部署跨AZ集群时，如果选择了“启用Master节点”，Master节点也会被均匀的分布在不同的AZ上。 系统分配的节点，满足各个AZ之间节点数量差小于等于1。 表1 节点数量和AZ分布 集群节点个数 单AZ 两AZ 三AZ AZ1 AZ1 AZ2 AZ1 AZ2 AZ3 1个节点 1 不支持 不支持 2个节点 2 1 1 不支持 3个节点 3 2 1 1 1 1 4个节点 4 2 2 2 1 1 … … … … … … …

授权 在kibana使用界面您可以在Security菜单中控制用户在ES集群中的权限，并且可以针对集群、索引、文档和字段四个级别进行分层权限设置。详细操作请参见使用Kibana创建用户并授权。 您可以增删用户，并将用户映射到角色类型设置权限。 图1 用户设置 可以使用角色映射配置角色成员，可使用用户名、后端角色和主机名将用户分配给角色。 图2 角色映射 可以设置每种角色的集群访问权限、索引和文档访问权限以及kibana租户。 图3 角色权限设置 可以设置操作组，并将操作组分配给角色配置角色对索引和文档类型的访问权限。 图4 操作组设置 可以查询集群当前设置的身份验证及授权模块的参数。使用securityadmin命令行可修改相关配置。 图5 集群参数查看 最后，安全模块还为您提供了清除所有安全缓存的功能。 图6 安全缓存清除

通过标签搜索集群 登录云搜索服务管理控制台。 在集群管理页面，单击集群列表右上角的“标签搜索”。 选择或输入需要搜索的标签键和标签值，单击“添加”将标签加入搜索输入框中。 标签键和标签值仅支持从下拉列表中选择，当标签键和标签值全匹配时，系统可以自动查询到目标集群。当有多个标签条件时，会取各个标签的交集，进行集群查询。 系统最多支持10个不同标签的组合搜索。 单击“搜索”。 系统根据标签键和标签值搜索目标集群。

新建集群的标签管理 登录云搜索服务管理控制台。 单击右上角的“创建集群”，进入创建集群页面。 在创建集群页面，“高级配置”选择“自定义”后，为集群添加标签。 您可以选择预定义标签，并为此标签设置“标签值”。您可以单击“查看预定义标签”，进入“标签管理服务”，了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置10个标签。当设置不正确时，可单击标签右侧的“删除”按钮，删除此标签。当不设置标签时，可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群，标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @/。不能以空格开头和结尾。 不能为空。

已有集群的标签管理 您可以对已经创建的集群的标签进行修改，删除，也可以添加标签。 登录云搜索服务管理控制台。 在集群管理页面，单击待管理标签的集群名称。 系统跳转至该集群“基本信息”页面。 左侧菜单栏选择“标签”，在此可以对集群标签进行添加，修改，删除操作。 查看 在“标签”页，可以查看当前集群的标签详情，包括标签个数，以及每个标签的键和值。 添加 单击左上角的“添加标签”，在弹出的“添加标签”窗口，输入新添加标签的键和值，并单击“确定”。 修改 只能修改已有标签的标签值。 单击标签所在行“操作”列下的“编辑”，在弹出的“编辑标签”窗口，输入修改后标签值，并单击“确定”。 删除 单击标签所在行“操作”列下的“删除”，如果确认删除，在弹出的“删除标签”窗口，单击“确定”。

高基字段直方图聚合 对于高基字段来说，做单点的分组聚合意义不大，一般都是对高基字段做直方图分组聚合，比如统计某个长度时间间隔的日志数。假如有如下查询语句： POST testindex/_search?pretty { "size": 0, "aggs": { "avg_score": { "avg": { "field": "score" }, "aggs": { "groupbytime": { "date_histogram": { "field": "timestamp", "calendar_interval": "day" } } } } } } 这条查询时对时间字段timestamp做直方图分组，然后求score的平均值。timestamp是典型的高基字段，如果要对上述查询使用聚合增强特性，那么设置如下： // 索引设置 "settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "timestamp" ] } } } 父主题： 聚合增强

创建集群时开启终端节点服务 登录云搜索服务管理控制台。 在右上方单击“创建集群”。 在创建集群页面，“高级配置”选择“自定义”后，开启终端节点服务。 图1 开启终端节点服务 “创建内网域名”：如果开启，系统将会自动为用户创建一个内网域名，可以通过内网域名访问集群。 “终端节点服务白名单”：您可以在“终端节点服务白名单”中添加需要授权的账号ID，只要其账号ID被添加到终端节点服务白名单中，就可以通过内网域名或者节点IP访问集群。 单击“添加”可以添加多个账号。 单击“操作”列的“删除”，可以删除不允许访问的账号。 授权账号ID配置成*，则表示允许全部用户访问该集群。 需要授权的账号ID可在“我的凭证”中进行查看。 集群开启终端节点服务之后，终端节点将按需进行收费，终端节点的费用将由用户进行支付，详细的计费方式请参考终端节点计费说明。

通过内网域名或节点IP访问集群 获取内网域名或者节点IP。 登录云搜索服务控制台，进入集群列表，单击集群名称，进入集群“基本信息”页面，选择“终端节点服务”，查看内网域名。 图3 查看节点IP和内网域名信息 在弹性云服务器中，直接通过curl执行API或者开发程序调用API并执行程序即可使用集群。Elasticsearch操作和接口请参见《Elasticsearch：权威指南》。 弹性云服务器需要满足如下要求： 为弹性云服务分配足够的磁盘空间。 此弹性云服务器的VPC需要与集群在同一个VPC中，开通终端节点服务后，可以实现跨VPC访问。 此弹性云服务器的安全组需要和集群的安全组相同。 如果不同，请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许集群所有安全组的访问。修改操作请参见配置安全组规则。 待接入的 CS S集群，其安全组的出方向和入方向需允许TCP协议及9200端口，或者允许端口范围包含9200端口。 例如，使用curl执行如下命令，查看集群中的索引信息，集群中的内网访问地址为“vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com”，端口为“9200”。 如果接入集群未启用安全模式，接入方式为： curl 'http://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices' 如果接入集群已启用安全模式，则需要使用https方式访问，并附加用户名和密码，在curl命令中添加-u选项。 curl -u username:password -k 'https://vpcep-7439f7f6-2c66-47d4-b5f3-790db4204b8d.region01.huaweicloud.com:9200/_cat/indices'

修改企业项目 针对之前已创建的集群，其绑定的企业项目可根据实际情况进行修改。 登录在云搜索服务管理控制台， 在左侧导航栏，选择对应的集群类型，进入集群管理页面。 在集群列表中，单击集群名称进入集群“基本信息”页面。 在集群“基本信息”页面，单击“企业项目”右侧的企业项目名称，进入项目管理页面。 图1 进入企业项目管理页面 在“资源”页签下，“区域”选项中选择当前集群所在的区域，“服务”选项中选“云搜索服务 CSS”。此时，资源列表将筛选出对应的CSS集群。 图2 筛选CSS集群 勾选需要修改企业项目的集群，然后单击“迁出”。 在“迁出资源”页面，选择“迁出方式”，再选择“请选择要迁入的企业项目”，然后单击“确定”。 迁出完成后，可以在云搜索服务管理控制台集群管理页面，查看修改后的集群企业项目信息。

背景信息 CSS服务支持创建多种安全模式的集群，不同安全模式的差异请参见表1。 表1 集群安全模式对比 集群安全模式 适用场景 优点 缺点 非安全模式 适合内网业务，用于测试场景。 简单，接入集群容易。 安全性差，谁都可以访问集群。 安全模式+HTTP协议 可以实现用户权限隔离，适用于对集群性能敏感的场景。 访问集群需要安全认证，提升了集群安全性，且通过HTTP协议访问集群能保留集群的高性能。 无法公网访问集群。 安全模式+HTTPS协议 有非常高的安全要求，且需要公网访问集群的场景。 访问集群需要安全认证，提升了集群安全性，且HTTPS协议的通讯加密可以实现集群公网访问功能。 通过HTTPS协议访问集群，集群性能相对HTTP协议来说，会下降20%左右。

形态变更概述 CSS集群支持形态变更，包括集群扩容、集群规格变更、集群缩容等。当创建的集群规格不能满足业务需求时，可以通过形态变更，提高集群的使用效率，降低运维成本。 扩容 当集群数据节点（ess）的写入与查询压力大、响应时间过长时，可以通过扩容数据节点的“节点存储容量”保证数据的持久性。如果因数据量过大或操作不当导致数据节点状态异常时，可以扩容“节点数量”保证集群的可用性。 冷数据节点（ess-cold）主要用于分担ess数据节点的压力，当发现冷数据有丢失的风险时，可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性，同时也支持扩容节点个数保证集群的可用性。 变更规格 当新增索引或分片分配的处理时间过长，或管理集群各个节点的协调、调度不足时，可以变更Master节点（ess-master）的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时，需要变更Client节点（ess-client）的“节点规格”。 当数据的写入与查询突然变得缓慢时，可以变更数据节点（ess）的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时，可以变更冷数据节点（ess-cold）的“节点规格”提高对数据查询的效率。 缩容 当集群有充足的能力处理当前数据时，为节省资源可以随机减小集群占用的资源。 缩容指定节点 当集群有充足的能力处理当前数据时，为节省资源可以指定一个或多个节点进行缩容。 替换指定节点 当集群中的节点发生故障，可以通过删除故障节点，重建一个一样的新节点，实现指定节点替换。 添加Master/Client节点 当集群数据面业务增长，需要动态调整集群形态时，可以增加Master/Client节点。 更改安全模式 集群创建完成后，可以通过更改安全模式进行集群模式变更。CSS服务支持如下几种安全模式更改： 非安全模式切换为安全模式：“非安全模式”切换为“安全模式+HTTP协议”或“安全模式+HTTPS协议” 安全模式切换为非安全模式：“安全模式+HTTP协议”或“安全模式+HTTPS协议”切换为“非安全模式” 切换安全模式下的协议：“安全模式+HTTP协议”切换为“安全模式+HTTPS协议”、“安全模式+HTTPS协议”切换为“安全模式+HTTP协议” 切换可用区 切换可用区包含两大场景：可用区高可用改造和可用区平移切换。 可用区高可用改造：适用于单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ的场景，目的是为了提升集群的高可用性。 可用区平移切换：适用于从一个AZ完全迁移到另一个AZ的场景，目的是为了解决当前可用区资源不足的问题。 父主题： 集群形态变更

注意事项 集群快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 快照存储在OBS桶中需要额外收费，具体收费以 对象存储服务 为准。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。 快照在恢复过程中不可查询集群数据。 CSS集群快照恢复到另一个集群会覆盖标集群中的同名索引，不同名的索引不会覆盖。如果两个集群的shard不一样，则同名的索引不会被覆盖。 用于恢复的目的集群版本不得低于源端集群，一般保持一致版本即可。

前提条件 为方便操作，建议采用Linux操作系统的机器部署Logstash。 Logstash的下载路径为：https://www.elastic.co/cn/downloads/logstash-oss Logstash要求使用OSS版本，选择和CSS一致版本。 安装完Logstash后，再根据如下步骤导入数据。安装Logstash的操作指导，请参见：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 安装Logstash之前，需要先安装JDK。在Linux操作系统中，您可以执行yum -y install java-1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中，您可以访问JDK官网，下载符合操作系统版本的JDK，并根据指导安装。 在“Logstash部署在弹性云服务器上时导入数据”场景中，请确保此弹性云服务器与接入的Elasticsearch集群在同一个VPC下。

基本操作 Kibana（推荐） 登录Kibana，在DevTools中将请求发送到_opendistro/_sqlURI，可以使用请求参数或请求正文。 POST _opendistro/_sql { "query": "SELECT * FROM my-index LIMIT 50" } 默认情况下，查询返回JSON。您也可以选择CSV格式返回数据，选择CSV格式需要对format参数进行如下设置： POST _opendistro/_sql?format=csv { "query": "SELECT * FROM my-index LIMIT 50" } CSV格式返回数据时，每行对应一个文档，每列对应一个字段。 curl命令 您也可以在ECS中使用curl命令，来执行该SQL操作。 curl -XPOST https://localhost:9200/_opendistro/_sql -u username:password -k -d '{"query": "SELECT * FROM kibana_sample_data_flights LIMIT 10"}' -H 'Content-Type: application/json'

查询冷数据本地缓存API 您可以使用该API查询冷数据本地缓存的相关指标。 请求示例 GET /_frozen_stats/local_cache GET /_frozen_stats/local_cache/{nodeId} 响应示例 { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "elasticsearch", "nodes" : { "6by3lPy1R3m55Dcq3liK8Q" : { "name" : "node-1", "transport_address" : "127.0.0.1:9300", "host" : "127.0.0.1", "ip" : "127.0.0.1", "local_cache" : { "get_stats" : { "get_total_count" : 562, //从冷数据本地缓存查询数据的总次数 "get_hit_count" : 562, //从冷数据本地缓存查询数据命中的次数 "get_miss_count" : 0, //从冷数据本地缓存查询数据未命中的次数 "get_total_ns" : 43849200, //从冷数据本地缓存查询数据的总时长 "get_avg_ns" : 78023 //从冷数据本地缓存查询数据的平均时长 }, "load_stats" : { "load_count" : 2, //加载冷数据本地缓存的次数 "load_total_ms" : 29, //加载冷数据本地缓存的总时长 "load_avg_ms" : 14, //加载冷数据本地缓存的平均时长 "load_fail_count" : 0, //加载冷数据本地缓存的失败次数 "load_overflow_count" : 0 //加载冷数据本地缓存时超过缓存池的次数 }, "reload_stats" : { "reload_count" : 0, //重新生成冷数据本地缓存的次数 "reload_total_ms" : 0, //重新生成冷数据本地缓存的总时长 "reload_avg_ms" : 0, //重新生成冷数据本地缓存的平均时长 "reload_fail_count" : 0 //重新生成冷数据本地缓存的失败次数 }, "init_stats" : { "init_count" : 0, //初始化冷数据本地缓存的次数 "init_total_ms" : 0, //初始化冷数据本地缓存的总时长 "init_avg_ms" : 0, //初始化冷数据本地缓存的平均时长 "init_fail_count" : 0 //初始化冷数据本地缓存的失败次数 } } } } }

配置参数 配置项 类型 单位 取值范围 scope 是否可动态修改 作用 low_cost.local_cache.max.capacity Integer 无 10-5000，默认值500。 node 是 节点上，能够打开的冷数据缓存的最大数量。（每个shard对应一个缓存对象） 说明： 堆内存使用率一直很高，可以尝试降低该值。 如果查询冷数据本地缓存的相关统计指标中load_overflow_count数值一直持续快速增加，建议调大该值。 index.low_cost.local_cache.threshold Integer % 0-100，默认值50。 index 是 启用冷数据本地缓存的阈值。 说明： 如果date类型字段的占比小于此值。启用冷数据本地缓存date类型字段。否则不使用。 如果当前索引的date类型字段占据当前索引的绝大部分数据量，不建议使用此功能。 index.low_cost.local_cache.evict_time 字符串 天 1d-365d，默认值30d。 index 是 冷数据本地缓的淘汰时间。根据index.frozen_date（冻结成功的时间）判定。 说明： 如果为旧集群冻结的索引，无index.frozen_date，则根据索引创建时间判定。 建议根据磁盘用量调整淘汰时长，节省磁盘空间。

修改参数 修改low_cost.local_cache.max.capacity PUT _cluster/settings { "persistent": { "low_cost.local_cache.max.capacity":1000 } } 修改index.low_cost.local_cache.threshold PUT es_write_pref2-00000000021/_settings { "index.low_cost.local_cache.threshold":20 } 修改index.low_cost.local_cache.evict_time PUT es_write_pref2-00000000021/_settings { "index.low_cost.local_cache.evict_time":"7d" }

背景信息 如果您要以按需计费或者包年包月方式使用集群，则直接创建集群。 新建集群时，当设置不同节点类型时支持的节点数量区间会有区别，具体情况请参考表1。 表1 不同节点类型的节点数量说明 集群包含的节点类型 节点数量的取值范围 ess ess：1~32 ess、ess-master ess：1~200 ess-master：3~9的奇数 ess、ess-client ess：1~32 ess-client：1~32 ess、ess-cold ess：1~32 ess-cold：1~32 ess、ess-master、ess-client ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess、ess-master、ess-cold ess：1~200 ess-master：3~9的奇数 ess-cold：1~32 ess、ess-client、ess-cold ess：1~32 ess-client：1~32 ess-cold：1~32 ess、ess-master、ess-client、ess-cold ess：1~200 ess-master：3~9的奇数 ess-client：1~32 ess-cold：1~32 四种节点类型的说明： ess：默认节点类型，即创建集群时必选的数据节点类型，其他3种节点类型都是基于业务需要可选的类型。 ess-master：Master节点 ess-client：Client节点 ess-cold：冷数据节点

监控指标 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象：CSS集群。本章节介绍Elasticsearch集群的监控指标。Logstash集群所支持的监控指标请见Logstash集群支持的监控指标。 监控的监控周期（原始指标）：1分钟 累计值：从节点启动时开始叠加数值，当节点重启后清零重新累计。 表1 云搜索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） status 集群健康状态 该指标用于统计测量监控对象的状态。 0,1,2,3 0：集群是100%可用的。 1：数据是完整的，部分副本缺失。高可用性在某种程度上弱化，存在风险，请及时关注集群情况。 2：数据缺失，集群使用时将出现异常。 3：没有获取到集群状态。 CSS集群 1分钟 disk_util 磁盘使用率 该指标用于统计测量对象的磁盘使用率。 单位：百分比 0-100% CSS集群 1分钟 max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位：百分比。 0-100% CSS集群 1分钟 max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM Young GC耗时累计值的最大值。 单位：ms ≥ 0 ms CSS集群 1分钟 max_jvm_young_gc_count 最大JVM Young GC次数 CSS集群中各个节点的JVM Young GC次数累计值的最大值。 ≥ 0 CSS集群 1分钟 max_jvm_old_gc_time 最大JVM Old GC耗时 CSS集群中各个节点的JVM Old GC耗时累计值的最大值。 单位：ms ≥ 0 ms CSS集群 1分钟 max_jvm_old_gc_count 最大JVM Old GC次数 CSS集群中各个节点的JVM Old GC次数累计值的最大值。 ≥ 0 CSS集群 1分钟 total_fs_size 文件系统总大小 CSS集群的文件系统总大小。 单位：byte ≥ 0 bytes CSS集群 1分钟 free_fs_size 文件系统可用大小 CSS集群的文件系统可用大小。 单位：byte ≥ 0 bytes CSS集群 1分钟 max_cpu_usage 最大CPU利用率 CSS集群中各个节点的CPU利用率的最大值。 单位：百分比 0-100% CSS集群 1分钟 max_cpu_time_of_jvm_process 最大JVM进程使用的CPU时间 CSS集群中各个节点JVM进程使用CPU的时间累计值的最大值。 单位：ms ≥ 0 ms CSS集群 1分钟 max_virtual_memory_size_of_jvm_process 最大JVM进程使用的虚拟内存大小 CSS集群中各个节点JVM进程可使用的虚拟内存大小的最大值。 单位：byte ≥ 0 bytes CSS集群 1分钟 max_current_opened_http_count 最大当前打开的Http连接数 CSS集群中各个节点打开且尚未关闭的Http连接数的最大值。 ≥ 0 CSS集群 1分钟 max_total_opened_http_count 最大全部打开的Http连接数 CSS集群中各个节点打开过的Http连接数累计值的最大值。 ≥ 0 CSS集群 1分钟 indices_count 索引数量 CSS集群的索引数量。 ≥ 0 CSS集群 1分钟 total_shards_count 分片数量 CSS集群的分片数量。 ≥ 0 CSS集群 1分钟 primary_shards_count 主分片数量 CSS集群的主分片数量。 ≥ 0 CSS集群 1分钟 docs_count 文档数量 CSS集群的文档数量。 ≥ 0 CSS集群 1分钟 docs_deleted_count 被删除的文档数量 CSS集群的被删除的文档数量。 ≥ 0 CSS集群 1分钟 nodes_count 节点数量 CSS集群的节点数量。 ≥ 0 CSS集群 1分钟 data_nodes_count 数据节点数量 CSS集群的数据节点数量。 ≥ 0 CSS集群 1分钟 coordinating_nodes_count 协调节点数量 CSS集群的协调节点数量。 ≥ 0 CSS集群 1分钟 master_nodes_count Master节点数量 CSS集群的Master节点数量。 ≥ 0 CSS集群 1分钟 ingest_nodes_count Client节点数量 CSS集群的Client节点数量。 ≥ 0 CSS集群 1分钟 max_load_average 最大节点Load值 CSS集群中各个节点在操作系统中1分钟平均排队任务数的最大值。 ≥ 0 CSS集群 1分钟 avg_cpu_usage 平均CPU使用率 CSS集群中各节点CPU利用率的平均值。 单位：百分比 0-100% CSS集群 1分钟 avg_load_average 平均节点Load值 CSS集群中各节点在操作系统中1分钟平均排队任务数的平均值。 ≥ 0 CSS集群 1分钟 avg_jvm_heap_usage 平均JVM堆使用率 CSS集群中各节点JVM堆内存使用率的平均值。 单位：百分比 0-100% CSS集群 1分钟 max_open_file_descriptors 已打开的最大文件描述符数 CSS集群中各个节点已打开的文件描述符数的最大值。 ≥ 0 CSS集群 1分钟 avg_open_file_descriptors 已打开的平均文件描述符数 CSS集群中各节点已打开的文件描述符数的平均值。 ≥ 0 CSS集群 1分钟 sum_max_file_descriptors 最大允许的文件描述符数 CSS集群中各节点最大允许的文件描述符数之和。 ≥ 0 CSS集群 1分钟 sum_open_file_descriptors 已打开的文件描述符数 CSS集群中各节点已打开的文件描述符数之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_write_queue Write队列中总排队任务数 写入线程池中的排队任务数。 ≥ 0 CSS集群 1分钟 sum_thread_pool_search_queue Search队列中总排队任务数 CSS集群中各节点在搜索线程池中的排队任务数之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_force_merge_queue ForceMerge队列中总排队任务数 CSS集群中各节点在强制合并线程池中的排队任务数之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_write_rejected Write队列中总的已拒绝任务数 CSS集群中各节点在写入线程池中的已拒绝任务数之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_search_rejected Search队列中总的已拒绝任务数 CSS集群中各节点在搜索线程池中的已拒绝任务数之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_force_merge_rejected Forcemerge队列中总的已拒绝任务数 CSS集群中各节点在强制合并线程池中的已拒绝任务数之和。 ≥ 0 CSS集群 1分钟 max_thread_pool_search_queue Search队列中最大排队任务数 CSS集群中各个节点在搜索线程池中的排队任务数的最大值。 ≥ 0 CSS集群 1分钟 max_thread_pool_force_merge_queue ForceMerge队列中最大排队任务数 CSS集群中各个节点在强制合并线程池中的排队任务数的最大值。 ≥ 0 CSS集群 1分钟 sum_thread_pool_write_threads Write线程池总大小 CSS集群中各节点写入线程池的大小之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_search_threads Search线程池总大小 CSS集群中各节点搜索线程池的大小之和。 ≥ 0 CSS集群 1分钟 sum_thread_pool_force_merge_threads ForceMerge线程池总大小 CSS集群中各节点强制合并线程池的大小之和。 ≥ 0 CSS集群 1分钟 avg_thread_pool_write_queue Write队列中平均排队任务数 CSS集群中各节点在写入线程池中的排队任务数的平均值。 ≥ 0 CSS集群 1分钟 avg_thread_pool_search_queue Search队列中平均排队任务数 CSS集群中各节点在搜索线程池中的排队任务数的平均值。 ≥ 0 CSS集群 1分钟 avg_thread_pool_force_merge_queue ForceMerge队列中平均排队任务数 CSS集群中各节点在强制合并线程池中的排队任务数的平均值。 ≥ 0 CSS集群 1分钟 avg_thread_pool_search_threads Search线程池平均大小 CSS集群中各节点搜索线程池的大小的平均值。 ≥ 0 CSS集群 1分钟 avg_thread_pool_write_threads Write线程池平均大小 CSS集群中各节点写入线程池的大小的平均值。 ≥ 0 CSS集群 1分钟 avg_thread_pool_force_merge_threads ForceMerge线程池平均大小 CSS集群中各节点强制合并线程池的大小的平均值。 ≥ 0 CSS集群 1分钟 avg_thread_pool_write_rejected Write队列中平均已拒绝任务数 CSS集群中各节点写入线程池中的已拒绝任务数的平均值。 ≥ 0 CSS集群 1分钟 min_free_fs_size 最小可用存储空间 CSS集群中各个节点可用存储空间的最小值。 单位：byte ≥ 0 bytes CSS集群 1分钟 avg_jvm_old_gc_count JVM老年代平均GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 CSS集群 1分钟 avg_jvm_old_gc_time JVM老年代平均GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值的平均值。 单位：ms ≥ 0 ms CSS集群 1分钟 avg_jvm_young_gc_count JVM年轻代平均GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 CSS集群 1分钟 avg_jvm_young_gc_time JVM年轻代平均GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值的平均值。 单位：ms ≥ 0 ms CSS集群 1分钟 avg_max_file_descriptors 最大允许的文件描述符数-平均值 CSS集群中各节点最大允许的文件描述符数的平均值。 ≥ 0 CSS集群 1分钟 avg_mem_free_in_bytes 平均可用内存空间 CSS集群中各节点未使用的内存容量的平均值。 单位：byte ≥ 0 bytes CSS集群 1分钟 avg_mem_free_percent 平均可用内存比例 CSS集群中各节点未使用的内存比例的平均值。 单位：百分比 0-100% CSS集群 1分钟 avg_mem_used_in_bytes 平均已用内存空间 CSS集群中各节点已使用的内存容量的平均值。 单位：byte ≥ 0 bytes CSS集群 1分钟 avg_mem_used_percent 平均已用内存比例 CSS集群中各节点已使用的内存比例的平均值。 单位：百分比 0-100% CSS集群 1分钟 max_mem_free_in_bytes 最大可用内存空间 CSS集群中各个节点未使用的内存容量的最大值。 单位：byte ≥ 0 bytes CSS集群 1分钟 max_mem_free_percent 最大可用内存比例 CSS集群中各个节点未使用的内存比例的最大值。 单位：百分比 0-100% CSS集群 1分钟 max_mem_used_in_bytes 最大已用内存空间 CSS集群中各个节点已使用的内存容量的最大值。 单位：byte ≥ 0 bytes CSS集群 1分钟 max_mem_used_percent 最大已用内存比例 CSS集群中各个节点已使用的内存比例的最大值。 单位：百分比 0-100% CSS集群 1分钟 sum_jvm_old_gc_count JVM老年代总GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值之和。 ≥ 0 CSS集群 1分钟 sum_jvm_old_gc_time JVM老年代总GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值之和。 单位：ms ≥ 0ms CSS集群 1分钟 sum_jvm_young_gc_count JVM年轻代总GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值之和。 ≥ 0 CSS集群 1分钟 sum_jvm_young_gc_time JVM年轻代总GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值之和。 单位：ms ≥ 0 ms CSS集群 1分钟 sum_current_opened_http_count 当前已打开http连接数 CSS集群中各个节点打开且尚未关闭的Http连接数之和。 ≥ 0 CSS集群 1分钟 sum_total_opened_http_count 历史已打开http连接数 CSS集群中各个节点打开过的Http连接数累计值之和。 ≥ 0 CSS集群 1分钟 IndexingLatency 平均索引延迟 分片完成索引操作所需的平均时间。 单位：ms ≥ 0 ms CSS集群 1分钟 IndexingRate 平均索引速率 入库TPS，集群每秒平均索引操作数。 ≥ 0 CSS集群 1分钟 SearchLatency 平均查询延迟 分片完成搜索操作所需的平均时间。 单位：ms。 ≥ 0 ms CSS集群 1分钟 SearchRate 平均查询速率 查询QPS，集群每秒平均查询操作数。 ≥ 0 CSS集群 1分钟 task_max_running_time 最大Task运行时长 该指标为集群运行的所有task中，运行时长最长的task的耗时 ≥ 0 ms CSS集群 1分钟