华为云用户手册

已有集群配置公网访问 您可以对已经创建集群的公网访问进行修改，查看，解绑，也可以配置公网访问。 登录 云搜索服务 管理控制台。 在集群管理页面，单击需要配置公网访问的集群名称，进入集群基本信息页面，管理公网访问相关配置。 图2 修改公网访问相关配置 配置公网访问 如果创建安全集群时，开启了HTTPS访问但未配置公网访问，集群创建成功后，可以在集群基本信息页面配置公网访问。 单击“公网访问”参数右侧的“绑定”，设置访问带宽后，单击“确定”。 如果绑定失败，用户可以等待几分钟后，再次尝试重新绑定公网访问。 修改 对已经配置了公网访问的集群，可以通过单击“带宽”参数右侧的“修改”，修改带宽大小，也可以通过单击“访问控制”右侧的“设置”，设置访问控制开关和访问白名单。 查看 在“基本信息”页面，可以查看当前集群绑定的公网IP地址。 解绑 对于已经绑定的公网IP地址，可以通过单击“公网访问”参数右侧的“解绑”，解绑公网IP地址。 解绑公网访问后，将无法通过公网IP地址访问集群。当关闭集群的公网访问后再重新打开，集群的公网地址可能会发生变化，请谨慎操作。

管理向量索引缓存 CSS 的向量检索引擎使用C++实现，使用的是堆外内存，该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中，向量索引与Lucene其他类型索引一样，每一个segment构造并存储一份索引文件，在查询时，该索引文件会被加载到堆外内存中。插件使用缓存机制对这些堆外内存进行管理。上述API能够查询当前堆外内存使用量、缓存命中次数、加载次数等信息。 预加载向量索引 PUT /_vector/warmup/{index_name} 使用上述接口能将指定index_name的向量索引预加载至堆外内存供查询使用。 清除缓存 PUT /_vector/clear/cache PUT /_vector/clear/cache/index_name 在使用向量索引时，缓存机制会限制堆外内存使用量。当总索引大小超出缓存大小限制时，将会发生索引项的换进换出，此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空，保证热数据索引的查询性能。 父主题： 配置Elasticsearch集群向量检索

高基字段直方图聚合 高基字段一般采用直方图分组聚合，利于处理某个区间内的数据。 例如，查询语句如下所示。这条查询是对时间字段timestamp做直方图分组，然后求score的平均值。 POST testindex/_search?pretty{ "size": 0, "aggs": { "avg_score": { "avg": { "field": "score" }, "aggs": { "groupbytime": { "date_histogram": { "field": "timestamp", "calendar_interval": "day" } } } } }} 当需要对典型的高基字段“timestamp”进行聚合增强时，则需要对索引进行如下设置。 // 索引设置"settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "timestamp" ] } }}

低基字段分组聚合混合高基字段直方图聚合 在低基字段和高基字段混合的场景下，一般先对低基字段做分组聚合，然后再对高基字段做直方图聚合。 假如，查询语句如下所示。 POST testindex/_search{ "size": 0, "aggs": { "groupby_region": { "terms": { "field": "region" }, "aggs": { "groupby_host": { "terms": { "field": "host" }, "aggs": { "groupby_timestamp": { "date_histogram": { "field": "timestamp", "interval": "day" }, "aggs": { "avg_score": { "avg": { "field": "score" } } } } } } } } }} 当需要先对“region”低基字段进行分组，再对“host”低基字段进行分组，最后对“timestamp”高基字段进行直方图分组时，聚合增强的索引设置如下。 // 索引设置"settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "region", "host", "timestamp", "other" ] }, "cluster" : { "field" : [ // 指定聚簇键 "region", "host" ] } }} 聚簇键必须是排序键的前缀子集。 高基字段必须在排序键中，且高基字段必须在最后一个低基字段后面。

场景描述 聚合增强在数据聚簇的情况下，利用向量化技术，批量处理数据，从而提升聚合性能，优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下，耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键：数据按照排序键顺序存储。 聚簇键：是排序键的前缀子集，数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合，如对一个存储类别的列进行聚合。 低基字段分组聚合 高基字段聚合 表示对具有较多不同值的列进行聚合，如对一个存储时间的列进行按天的时间聚合。 高基字段直方图聚合 低基字段和高基字段混合聚合 表示对以上两种类型的聚合混合在一起，如先对低基字段做分组聚合，然后再对高基字段做直方图聚合。 低基字段分组聚合混合高基字段直方图聚合

性能测试对比 测试环境 数据集： esrally nyc_taxis数据集 集群规格： 4U16G 100GB高IO * 3节点 测试步骤 在集群中创建索引模板，指定排序键和关闭聚合增强。 PUT /_template/nyc_taxis{ "template": "nyc_taxis*", "settings": { "index.search.turbo.enabled": false, "index.sort.field": "dropoff_datetime", "number_of_shards": 3, "number_of_replicas": 0 }} 使用esrally执行nyc_taxis数据集的测试，得到关闭聚合增强时的结果。 在同一个集群中创建索引模板，指定排序键和开启聚合增强。 PUT /_template/nyc_taxis{ "template": "nyc_taxis*", "settings": { "index.search.turbo.enabled": true, "index.sort.field": "dropoff_datetime", "number_of_shards": 3, "number_of_replicas": 0 }} 使用esrally执行nyc_taxis数据集的测试，得到开启聚合增强时的结果。 测试结果 本次测试仅关注针对“dropoff_datetime”聚合的查询结果，即只关注“autohisto_agg”和“date_histogram_agg”两个任务的结果，以下为该任务的测试结果对比。 Metric Task Unit 关闭聚合增强 开启聚合增强 关闭聚合增强 开启聚合增强 open/close 结论 测试轮次1 测试轮次2 测试轮次3 测试轮次1 测试轮次2 测试轮次3 均值 均值 Min Throughput autohisto_agg ops/s 4.42 4.44 4.43 11.66 11.94 11.96 4.43 11.85 2.68 吞吐量提升2.5倍以上 Mean Throughput autohisto_agg ops/s 4.50 4.46 4.44 11.81 11.99 12.00 4.47 11.93 2.67 Median Throughput autohisto_agg ops/s 4.51 4.46 4.44 11.83 11.98 12.00 4.47 11.94 2.67 Max Throughput autohisto_agg ops/s 4.54 4.48 4.45 11.90 12.07 12.02 4.49 12.00 2.67 100th percentile latency autohisto_agg ms 216.30 - - - 84.56 80.38 216.30 82.47 0.38 时延下降60%以上 100th percentile service time autohisto_agg ms 216.30 - - - 84.56 80.38 216.30 82.47 0.38 error rate autohisto_agg % 0 0 0 0 0 0 0 0 0 - Min Throughput date_histogram_agg ops/s 4.72 4.67 4.65 12.57 12.40 12.59 4.68 12.52 2.68 吞吐量提升2.5倍以上 Mean Throughput date_histogram_agg ops/s 4.73 4.67 4.67 12.61 12.46 12.61 4.69 12.56 2.68 Median Throughput date_histogram_agg ops/s 4.73 4.67 4.67 12.62 12.46 12.60 4.69 12.56 2.68 Max Throughput date_histogram_agg ops/s 4.74 4.67 4.67 12.64 12.49 12.63 4.69 12.59 2.68 50th percentile latency date_histogram_agg ms 202.61 218.09 213.43 77.64 76.02 82.63 211.38 78.77 0.37 时延下降60%以上 100th percentile latency date_histogram_agg ms 207.35 223.88 246.63 77.99 - - 225.95 77.99 0.35 50th percentile service time date_histogram_agg ms 202.61 218.09 213.43 77.64 76.02 82.63 211.38 78.77 0.37 100th percentile service time date_histogram_agg ms 207.35 223.88 246.63 77.99 - - 225.95 77.99 0.35 error rate date_histogram_agg % 0 0 0 0 0 0 0 0 0 - 测试结论 在集群配置相同的情况下，开启聚合增强后，聚合性能显著提升，查询吞吐量提升2.5倍以上，查询时延下降60%以上。

低基字段分组聚合 低基字段一般采用分组聚合，在排序的情况下具备较好的数据聚簇性，利于向量化批量处理数据。 例如，查询语句如下所示。 POST testindex/_search{ "size": 0, "aggs": { "groupby_region": { "terms": { "field": "region" }, "aggs": { "groupby_host": { "terms": { "field": "host" }, "aggs": { "avg_cpu_usage": { "avg": { "field": "cpu_usage" } } } } } } }} 当需要对“region”和“host”这两个低基字段进行聚合增强，则需要对索引进行如下设置。 // 索引设置"settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "region", "host", "other" ] }, "cluster" : { "field" : [ // 指定聚簇键 "region", "host" ] } }} 聚簇键必须是排序键的前缀子集。

支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName 查询集群列表 cluster listClusters 修改集群密码 cluster resetPassword 重启集群 cluster restartCluster 扩容集群 cluster updateExtendCluster 扩容实例的数量和存储容量 cluster updateExtendInstanceStorage 变更规格 cluster updateFlavor 获取实例规格列表 cluster listFlavors 查询所有标签 cluster listClustersTags 查询指定集群的标签 cluster showClusterTag 添加指定集群标签 cluster createClustersTags 删除集群标签 cluster deleteClustersTags 批量添加或删除集群标签 cluster updateBatchClustersTags 指定节点缩容 cluster updateShrinkNodes 指定节点类型规格变更 cluster updateFlavorByType 指定节点类型缩容 cluster updateShrinkCluster 下载安全证书 cluster downloadCert 节点替换 cluster updateInstance 安全模式修改 cluster changeMode 添加独立Master、Client cluster addIndependentNode 集群内核升级 cluster upgradeCore 获取目标镜像ID cluster listImages 获取升级详情信息 cluster upgradeDetail 重试升级失败任务 cluster retryUpgradeTask 切换安全组 cluster changeSecurityGroup 创建集群V2 cluster createClusterV2 重启集群V2 cluster restartCluster 滚动重启 cluster rollingRestart 加载自定义词库 cluster createLoadIkThesaurus 查看自定义词库配置 cluster showIkThesaurus 删除自定义词库 cluster deleteIkThesaurus 开启Kibana公网访问 cluster startKibanaPublic 关闭Kibana公网访问 cluster updateCloseKibana 修改Kibana公网带宽 cluster updateAlterKibana 修改Kibana公网访问控制 cluster updatePublicKibanaWhitelist 关闭Kibana公网访问控制 cluster stopPublicKibanaWhitelist 开启日志功能 cluster startLogs 关闭日志功能 cluster stopLogs 查询作业列表 cluster listLogsJob 查询日志基础配置 cluster showGetLogSetting 修改日志基础配置 cluster updateLogSetting 开启日志自动备份策略 cluster startLogAutoBackupPolicy 关闭日志自动备份策略 cluster stopLogAutoBackupPolicy 备份日志 cluster createLogBackup 查询日志 cluster showLogBackup 开启公网访问 cluster createBindPublic 关闭公网访问 cluster updateUnbindPublic 修改公网访问带宽 cluster updatePublicBandWidth 开启公网访问控制白名单 cluster startPublicWhitelist 关闭公网访问控制白名单 cluster stopPublicWhitelist 自动设置集群快照的基础配置 cluster startAutoSetting 修改集群快照的基础配置 cluster updateSnapshotSetting 手动创建快照 snapshot createSnapshot 恢复快照 snapshot restoreSnapshot 删除指定快照 snapshot deleteSnapshot 设置自动创建快照策略 cluster createAutoCreatePolicy 查询自动创建快照的策略 cluster showAutoCreatePolicy 查询快照列表 cluster listSnapshots 停用快照功能 cluster stopSnapshot 开启自动创建快照功能 cluster startAutoCreateSnapshots 关闭自动创建快照功能 cluster stopAutoCreateSnapshots 开启终端节点服务 cluster startVpecp 关闭终端节点服务 cluster stopVpecp 获取终端节点连接 cluster showVpcepConnection 更新终端节点连接 cluster updateVpcepConnection 修改终端节点服务白名单 cluster updateVpcepWhitelist 修改参数配置 cluster listYmls 获取参数配置任务列表 cluster listYmlsJob 获取参数配置列表 cluster updateYmls 查询集群支持的elbv3负载均衡器 cluster listElbs 打开或关闭ES负载均衡器 cluster enableOrDisableElb ES监听器配置 cluster createElbListener 获取该esELB的信息 cluster showElbDetail 更新ES监听器 cluster updateEsListener 查询证书列表 cluster listElbCerts 获取智能运维任务列表及详情 cluster listAiOps 创建一次集群检测任务 cluster createAiOps 删除一个检测任务记录 cluster deleteAiOps 获取智能运维告警可用的 SMN 主题 cluster listSmnTopics

支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName 查询集群列表 cluster listClusters 修改集群密码 cluster resetPassword 重启集群 cluster restartCluster 扩容集群 cluster updateExtendCluster 扩容实例的数量和存储容量 cluster updateExtendInstanceStorage 变更规格 cluster updateFlavor 获取实例规格列表 cluster listFlavors 查询所有标签 cluster listClustersTags 查询指定集群的标签 cluster showClusterTag 添加指定集群标签 cluster createClustersTags 删除集群标签 cluster deleteClustersTags 批量添加或删除集群标签 cluster updateBatchClustersTags 指定节点缩容 cluster updateShrinkNodes 指定节点类型规格变更 cluster updateFlavorByType 指定节点类型缩容 cluster updateShrinkCluster 下载安全证书 cluster downloadCert 节点替换 cluster updateInstance 安全模式修改 cluster changeMode 添加独立Master、Client cluster addIndependentNode 集群内核升级 cluster upgradeCore 获取目标镜像ID cluster listImages 获取升级详情信息 cluster upgradeDetail 重试升级失败任务 cluster retryUpgradeTask 切换安全组 cluster changeSecurityGroup 创建集群V2 cluster createClusterV2 重启集群V2 cluster restartCluster 滚动重启 cluster rollingRestart 加载自定义词库 cluster createLoadIkThesaurus 查看自定义词库配置 cluster showIkThesaurus 删除自定义词库 cluster deleteIkThesaurus 开启Kibana公网访问 cluster startKibanaPublic 关闭Kibana公网访问 cluster updateCloseKibana 修改Kibana公网带宽 cluster updateAlterKibana 修改Kibana公网访问控制 cluster updatePublicKibanaWhitelist 关闭Kibana公网访问控制 cluster stopPublicKibanaWhitelist 开启日志功能 cluster startLogs 关闭日志功能 cluster stopLogs 查询作业列表 cluster listLogsJob 查询日志基础配置 cluster showGetLogSetting 修改日志基础配置 cluster updateLogSetting 开启日志自动备份策略 cluster startLogAutoBackupPolicy 关闭日志自动备份策略 cluster stopLogAutoBackupPolicy 备份日志 cluster createLogBackup 查询日志 cluster showLogBackup 开启公网访问 cluster createBindPublic 关闭公网访问 cluster updateUnbindPublic 修改公网访问带宽 cluster updatePublicBandWidth 开启公网访问控制白名单 cluster startPublicWhitelist 关闭公网访问控制白名单 cluster stopPublicWhitelist 自动设置集群快照的基础配置 cluster startAutoSetting 修改集群快照的基础配置 cluster updateSnapshotSetting 手动创建快照 snapshot createSnapshot 恢复快照 snapshot restoreSnapshot 删除指定快照 snapshot deleteSnapshot 设置自动创建快照策略 cluster createAutoCreatePolicy 查询自动创建快照的策略 cluster showAutoCreatePolicy 查询快照列表 cluster listSnapshots 停用快照功能 cluster stopSnapshot 开启自动创建快照功能 cluster startAutoCreateSnapshots 关闭自动创建快照功能 cluster stopAutoCreateSnapshots 开启终端节点服务 cluster startVpecp 关闭终端节点服务 cluster stopVpecp 获取终端节点连接 cluster showVpcepConnection 更新终端节点连接 cluster updateVpcepConnection 修改终端节点服务白名单 cluster updateVpcepWhitelist 修改参数配置 cluster listYmls 获取参数配置任务列表 cluster listYmlsJob 获取参数配置列表 cluster updateYmls 查询集群支持的elbv3负载均衡器 cluster listElbs 打开或关闭ES负载均衡器 cluster enableOrDisableElb ES监听器配置 cluster createElbListener 获取该esELB的信息 cluster showElbDetail 更新ES监听器 cluster updateEsListener 查询证书列表 cluster listElbCerts 获取智能运维任务列表及详情 cluster listAiOps 创建一次集群检测任务 cluster createAiOps 删除一个检测任务记录 cluster deleteAiOps 获取智能运维告警可用的SMN主题 cluster listSmnTopics

系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板，请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。 jdbc模板说明 kafka 从kafka导入数据到Elasticsearch类型集群。 kafka模板说明 beats 从beats导入数据到Elasticsearch类型集群。 dis模板说明 dis 从dis导入数据到Elasticsearch类型集群。 beats模板说明

访问方式 表1 集群的访问方式 访问方式 适用场景 相关文档 Kibana（推荐方式） 图形化操作与展示。 监控实例。 管理数据。 不限制访问语言。 通过Kibana登录Elasticsearch集群 Cerebro 通过Cerebro登录Elasticsearch集群 开源Elasticsearch API 通过Curl命令访问与管理Elasticsearch集群。 通过Curl命令行接入Elasticsearch集群 Java客户端 通过Java语言访问与管理Elasticsearch集群。 建议使用对应Elasticsearch集群版本的Java客户端，否则可能存在兼容性问题。 通过Rest High Level Client接入Elasticsearch集群 通过Rest Low Level Client接入Elasticsearch集群 通过Transport Client接入Elasticsearch集群 通过Spring Boot接入Elasticsearch集群 Python客户端 通过Python语言访问与管理Elasticsearch集群。 通过Python客户端接入Elasticsearch集群 MRS Hive客户端 通过MRS的ES-Hadoop实现Hive工具访问与管理Elasticsearch集群。 通过MRS Hive客户端接入Elasticsearch集群 Go客户端 通过Go语言访问与管理Elasticsearch集群。 通过Go客户端接入Elasticsearch集群 LDAP认证 在Elasticsearch集群中配置轻量目录访问协议LDAP认证，实现相应角色的LDAP用户接入Elasticsearch集群。 通过LDAP接入Elasticsearch集群

查看集群的监控信息 在集群列表查看集群和集群节点的监控信息。 登录 云搜索 服务管理控制台。 在左侧导航栏选择“集群管理”，进入对应类型的集群列表。 在集群列表，选择目标集群，单击操作列“监控信息”查看集群和节点监控信息。 图1 查看监控信息 选择“资源实例”页签，查看集群的监控指标。 资源实例：选择要查看监控信息的集群，默认选择当前集群。支持多选，进行数据对比。 支持设置监控时间，以及查看同一集群的同比/环比数据。 添加视图分组：支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上，右侧会显示修改名称和删除分组的图标，可以修改分组。 设置指标：在“设置监控指标”弹窗中，可以根据页面提示设置“原始指标”和“TopN指标”。 选择“云服务节点”页签，查看集群节点的监控指标。只会显示“资源实例”页签中选择的第一个资源实例的节点监控信息。 云服务节点：选择要查看监控信息的集群节点，默认选择当前集群的第一个节点。支持多选，进行数据对比。 支持设置监控时间，以及查看同一集群的同比/环比数据。 添加视图分组：支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分组名称上，右侧会显示修改名称和删除分组的图标，可以修改分组。 设置指标：在“设置监控指标”弹窗中，可以根据页面提示设置“原始指标”。

推荐配置的监控指标 集群的日常监控，推荐重点配置如下监控指标：磁盘使用率、集群健康状态。 监控集群的cpu、jvm使用情况，推荐重点配置如下监控指标：平均JVM堆使用率、最大JVM堆使用率、平均CPU使用率、最大CPU利用率。 监控集群的写入、查询延迟和吞吐量情况，推荐重点配置如下监控指标：平均索引延迟、平均索引速率、平均查询延迟、平均查询速率。 监控集群的写入、查询的排队队列和拒绝情况，推荐重点配置如下监控指标：Write队列中总排队任务数、Search队列中总排队任务数、Write队列中总的已拒绝任务数、Search队列中总的已拒绝任务数。

开启并查看访问日志 执行如下命令，开启访问日志。 开启集群所有节点的访问日志 PUT /_access_log?duration_limit=30s&capacity_limit=1mb 开启集群中某一节点的访问日志 PUT /_access_log/{nodeId}?duration_limit=30s&capacity_limit=1mb “{nodeId}”为节点ID。 表9 访问日志的配置项说明 配置项 类型 说明 duration_limit String 访问日志记录时间。 取值范围：10~120 单位：s 默认值：30 capacity_limit String 访问日志记录大小。统计开启访问日志后记录的请求大小，当统计的大小大于该配置值，访问日志记录终止。 取值范围：1~5 单位：MB 默认值：1 “duration_limit”和“capacity_limit”只要有一个参数达到阈值，访问日志记录就会停止。 当所有参数值设置为“null”时，表示恢复配置默认值。 执行如下命令，查看访问日志。 查看集群所有节点的访问日志API GET /_access_log 查看集群中某一节点的访问日志API GET /_access_log/{nodeId} “{nodeId}”为节点ID。 响应示例： { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "css-flowcontroller", "nodes" : { "8x-ZHu-wTemBQwpcGivFKg" : { "name" : "css-flowcontroller-ess-esn-1-1", "host" : "10.0.0.98", "count" : 2, "access" : [ { "time" : "2021-02-23 02:09:50", "remote_address" : "/10.0.0.98:28191", "url" : "/_access/security/log?pretty", "method" : "GET", "content" : "" }, { "time" : "2021-02-23 02:09:52", "remote_address" : "/10.0.0.98:28193", "url" : "/_access/security/log?pretty", "method" : "GET", "content" : "" } ] } }} 表10 响应参数说明 参数名 说明 name 节点名称。 host 节点对应的IP地址。 count 统计周期内，访问节点的请求数量。 access 统计周期内，访问节点的请求详情。参数说明请参见表11。 表11 access 参数名 说明 time 记录请求时间。 remote_address 请求对应的源IP地址和端口。 url 请求的原始URL method 对应请求Path的方法。 content 对应请求的内容。 执行命令删除访问日志。 删除集群所有节点的访问日志API DELETE /_access_log 删除集群中某一节点的访问日志API DELETE /_access_log/{nodeId} “{nodeId}”为节点ID。

开启访问日志记录到文件 开启访问日志记录到文件后，客户端访问集群节点，会记录为{集群名_access_log.log}文件，通过日志备份功能可以在OBS详细查看访问日志。 该功能一般用于定位问题，问题解决后，建议关闭此开关。 执行如下命令，开启访问日志记录到文件。 PUT /_cluster/settings{ "persistent": { "flowcontrol.log.file.enabled": true }} 表12 访问日志记录到文件的配置项说明 参数 类型 说明 flowcontrol.log.file.enabled Boolean 是否将每个请求的日志详情记录到后台日志文件。 取值范围： true false（默认值） 执行如下命令，关闭访问日志记录到文件。 PUT /_cluster/settings{ "persistent": { "flowcontrol.log.file.enabled": false }}

约束限制 2023年02月及之后创建的Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本，之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。 开启流量控制功能会消耗部分节点性能。 开启流量控制会直接拒绝超过阈值的用户请求。 开启内存流控会消耗部分请求性能，开启内存流控会导致Kibana的部分search请求失败。 开启访问日志会影响集群性能。 内存流控和CPU流控都是基于请求Path的流控，Path长度和个数不应该配置过多，否则影响集群性能。

开启请求采样统计 执行如下命令，开启请求采样统计。 PUT /_cluster/settings{ "persistent": { "flowcontrol.statics.enabled": true, "flowcontrol.statics.threshold": 100, "flowcontrol.statics.sample_frequency": 50 }} 表5 请求采样统计的配置项说明 配置项 类型 说明 flowcontrol.statics.enabled Boolean 请求采样统计开关。开启请求采样统计对节点性能会有影响。 取值范围：true、false 默认值：false flowcontrol.statics.threshold Integer 统计最近时间访问的请求数量。配置为100，表示会统计出最近访问最多的100个IP地址和基于采样统计的访问最多的100个URL。 最小值：10 最大值：1000 默认值：100 说明： IP统计和URL采样统计基于访问时间缓存策略，节点会记录最近访问的IP和请求URL，如果缓存空间达到设置的阈值（即“flowcontrol.statics.threshold”配置值），访问时间距离现在最久的记录将被清除掉。 URL采样统计当前基于URL hash值确认访问Path的一致性。 flowcontrol.statics.sample_frequency Integer Path采样频率。配置为100，表示每100个请求采样统计一次。 最小值：50 默认值：100 当所有参数值设置为“null”时，表示恢复配置默认值。 执行如下命令，关闭请求采样统计。 PUT /_cluster/settings{ "persistent": { "flowcontrol.statics.enabled": false }}

查看流量控制信息 查看所有节点的流量控制情况 GET /_nodes/stats/filter 查看某个具体节点的流量控制情况 GET /_nodes/{nodeId}/stats/filter “{nodeId}”为需要查看流量控制的节点ID。 响应示例： 返回值以Node级别分开，http记录并发和新建连接数据统计，memory记录内存流控统计，ip_address记录最近最多访问的客户端IP，url_sample记录采样的最近最多请求URL。cpu记录CPU流控统计。 { "_nodes" : { "total" : 1, "successful" : 1, "failed" : 0 }, "cluster_name" : "css-flowcontroller", "nodes" : { "ElBRNCMbTj6L1C-Wke-Dnw" : { "name" : "css-flowcontroller-ess-esn-1-1", "host" : "10.0.0.133", "timestamp" : 1613979513747, "flow_control" : { "transport" : { "concurrent_req" : 0, "rejected_concurrent" : 0, "rejected_new" : 0, "rejected_deny" : 0 }, "http" : { "concurrent_req" : 0, "rejected_concurrent" : 0, "rejected_new" : 0, "rejected_deny" : 0 }, "memory" : { "memory_allow" : 41, "memory_rejected" : 0 }, "cpu": { "rejected_cpu" : 0 } "ip_address" : [ { "ip" : "/10.0.0.198", "count" : 453 }, { "ip" : "/198.19.49.1", "count" : 42 } ], "url_sample" : [ { "url" : "/*/_search?pretty=true", "method" : "GET", "remote_address" : "/10.0.0.198:16763", "count" : 1 } ] } }} 表6 响应参数说明 参数名 说明 concurrent_req 节点实际的TCP连接数据信息， 没有开启流控这个配置也会记录，参考GET /_nodes/stats/http接口current_open值， 但是会比这个值小，这里忽略了白名单IP和内部节点IP。 rejected_concurrent HTTP流控开启生效，关闭后不清零，开启流控期间拒绝的并发连接数。 rejected_new HTTP流控开启生效，关闭后不清零，开启流控期间拒绝的新建连接数。 rejected_deny HTTP流控开启生效，关闭后不清零，配置黑名单拒绝的请求数。 memory_allow 内存流控开启生效，关闭后不清零，内存流控允许的请求数，触发内存流控后允许的请求数量，allow_path白名单中通过请求不会被记录，如果allow_path配置为“**”，所有请求都不会被记录。 memory_rejected 内存流控开启生效，关闭后不清零，内存流控拒绝的请求数，触发内存流控后拒绝的请求数量，allow_path白名单中通过请求不会被记录，如果allow_path配置为“**”，所有请求都不会被记录。 rejected_cpu CPU流控开启生效，关闭后不清零，超过CPU流控阈值拒绝的请求数。 ip_address IP地址统计，基于配置值统计节点访问的IP地址和请求数量。参数说明请参见表7表7。 url_sample 请求Path采样统计，基于配置时间和采样间隔统计相同请求URL数量。参数说明请参见表8。 表7 ip_address 参数名 说明 ip 访问节点的源IP地址。 method 对应IP地址的访问次数统计。 表8 url_sample 参数名 说明 url 请求的采样统计，记录访问节点的请求URL。 method 对应请求Path的方法。 remote_address 请求对应的源IP地址和端口。 count 对应请求Path的采样统计次数。

开启一键断流 执行如下命令，开启一键断流。 PUT /_cluster/settings{ "persistent": { "flowcontrol.break.enabled": true }} 执行如下命令，关闭一键断流。 PUT /_cluster/settings{ "persistent": { "flowcontrol.break.enabled": false }}

场景描述 流量控制1.0提供节点级别的流量控制功能，可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力，一键断流能力，同时也提供节点访问IP统计和URL的采样统计能力。开启流控功能会使请求在入口处直接阻塞，可以缓解节点高并发场景下的集群压力，降低P99时延，减少节点不可用的风险。 表1 流量控制策略 策略 描述 相关文档 HTTP/HTTPS流控 HTTP/HTTPS黑白名单设置IP和子网控制客户端IP访问，如果节点IP在黑名单中，则该客户端的连接将直接中断，节点不会处理任何请求。白名单规则优先于黑名单规则，如果客户端IP在黑白名单中都出现，客户端请求将不会被拒绝。 HTTP/HTTPS并发连接数流控通过限制节点每秒中的HTTP连接总数来限制节点流量。 HTTP/HTTPS新建连接数流控通过限制节点新建的连接数来限制节点流量。 开启HTTP/HTTPS节点流控 内存流控 基于节点堆内存使用量限制请求Path，支持设置内存流控白名单、全局内存使用阈值和基于单个Path设置堆内存使用阈值。全局内存流控阈值优先于单个Path内存阈值，白名单配置Path不参与内存流控。 开启内存流控 Path全局免流控白名单 可以根据客户需要，设置Path白名单全局免流控，当用户需要自定义插件时，可适当配置。 添加Path全局免流控白名单 请求采样统计 可以记录客户端IP的访问数量和采样用户的请求Path，用户可以基于统计值识别客户端IP的访问流量和分析哪些请求Path访问量大。 开启请求采样统计 一键断流 可以切断节点的所有访问流量，不包括kibana访问和elasticsearch monitor类接口。 开启一键断流 流量控制 提供单独的流量统计查看接口，记录触发流控的数量，用户可以基于统计值评估流控配置阈值和衡量集群压力。 查看流量控制信息 访问日志 可以记录一段时间内节点接收的HTTP/HTTPS请求URL和Body，用户可以基于访问日志信息分析当前的流量压力。 开启并查看访问日志 访问日志记录 客户端访问集群节点，会记录为{集群名_access_log.log}访问日志文件，通过日志备份功能可以在OBS详细查看访问日志。 开启访问日志记录到文件 CPU流控 基于节点配置的最大CPU占用率来限制节点访问流量。 开启CPU流控

场景描述 集群的智能运维支持以下功能： 启动检测任务：通过启动检测任务，触发系统智能诊断集群的健康状况。 查看集群风险项：检测任务完成后，可以查看集群存在的风险项详情，根据风险建议及时处理集群存在的风险。 删除检测任务：当不需要历史所创建的检测任务时，可删除检测任务。删除检测任务后，系统将删除检测任务所对应的所有诊断信息。 智能运维的检查项包含如下项目。 检查当前时刻集群的健康状态，其中red表示有主分片未分配，yellow表示有副分片未分配，green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数，判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本，未设置副本的索引在节点发生故障后可能导致索引不可用，本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比，节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡，不均衡的存储用量分布可能导致集群负载不均，读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多，单节点分片数量过多会消耗大量节点资源，读写请求时延增加，集群元数据更新缓慢等。 检测所有分片大小，分片太大可能导致查询性能下降，节点内存消耗增加，影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败，或7天内无快照备份记录。

启动检测任务 登录云搜索服务管理控制台。 在集群管理页面，单击需要进行智能运维的集群名称，跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维页面，单击左上角的“启动检测”。 在对话框中填写检测任务的基本信息，单击“确定”。 表1 配置检测任务 参数 说明 名称 检测任务的名称。 描述 检测任务的简短描述。 SMN主题 当勾选“任务完成后发送SMN告警”时，需要选择当前账号已创建的SMN主题。 告警灵敏度 当勾选“任务完成后发送SMN告警”时，需要选择告警灵敏度。 当检测到的风险项存在大于等于此告警敏感度的条目，则发送SMN告警消息，消息内容则包含所有风险项。 当检测任务状态变成“完成”时，表示智能检测结束，可以查看集群风险项。

查看集群风险项 当检测任务完成时，可以查看检测结果。 登录云搜索服务管理控制台。 在集群管理页面，单击集群名称，跳转至该集群基本信息页面。 左侧菜单栏选择“智能运维”。 在智能运维列表页面，选择已启动的检测任务。单击下方的，可查看当前检测任务的“创建时间”、“摘要”、“ID”以及检测任务所发现的“风险项”。 单击风险项左侧，可查看风险项详情，包括检测项、风险描述、风险建议。 您可以根据风险建议及时处理集群所存在的风险。 图1 风险项 单击智能运维列表操作列的“导出风险项”，支持下载检测结果。

创建向量索引 创建一个带有嵌套字段的向量索引，该索引包含一个id字段，类型为keyword，包含一个embedding字段，类型为nested。embedding嵌套字段包含两个子字段chunk和emb，其中chunk为keyword类型，emb为vector类型。 PUT my_index{ "settings": { "index.vector": true }, "mappings": { "properties": { "id": { "type": "keyword" }, "embedding": { "type": "nested", "properties": { "chunk": { "type": "keyword" }, "emb": { "type": "vector", "dimension": 2, "indexing": true, "algorithm": "GRAPH", "metric": "euclidean" } } } } }}

向量检索 Nested字段需要使用nested查询，查询时需要指定path参数以指明要查询的嵌套路径，以及必须设置score_mode为max，表示文档的得分为该文档中所有向量与查询向量相似度的最大值。 标准查询 查询与向量[1, 1]最相似的Top10文档。 GET my_index/_search{ "_source": {"excludes": ["embedding"]}, "query": { "nested": { "path": "embedding", "score_mode": "max", "query": { "vector": { "embedding.emb": { "vector": [1, 1], "topk": 10 } } } } }} 查询结果示例如下： { "took" : 2, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 3, "relation" : "eq" }, "max_score" : 1.0, "hits" : [ { "_index" : "my_index", "_type" : "_doc", "_id" : "Hc4Vc5QBSxCnghau22AE", "_score" : 1.0, "_source" : { "id" : 1 } }, { "_index" : "my_index", "_type" : "_doc", "_id" : "Hs4Vc5QBSxCnghau22AE", "_score" : 0.33333334, "_source" : { "id" : 2 } }, { "_index" : "my_index", "_type" : "_doc", "_id" : "H84Vc5QBSxCnghau22AE", "_score" : 0.11111111, "_source" : { "id" : 3 } } ] }} 前置过滤查询 先筛选出id取值为["2", "3"]的文档，再返回与查询向量[1, 1]最相似的Top10文档。 GET my_index/_search{ "query": { "nested": { "path": "embedding", "score_mode": "max", "query": { "vector": { "embedding.emb": { "vector": [1, 1], "topk": 10, "filter": { "terms": {"id": ["2", "3"]} } } } } } }} 查询结果示例如下： { "took" : 2, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 2, "relation" : "eq" }, "max_score" : 0.33333334, "hits" : [ { "_index" : "my_index", "_type" : "_doc", "_id" : "Hs4Vc5QBSxCnghau22AE", "_score" : 0.33333334, "_source" : { "id" : 2 } }, { "_index" : "my_index", "_type" : "_doc", "_id" : "H84Vc5QBSxCnghau22AE", "_score" : 0.11111111, "_source" : { "id" : 3 } } ] }}

导入向量数据 使用Bulk操作，以数组形式写入数据，每条文档包含了2条向量数据。 POST my_index/_bulk{"index":{}}{"id": 1, "embedding": [{"chunk":1,"emb": [1, 1]}, {"chunk":2,"emb": [2, 2]}]}{"index":{}}{"id": 2, "embedding": [{"chunk":1,"emb": [2, 2]}, {"chunk":2,"emb": [3, 3]}]}{"index":{}}{"id": 3, "embedding": [{"chunk":1,"emb": [3, 3]}, {"chunk":2,"emb": [4, 4]}]}

修改企业项目 针对之前已创建的集群，其绑定的企业项目可根据实际情况进行修改。 登录在云搜索服务管理控制台， 在左侧导航栏，选择对应的集群类型，进入集群管理页面。 在集群列表中，单击集群名称进入集群“基本信息”页面。 在集群“基本信息”页面，单击“企业项目”右侧的企业项目名称，进入项目管理页面。 在“资源”页签下，“区域”选项中选择当前集群所在的区域，“服务”选项中选“云搜索服务 CS S”。此时，资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群，然后单击“迁出”。 在“迁出资源”页面，选择“迁出方式”，再选择“请选择要迁入的企业项目”，然后单击“确定”。 迁出完成后，可以在云搜索服务管理控制台集群管理页面，查看修改后的集群企业项目信息。

场景描述 CSS服务默认给7.1.1、7.6.2和7.10.2版本的Elasticsearch集群安装了开源OpenDistro告警插件（opendistro_alerting），该插件具备Dashboard、Monitors、Destinations三个组件，并在Destinations组件中支持通过SMN服务发送告警通知。使用OpenDistro告警插件时，Elasticsearch集群需要通过SMN发送通知，这要求进行服务授权配置，服务授权是指允许CSS服务代理使用其他云资源，例如授权使用SMN服务资源，从而使CSS集群能够发送SMN 消息通知 。有关OpenDistro告警插件的官方文档，请参见OpenDistro-Monitors。

授权使用SMN服务 通过CSS服务的管理员账号登录云搜索服务管理控制台。 在左侧导航栏选择“服务授权”。 在服务授权页面，单击“创建SMN委托”，在弹窗中确认委托创建成功。 如果已经创建过委托，则右上角会提示“css_smn_agency exist, no need to created.”。 如果无创建权限，则右上角会提示“当前用户没有操作权限，请通过 IAM 检查账户权限！”，请确认该管理员账号是否配置了IAM使用权限。

Elasticsearch集群导入数据方式介绍 Elasticsearch集群支持通过多种方式导入数据，基于业务使用场景可以自行选择导入数据的方式，具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强，具体操作请参见增强Elasticsearch集群数据导入性能。 表1 Elasticsearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式 使用自建Logstash导入数据到Elasticsearch 开源Elasticsearch API 使用开源Elasticsearch API导入数据，使用灵活，适用于开发自己写的应用代码场景。 JSON 使用开源Elasticsearch API导入数据到Elasticsearch 云数据迁移 服务 CDM CDM向导式页面。适用于批数据迁移，比如数据存放在OBS或者Oracle数据库中，推荐使用CDM比较方便。 JSON 使用CDM导入数据到Elasticsearch 数据复制服务 DRS DRS用于数据库在线迁移和实时同步数据的云服务。 关系型数据库 使用DRS从数据库导入数据至Elasticsearch