华为云用户手册

  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 code String 返回码 message String 响应消息 最小长度:1 最大长度:100 data String 模板下载地址 最小长度:1 最大长度:100 状态码: 500 表4 响应Body参数 参数 参数类型 描述 code String 错误码 最小长度:1 最大长度:100 message String 错误描述 最小长度:1 最大长度:100
  • 响应示例 状态码: 200 Success { "code" : 200, "message" : "操作成功!", "data" : { "batchCode" : "bf2922cda7da4b2cb0a2ef4bb40db7ae", "status" : 2, "parseResult" : { "message" : "Code conflict", "failCount" : 1, "failCodes" : [ { "code" : "6mqqigdk2s" } ] }, "merchant" : 1759540612045058000 } } 状态码: 500 Error response { "code" : "500", "message" : "系统异常" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 code String 返回码 message String 返回信息 data data object 响应数据 表5 data 参数 参数类型 描述 batchCode String 批次码 status Integer 关联状态,0:处理中 1:处理完成,成功 2:部分失败,有冲突 3:失败 parseResult parseResult object 关联结果 merchant String 商户ID 表6 parseResult 参数 参数类型 描述 message String 关联结果描述 failCount Integer 失败溯源码个数 failCodes Array of failCodes objects 失败溯源码列表 表7 failCodes 参数 参数类型 描述 code String 溯源码 状态码: 500 表8 响应Body参数 参数 参数类型 描述 code String 错误码 最小长度:1 最大长度:100 message String 错误描述 最小长度:1 最大长度:100
  • 响应示例 状态码: 200 Success { "code" : "200", "message" : "操作成功!", "data" : [ { "contentId" : 1496395806648717300, "contentName" : "测试", "contentType" : "0", "contentText" : "", "contentUrl" : "https://xxx.xxx.xxx.xxx", "sweepCodeDisplay" : "0" } ] } 状态码: 500 Error response { "code" : "500", "message" : "系统异常" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 code String 返回码 message String 响应内容 data Array of data objects 环节内容详情 表5 data 参数 参数类型 描述 contentId String 环节内容ID 最小长度:1 最大长度:100 contentName String 溯源内容名称 最小长度:1 最大长度:100 contentType String 溯源内容类型(0.图片、1.PDF、2.文本) 枚举值: 0 1 2 contentText String 对于文本,直接存储文本内容 最小长度:1 最大长度:250 contentUrl String 对于图片、PDF等存储url 最小长度:1 最大长度:250 sweepCodeDisplay String 扫码展示方式:0 不展示,1 展示 枚举值: 0 1 状态码: 500 表6 响应Body参数 参数 参数类型 描述 code String 错误码 最小长度:1 最大长度:100 message String 错误描述 最小长度:1 最大长度:100
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token 最小长度:1 最大长度:65535 表3 请求Body参数 参数 是否必选 参数类型 描述 merchant 是 String 商户ID 最小长度:1 最大长度:100 linkName 是 String 环节名称 最小长度:1 最大长度:20 batchCode 是 String 批次码 最小长度:1 最大长度:100
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token 最小长度:1 最大长度:65535 表3 请求Body参数 参数 是否必选 参数类型 描述 batchCode 是 String 批次码 最小长度:1 最大长度:100 linkCode 是 String 环节码 最小长度:1 最大长度:100 linkName 是 String 环节名称,不可更新 最小长度:1 最大长度:20 isChain 是 String 是否上链:0:不上链, 1:上链 枚举值: 0 1 isSweepCodeDisplay 是 String 是否扫码展示:0: 不展示 1: 展示 枚举值: 0 1 inOutType 是 Integer 出入库类型:0:入库1:出库2:不涉及出入库 枚举值: 0 1 2 merchant 是 String 商户ID 最小长度:1 最大长度:100
  • 请求示例 { "batchCode" : "962cc65f20674ebeb67b765f83bcaa24", "linkCode" : "2024031221062190307601", "linkName" : "清风", "isChain" : "1", "isSweepCodeDisplay" : "1", "inOutType" : 2, "merchant" : "1748189792481312769" }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 code Integer 返回码 最小值:1 最大值:100 message String 返回描述 最小长度:1 最大长度:100 data Array of data objects 返回批次溯源环节 表5 data 参数 参数类型 描述 batchCode String 批次码 linkCode String 环节码 linkName String 环节名称 最小长度:1 最大长度:20 linkSeq Integer 环节顺序 最小值:0 最大值:50 isSweepCodeDisplay String 是否扫码展示:0: 不展示 1: 展示 isChain String 是否上链:0:不上链,1:上链 枚举值: 0 1 inOutType Integer 出入库类型:0:入库;1:出库;2:不涉及出入库 枚举值: 0 1 2 linkStatus String 环节状态: 0未上链, 1上链中, 2已上链, 3上链失败 枚举值: 0 1 2 3 状态码: 500 表6 响应Body参数 参数 参数类型 描述 code String 错误码 最小长度:1 最大长度:100 message String 错误描述 最小长度:1 最大长度:100
  • 响应示例 状态码: 200 Success { "code" : 200, "message" : "操作成功!", "data" : [ { "batchCode" : "962cc65f20674ebeb67b765f83bcaa24", "linkCode" : "2024031221062190307601", "linkName" : "清风", "linkSeq" : 6, "isSweepCodeDisplay" : "1", "isChain" : "1", "inOutType" : 2, "linkStatus" : "3" } ] } 状态码: 500 Error response { "code" : "500", "message" : "系统异常" }
  • 日志告警 本文介绍 云日志 服务告警的限制。 表1 告警限制说明 类别 限制项 说明 备注 告警监控 告警规则数量 您在1个华为账号下最多可创建200个告警。 如您有更大的使用需求,请提交工单申请。 搜索和分析条件组合个数 关键词搜索为1个,SQL分析个数为1-3个。 不涉及。 查询时间范围 关键词告警:每条查询语句的查询时间跨度不能超过1小时。 不涉及。 SQL告警:每条查询语句的查询时间跨度不能超过24小时。 不涉及。 查询和分析操作一般性限制 查询和分析操作的限制项,关键词告警请参见搜索语法。SQL告警请参见SQL查询语法。 不涉及。 告警通知 通知方式 各个通知方式的使用限制如下所示。超出限制,可能导致您无法接收到告警通知。 邮件 短信 语音 仅支持中国内地手机号码(+86)。如需开通,请提交工单申请。 钉钉 钉钉机器人限制每分钟最多20条消息。 企业微信 企业微信机器人限制每分钟最多20条消息。 飞书 飞书的功能仅针对白名单用户使用,如需开通,请提交工单申请。 不涉及。 通知内容 每个通知方式都存在通知内容长度的限制。为了尽量保证告警通知成功,对于超长的内容,系统可能通过适当的内容截断来避免通知失败。内容截断无法保证内容的完整性以及百分百发送成功,这主要是受限于截断后的内容以及各个通知方式的支持能力,例如截断后的内容是不合法的Markdown或者HTML,则可能导致通知失败。对于短信、语音等纯文本格式的内容,一般内容截断不会导致通知失败。 建议根据通知方式的限制合理配置内容模板,避免内容超长导致通知失败。各个通知方式的限制如下(中文、英文、数字或标点符号都算一个字符): 短信 具体限制请短信发送限制。 语音 通知内容限制为256个字符。 邮件 通知内容限制为5 KB。 钉钉 通知内容限制为5 KB。 企业微信 通知内容限制为5 KB。 不涉及。 消息模板 最多100个模板。 不涉及。 消息模板变量 LTS限制消息内容长度不超过3 KB,超过3 KB部分会被截断。 不涉及。 消息通知 方式额度 每个接收人每天最多可接收额度与用户 SMN 资源配额有关。 不涉及。 父主题: 使用限制
  • 分析 表2 日志SQL分析限制 限制项 说明 备注 操作并发数 您在1个华为账号下 日志分析 并发数为15个。 如您有更大的使用需求,请提交工单申请。 数据量 单个日志流单次最大分析24GB数据。 如果您的数据量远超LTS提供的分析规格,请您购买DWS服务,配置日志转储DWS,使用 数据仓库 分析。 开启模式 默认不开启。 不涉及。 数据生效机制 日志结构化只对新增结构化配置之后写入的数据生效。 不涉及。 返回结果 默认最多返回100条数据。 如果需要返回更多数据,可以使用SQL查询语法单独配置返回查询结果。 不涉及。 LIMIT上限为5000条。 不涉及。 字段值大小 结构化字段最大大小为16KB,超过部分不参与分析。 不涉及。 超时时间 分析操作的最大超时时间为30秒。 如果您的数据量远超LTS提供的分析规格,请您购买DWS服务,配置日志转储DWS,使用数据仓库分析。 Double类型的字段值位数 Double类型的字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 不涉及。 IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30天内的数据,30天以上的数据不支持SQL分析。 如您有更大的使用需求,请提交工单申请。
  • 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。 如您有更大的使用需求,请提交工单申请。 操作并发数 您在1个华为账号下支持的最大查询操作并发数为200个。 如您有更大的使用需求,请提交工单申请。 返回结果 通过控制台查询:默认最多返回250条查询结果。 不涉及。 返回结果 通过API查询:默认最多返回5000条查询结果。 不涉及。 字段值大小 单个字段值最大为2KB,超出部分不参与快速分析,但是可以通过关键词查询。 不涉及。 查询结果排序 默认按照秒级时间从最新开始展示。 不涉及。 模糊查询 在查询语句单个词长度小于255字符 星号(*)或问号(?)不能用在词的开头。 long数据类型和double数据类型不支持使用星号(*)或问号(?)进行模糊查询 不涉及。 搜索时间范围 单次搜索,时间跨度默认不超过30天。 如您有更大的使用需求,请提交工单申请。
  • 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点,需要保证单节点下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 集群中索引的最大主备分片数能够被分配到剩余数据节点和冷数据节点中,防止切换过程中出现节点下线后副本无法分配的情况。即“索引的主备分片数的最大值+1 ≤ 切换前的数据节点数和冷数据节点之和”。 切换前建议做好数据备份,防止升级故障数据丢失。 当集群处于切换可用区过程中,部分节点的AZ属性可能已经更改,此时节点的可用区可能会显示出中间状态,等待任务结束后,集群的可用区显示将恢复正常状态。 可用区高可用改造是基于原可用区进行扩展,切换时必须保留原可用区。如果是单AZ改造成两AZ或单AZ改造成三AZ的场景,必须所有节点一起改造;如果是两AZ改造成三AZ的场景,则既支持同时操作集群中所有类型的节点,也支持单独操作集群中某一类型的节点(例如,在已有两AZ的集群中,可以只对Master节点进行切换可用区,将Master节点形变为三AZ,而其他节点依旧是两AZ)。高可用改造会尽可能挪动最小的节点重建集群,改造完成后,因未挪动节点的yml配置更新,需要重启集群才能生效。 可用区平移切换一次只能迁移一个可用区,切换时选择的可用区只能有一个不同。平移切换支持同时操作集群中所有类型的节点,或者单独操作集群中某一类型的节点(例如,在已有两AZ的集群中,可以只对Master节点进行平移切换,将Master节点从当前AZ迁移到另一个AZ,而其他节点依旧在当前AZ)。除了单AZ平移切换场景,其他的多AZ平移切换场景均需要重启集群生效。
  • 示例流程 图1 给用户授权 CSS 权限流程 创建用户组并授权 在 IAM 控制台创建用户组,并授予 云搜索服务 权限。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1.创建用户组并授权中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择 云搜索 服务 CS S,进入CSS主界面,单击右上角“创建集群”,尝试购买CSS集群,如果无法购买CSS集群(假设当前权限仅包含CSS ReadOnlyAccess),表示“CSS ReadOnlyAccess”已生效。 在“服务列表”中选择除云搜索服务外(假设当前策略仅包含CSS ReadOnlyAccess)的任一服务,如果提示权限不足,表示“CSS ReadOnlyAccess”已生效。
  • 查看集群运行状态和存储容量状态 在云搜索服务管理控制台总览页,直接展现当前云搜索服务中已有集群的状态以及集群存储容量状态。 表1 集群状态说明 状态 说明 可用 表示集群服务正常运行中,并为用户提供服务。 异常 表示集群创建失败或不可用。 如果此集群处于“不可用”状态,支持删除集群操作或将集群正常状态时创建的快照恢复至其他集群。无法执行扩容集群、访问Kibana、创建快照或将快照恢复至此集群的操作。建议不要执行导入数据的操作,避免数据丢失。您可以查看监控或重启集群,但根据集群故障情况不同这些操作可能执行失败,当执行失败时,请及时联系技术支持。 处理中 表示集群正处在重启中、扩容中、备份中或恢复中。 创建中 表示集群正处在创建过程中。 表2 集群存储容量状态 状态 说明 正常 表示集群中所有节点存储容量使用率小于50%。 警告 表示集群中任一节点存储容量使用率大于等于50%,小于80%。 危险 表示集群中任一节点存储容量使用率大于等于80%。建议增加集群的存储容量,以便能够正常使用集群进行数据搜索或分析。 异常 表示未能查询到集群的存储容量信息。例如,集群运行故障,状态为“异常”时,此集群的存储容量状态为“异常”。
  • 集群列表概览 集群列表显示云搜索服务所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端。集群列表参数说明如表1所示。 在集群列表右上角,您可以指定集群名称、集群ID、企业项目或私有IP,然后单击进行查找。也可以单击右上角的,刷新集群列表。单击可以下载全量的集群列表信息。 表1 集群列表说明 参数 描述 名称/ID 表示集群的名称和ID。单击集群名称可进入集群“基本信息”页面,展现了集群的基本信息。集群ID是系统自动生成的,是集群在服务中的唯一标示。 集群状态 展示集群当前的状态。集群状态说明请参见查看集群运行状态和存储容量状态。 任务状态 展示重启集群、扩容集群、备份集群、恢复集群等任务的状态。 版本 表示此集群中Elasticsearch的版本号。 创建时间 表示集群的创建时间。 企业项目 表示集群所归属的企业项目。 内网访问地址 集群的内网访问地址和端口号,您可以使用此参数接入集群。集群有多个节点时,此处显示多个节点的内网访问地址和端口号。 计费模式 呈现集群的计费模式,是“按需计费”还是“包年/包月”。 操作 展示集群可执行的操作入口,包含Kibana、监控信息、重启、删除等其他更多操作。当某一操作无法执行时,显示为灰色链接。 父主题: 管理集群
  • 检测项 检测任务会从如下项目对集群进行检测,如存在风险,可在智能运维列表查看风险项。 检查当前时刻集群的健康状态,其中red表示有主分片未分配,yellow表示有副分片未分配,green表示所有分片均已分配。 检测集群节点数与AZ(可用区)数,判定Elasticsearch分布式集群的高可用性。 检测集群索引是否开启副本,未设置副本的索引在节点发生故障后可能导致索引不可用,本地盘集群未设置副本会有数据丢失的风险。 检测集群是否存在kibana索引冲突。 检测节点磁盘用量百分比,节点磁盘存储过大可能导致节点无法分配新索引分片并影响集群性能。 检测集群数据节点/冷数据节点的存储用量是否均衡,不均衡的存储用量分布可能导致集群负载不均,读写延迟增加。 连续5分钟检测当前集群是否有节点脱离或不可用。 检测节点分片数量是否过多,单节点分片数量过多会消耗大量节点资源,读写请求时延增加,集群元数据更新缓慢等。 检测所有分片大小,分片太大可能导致查询性能下降,节点内存消耗增加,影响扩缩容以及节点故障时分片的恢复速率等。 检测当前集群是否存在可升级的版本。 检测集群7天内是否有快照备份失败,或7天内无快照备份记录。
  • 注意事项 第一次备份时,建议将所有索引数据进行备份。 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 创建快照之前,您需要进行基础配置,包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶,在首次设置后,不管自动创建快照还是手动创建快照,如果快照列表中已有可用的快照,则OBS桶将无法再变更,请谨慎选择存储OBS桶。 快照存储在OBS桶中需要额外收费,具体收费以 对象存储服务 为准。 如果OBS桶已经存储了快照,OBS无法变更,您可以使用这个方法修改:首先关闭快照功能,然后再开启快照功能,指定新的OBS桶。一旦关闭快照功能,之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。 备份与恢复过程中,支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明,当此集群正在进行创建快照或者恢复快照时,此时,自动创建快照任务将被取消。 CSS集群第一次快照是全量,后面再备份快照是在之前的快照基础上增量,CSS是增量快照逻辑,快照之间的文件会相互依赖。
  • 特性原理 在大规模数据集聚合分析场景下,主要的耗时开销集中在对数据分组聚合。提升分组聚合能力依赖几个关键特性: 排序键:数据按照排序键顺序存储。 聚簇键:包含于排序键,数据按照聚簇键聚簇在一起。 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理,从而提升聚合性能。 表1 特性参数 参数 说明 index.search.turbo.enabled 特性开关,默认为true。 index.sort.field 排序键。 index.cluter.field 聚簇键。
  • 场景描述 云搜索服务默认安装了开源的OpenDistro告警插件(opendistro_alerting),用于提供数据满足特定条件时的通知功能。该插件包含Dashboard、Monitors、Destinations三个组件,CSS服务在Destinations组件中适配了消息通知服务SMN,且仅支持通过SMN服务作为目的端(Destination)进行告警消息发送。 本文主要介绍如何在Kibana中通过OpenDistro告警插件设置Elasticsearch集群的SMN告警功能。 开源OpenDistro告警插件Opendistro Alerting的官方指导文档请参见:OpenDistro-Monitors。
  • 创建角色并授权 在Security页面创建角色,并为角色授权。 在“Security”中选择“Roles”,进入Open Distro Security Roles页面。 图6 添加角色 在Open Distro Security Roles页面,单击添加角色权限。 在Overview页签设置角色名“Role name”。 图7 添加角色名称 在“Cluster Permissions”页签设置CSS集群权限。根据业务需要选择相应的集群权限,不配置时表示角色不具有任何集群级别的权限。 “Permissions: Action Groups”:单击“Add Action Group”,可以设置集群权限。例如,集群只读权限选择read,表示仅可查看集群状态、集群节点等信息。 “Permissions: Single Permissions”:勾选Show Advanced后,单击“Add Single Permission”可以针对集群设置更精细的权限。例如设置为indices:data/read,表示仅指定索引的读取权限。 图8 Cluster Permissions页面 在“Index Permissions”页面设置索引权限。 “Index patterns”:单击“Add index permissions”配置为需要设置权限的索引名称,例如,索引模板名称为my_store。 建议索引名称和创建的用户名不要相同。 “Permissions: Action Groups”:单击“Add Action Group”,根据需要开通的权限设置。例如,只读权限选择Search。 “Tenant Permissions”页面设置角色权限,根据业务需要配置。 “Global permissions”:单击“Add Field”,设置角色的kibana读写权限,例如kibana_all_read或kibana_all_write权限。 “Tenant permissions”:单击“Add tenant pattern”,自行添加租户模式,并且为新增的租户模式设置kibana_all_read或kibana_all_write权限。 图9 Tenant Permissions页面 单击“Save Role Definition”,保存角色设置,即可看到设置的角色。
  • 为用户配置角色 创建好角色并为角色授予权限后,需要将角色映射到用户,用户才会获得被映射的角色所拥有的权限。 在“Security”中选择“Role Mappings”,进入Role Mappings页面,进行角色映射。 图10 角色映射 在Role Mappings页面,单击,选择角色“Role”,添加用户“Users”。 “Role”:选择待映射的角色名称。 “Users”:单击“Add User”,输入被映射角色的用户名称。 图11 用户和角色映射 添加完成后,单击“Submit”。 配置完成后,可以在Kibana中进行验证是否生效。
  • 约束限制 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 关于没有Master节点的集群,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半,缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 关于有Master节点的集群,每次缩容的Master节点个数要小于当前Master节点总数的一半,缩容后的Master节点个数必须是奇数且不小于3。
  • 约束限制 如果集群已经具有Maste节点和Client节点,则“形态变更”页面将不存在“添加Master/Client节点”页签。如此时需要添加Maste节点和Client节点,可以执行扩容任务。 添加Maste节点或Client节点时,不同节点类型的可配置节点数量不同,具体情况请参考表1。 表1 不同节点类型的节点数量说明 节点类型 节点数量的取值范围 Master节点 3~9的奇数 Client节点 1~32
  • 冷热数据切换 在创建集群的时候如果选择启用冷数据节点,冷数据节点将会打上“cold”标签,用来表示冷节点。同时其他数据节点将会上升为热节点,会被打上“hot”标签。用户可以通过配置指定索引,将数据分配到冷热节点。 通过设置template,可以通过模板将相应的index存储到指定冷热节点。 如下,登录集群的Kibana Console页面,配置myindex开头的索引,储存在冷节点上面。 这样可以通过模板在创建的时候把myindex*的数据存储在冷数据节点上面。 使用以下命令创建模板: PUT _template/test { "order": 1, "index_patterns": "myindex*", "settings": { "refresh_interval": "30s", "number_of_shards": "3", "number_of_replicas": "1", "routing.allocation.require.box_type": "cold" } } 同时也可以单独对已经创建好的索引进行操作。 PUT myindex/_settings { "index.routing.allocation.require.box_type": "cold" } 也可以去掉冷热数据配置,不受冷热数据标签影响。 PUT myindex/_settings { "index.routing.allocation.require.box_type": null }
  • 监控指标 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象:CSS集群。本章节介绍Logstash集群的监控指标。Elasticsearch集群所支持的监控指标请见Elasticsearch&OpenSearch集群支持的监控指标。 监控的监控周期(原始指标):1分钟 累计值:从节点启动时开始叠加数值,当节点重启后清零重新累计。 表1 云搜索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 jvm_heap_usage JVM堆使用率 节点JVM堆内存使用率。 单位:百分比。 0-100% jvm_old_gc_count JVM老年代总GC次数 节点“老年代”垃圾回收的运行次数。 ≥ 0 jvm_old_gc_time JVM老年代总GC时间 节点执行“老年代”垃圾回收所花费的时间。 单位:ms ≥ 0 ms jvm_young_gc_count JVM年轻代总GC次数 节点“年轻代”垃圾回收的运行次数。 ≥ 0 jvm_young_gc_time JVM年轻代总GC时间 节点执行“年轻代”垃圾回收所花费的时间。 单位:ms ≥ 0 ms max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比 0-100% max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM Young GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_young_gc_count 最大JVM Young GC次数 CSS集群中各个节点的JVM Young GC次数累计值的最大值。 ≥ 0 max_jvm_old_gc_time 最大JVM Old GC耗时 CSS集群中各个节点的JVM Old GC耗时累计值的最大值。 单位:ms ≥ 0 ms max_jvm_old_gc_count 最大JVM Old GC次数 CSS集群中各个节点的JVM Old GC次数累计值的最大值。 ≥ 0 max_cpu_usage 最大CPU利用率 CSS集群中各个节点的CPU利用率的最大值。 单位:百分比 0-100% cpu_usage CPU利用率 CPU利用率。 0-100% load_average 节点Load值 操作系统中1分钟平均排队任务数。 ≥ 0 max_load_average 最大节点Load值 CSS集群中各个节点在操作系统中1分钟平均排队任务数的最大值。 ≥ 0 avg_cpu_usage 平均CPU使用率 CSS集群中各节点CPU利用率的平均值。 单位:百分比 0-100% avg_load_average 平均节点Load值 CSS集群中各节点在操作系统中1分钟平均排队任务数的平均值。 ≥ 0 avg_jvm_heap_usage 平均JVM堆使用率 CSS集群中各节点JVM堆内存使用率的平均值。 单位:百分比 0-100% avg_jvm_old_gc_count JVM老年代平均GC次数 CSS集群中各个节点“老年代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_old_gc_time JVM老年代平均GC时间 CSS集群中各个节点执行“老年代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms avg_jvm_young_gc_count JVM年轻代平均GC次数 CSS集群中各个节点“年轻代”垃圾回收的运行次数的累计值的平均值。 ≥ 0 avg_jvm_young_gc_time JVM年轻代平均GC时间 CSS集群中各个节点执行“年轻代”垃圾回收所花费的时间累计值的平均值。 单位:ms ≥ 0 ms sum_events_in 集群下所有节点经过input插件的数据总数 该指标用于统计所有节点经过input插件的数据总数。 ≥ 0 sum_events_filtered 集群下所有节点经过filtered播件的数据总数 该指标用于统计所有节点经过过滤处理的数据总数。 ≥ 0 sum_events_out 集群下所有节点经过out插件的数据总数 该指标用于统计所有节点经过out插件的数据总数。 ≥ 0 events_in 当前节点经过input插件的数据数 该指标用于统计当前节点经过input插件的数据数。 ≥ 0 events_filtered 当前节点经过filtered插件的数据数 该指标用于统计当前节点过滤处理的数据数。 ≥ 0 events_out 当前节点经过out插件的数据数 该指标用于统计当前节点经过out插件的数据数。 ≥ 0
  • 低基高基字段混合 对于低基字段和高基字段混合的场景,假如有如下查询语句: POST testindex/_search { "size": 0, "aggs": { "groupby_region": { "terms": { "field": "region" }, "aggs": { "groupby_host": { "terms": { "field": "host" }, "aggs": { "groupby_timestamp": { "date_histogram": { "field": "timestamp", "interval": "day" }, "aggs": { "avg_score": { "avg": { "field": "score" } } } } } } } } } } 先对低基字段做分组,然后再对高基字段做直方图,如果要对上述查询使用聚合增强特性,那么设置如下: 聚簇键是排序键的前缀子集。 高基字段必须在排序键中,且高基字段必须在最后一个低基字段后面。 // 索引设置 "settings" : { "index" : { "search" : { "turbo" : { "enabled" : "true" // 开启优化 } }, "sort" : { // 指定排序键 "field" : [ "region", "host", "timestamp", "other" ] }, "cluster" : { "field" : [ // 指定聚簇键 "region", "host" ] } } } 父主题: 聚合增强
  • 使用API导入数据 使用bulk API通过curl命令导入数据文件,如下操作以JSON数据文件为例。 使用API导入数据文件时,建议导入的数据文件大小不能超过50MB。 本案例以非安全模式的集群为例介绍curl命令导入数据,如果是其他模式的集群请参见通过Curl命令行接入集群接入集群。 登录即将接入集群的弹性云服务器。 登录弹性云服务器的详细操作请见登录弹性云服务器。 将JSON数据文件上传至ECS。 在ECS中存放JSON数据文件的路径下执行如下命令,将JSON数据导入到Elasticsearch集群。 其中,{Private network address and port number of the node}需替换为集群中节点的内网访问地址和端口号,当该节点出现故障时,将导致命令执行失败。如果集群包含多个节点,可以将{Private network address and port number of the node}替换为集群中另一节点的内网访问地址和端口号;如果集群只包含一个节点,则需要将该节点修复之后再次执行命令进行导入数据。test.json为导入数据的json文件。 curl -X PUT "http://{Private network address and port number of the node} /_bulk" -H 'Content-Type: application/json' --data-binary @test.json 其中,-X参数的参数值为命令,如“-X PUT”,-H参数的参数值为消息头,如“-H 'Content-Type: application/json' --data-binary @test.json”。添加的-k参数时,请勿将-k参数放置在参数与参数值之间。 示例:将“test.json”数据文件中的数据导入至Elasticsearch集群,此集群未进行通信加密,其中一个节点内网访问地址为“192.168.0.90”,端口号为“9200”。其中test.json文件中的数据如下所示: 低于7.x版本 {"index": {"_index":"my_store","_type":"products"}} {"productName": "2019秋装新款文艺衬衫女装","size": "M"} {"index": {"_index":"my_store","_type":"products"}} {"productName": "2019秋装新款文艺衬衫女装","size": "L"} 7.x版本及高于7.x版本 {"index": {"_index":"my_store"}} {"productName": "2019秋装新款文艺衬衫女装","size": "M"} {"index": {"_index":"my_store"}} {"productName": "2019秋装新款文艺衬衫女装","size": "L"} 导入数据的操作步骤如下所示: 可执行以下命令,创建my_store索引。 低于7.x版本 curl -X PUT http://192.168.0.90:9200/my_store -H 'Content-Type: application/json' -d ' { "settings": { "number_of_shards": 1 }, "mappings": { "products": { "properties": { "productName": { "type": "text" }, "size": { "type": "keyword" } } } } }' 7.x版本及高于7.x版本 curl -X PUT http://192.168.0.90:9200/my_store -H 'Content-Type: application/json' -d ' { "settings": { "number_of_shards": 1 }, "mappings": { "properties": { "productName": { "type": "text" }, "size": { "type": "keyword" } } } }' 执行以下命令,导入test.json文件中的数据。 curl -X PUT "http://192.168.0.90:9200/_bulk" -H 'Content-Type: application/json' --data-binary @test.json 本案例回显如下信息,表示数据导入成功。 {"took":204,"errors":false,"items":[{"index":{"_index":"my_store","_type":"_doc","_id":"DJQkBIwBbJvUd2769Wi-","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":0,"_primary_term":1,"status":201}},{"index":{"_index":"my_store","_type":"_doc","_id":"DZQkBIwBbJvUd2769Wi_","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"_seq_no":1,"_primary_term":1,"status":201}}]}
  • 新建集群的标签管理 登录云搜索服务管理控制台。 单击右上角的“创建集群”,进入创建集群页面。 在创建集群页面,“高级配置”选择“自定义”后,为集群添加标签。 您可以选择预定义标签,并为此标签设置“标签值”。您可以单击“查看预定义标签”,进入“标签管理服务”,了解此用户下已有的标签。 您也可以自定义“标签键”和“标签值”。 图1 创建集群时添加标签 云搜索服务的每个集群最多可以设置20个标签。当设置不正确时,可单击标签右侧的“删除”按钮,删除此标签。当不设置标签时,可保持为空。 表1 标签命名规则 参数 说明 标签键 对于同一个集群,标签键值唯一。 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @。不能以空格开头和结尾。 不能为空。 标签值 长度不超过64个字符。 只能包含数字、英文字母、下划线、中划线、中文以及特殊字符_ . : = + - @/。不能以空格开头和结尾。 不能为空。
共100000条