注意事项 目前仅default类型、CCE类型、云服务类型、ECS类型的Prometheus实例支持指标查看、新增和废弃功能。 default类型的Prometheus实例下，指标名以“aom_”、“apm_”开头以及资源类型为ICAgent的指标暂不支持废弃。 ECS类型的Prometheus实例仅支持展示和配置UniAgent插件采集的指标。 CCE类型的Prometheus实例仅支持废弃如下指标： 只有在CCE “插件市场” 页面或AOM “集成中心” 页面安装的3.9.0以上的云原生监控插件（kube-prometheus-stack）上报的指标可以被废弃，且只有kube-prometheus-stack处于“运行中”状态时，指标才能废弃成功。 查看kube-prometheus-stack插件状态的方法：登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件中心”，在右侧找到“云原生监控插件”卡片，查看插件的状态。

更多操作 您还可以根据需要执行以下操作，具体请参见表 相关操作。 表5 相关操作 操作 说明 改变指标排列顺序 在“指标量（最近10分钟）”或“占比”列后单击，可改变指标在列表中的排列顺序。为默认排序，为按大小正序排序（即数据大的显示在最后方），为按大小倒序排序（即数据小的显示在最后方）。 新增指标 单击“新增指标”，在指标列表中选择需要新增的指标，单击“确定”。 说明： 单次新增指标最多支持新增100个指标。 废弃指标 废弃一个指标：选择一个指标，单击操作列的。 废弃一个或多个指标：选中一个或多个指标前的复选框，在弹出框中选择“废弃”，可以废弃一个或多个指标。 说明： 单次废弃指标最多支持废弃100个指标。

数据库授权 登录集群执行以下命令： kubectl exec -it ${mysql_podname} bash mysql -u root -p 图1 执行命令 登录数据库，执行以下命令： CREATE USER 'exporter'@'x.x.x.x(hostip)' IDENTIFIED BY 'xxxx(password)' WITH MAX_USER_CONNECTIONS 3; GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'x.x.x.x(hostip)'; 验证授权是否成功。 输入以下命令查询sql，查看是否有exporter的数据，host为mysql所在节点的IP。 select user,host from mysql.user; 图2 查询sql

采集CCE集群的业务数据 通过新增PodMonitor方式为应用配置可观测监控Prometheus版的采集规则，监控部署在CCE集群内的应用的业务数据。 配置信息如下： apiVersion: monitoring.coreos.com/v1 kind: PodMonitor metadata: name: mysql-exporter namespace: default spec: namespaceSelector: matchNames: - default # exporter 所在的命名空间 podMetricsEndpoints: - interval: 30s path: /metrics port: metric-port selector: matchLabels: k8s-app: mysql-exporter

更多仪表盘操作 仪表盘创建完成后，您还可以执行表5中的操作。 表5 相关操作 操作 说明 设置列表项 在仪表盘列表右上角单击，通过选中/取消选中各展示项前的复选框，自定义列表项的展示/隐藏。 收藏仪表盘 选择一个仪表盘，单击“操作”列的。 移动仪表盘分组 移动一个仪表盘分组：选择一个仪表盘，单击“操作”列的，选择“移动分组”。 批量移动仪表盘分组：选中多个仪表盘前的复选框，在弹出框中选择“移动分组”可修改仪表盘分组。 删除仪表盘 删除一个仪表盘：选择一个仪表盘，单击“操作”列的，选择“删除”。 批量删除仪表盘：选中多个仪表盘前的复选框，在弹出框中选择“删除”可批量删除仪表盘。 修改仪表盘分组名称 在“仪表盘”列表，单击仪表盘名称。 进入对应仪表盘页面，在“仪表盘”页面左上角，单击仪表盘名称。 将光标移至待操作的仪表盘分组名称后，单击，选择“编辑”可修改分组名称。 删除仪表盘分组 删除仪表盘分组功能有两种入口方式： 入口一： 在“仪表盘”列表，单击仪表盘名称。 进入对应仪表盘页面，在“仪表盘”页面左上角，单击仪表盘名称。 将光标移至待操作的仪表盘分组名称后，单击 ，选择“删除”。 在弹出框中单击“确定”，删除仪表盘分组。 入口二：在仪表盘分组列表中，将光标移至需要删除的仪表盘分组名称后，单击，选择“删除”，在弹出框中单击“确定”，删除仪表盘分组。 删除仪表盘中的图表 选择待操作的仪表盘，在“仪表盘”页面右上角单击，将光标移至某个图表框右上角，单击，在下拉列表中选择“删除图表”。 单击，将已创建图表删除。 调整仪表盘中图表的位置 选择待操作的仪表盘，在“仪表盘”页面右上角单击，将光标移至待操作的图表框内，选中该图表，可将该图表移动至仪表盘内任意位置。 单击，调整当前图表布局。 全屏显示 选择待操作的仪表盘，在“仪表盘”页面右上角单击，可全屏显示仪表盘。 退出全屏显示 将光标移至屏幕上方，单击弹出的，或者单击，或者按键盘中的“Esc”可退出全屏模式。 手动刷新 选择待操作的仪表盘，在“仪表盘”页面右上角单击可手动刷新当前页面。 自动刷新 选择待操作的仪表盘，在“仪表盘”页面右上角单击后的下拉箭头，开启仪表盘自动刷新开关。 手动刷新单个图表 选择待操作的仪表盘，将光标移至某个图表框右上角，单击，在下拉列表中选择“刷新”，可手动刷新当前图表。 修改单个图表 选择待操作的仪表盘，将光标移至某一图表框右上角，单击，选择“编辑”，可修改图表数据，具体操作请参见添加图表至仪表盘。 修改完成后，单击“确定”。 在“仪表盘”页面右上角单击，保存修改结果。 新增告警规则 添加图表时，新增告警规则 单击页面中的“添加图表”或单击页面右上角的。 选择指标后，在指标列表右上方单击，可为当前添加的所有指标新增告警规则。具体操作请参见创建指标告警规则。 修改图表时，新增告警规则 选择待操作的仪表盘，将光标移至某一图表框右上角，单击，选择“编辑”。 选择指标后，在指标列表右上方单击，可为当前添加的所有指标新增告警规则。具体操作请参见创建指标告警规则。 全屏显示单个图表 选择待操作的仪表盘，将光标移至某一图表框右上角，单击，选择“全屏”，可全屏显示图表数据。 退出全屏显示单个图表 将光标移至屏幕上方，单击弹出的，或者单击，选择“退出全屏”，或者按键盘中的“Esc”可退出全屏模式。 轮播仪表盘 选择待操作的仪表盘，在“仪表盘”页面右上角单击。具体操作请参见设置全屏模式在线时长。 仪表盘设置 选择待操作的仪表盘，在“仪表盘”页面右上角单击。具体操作请参见新增变量。 查询时间设置 选择待操作的仪表盘，在“仪表盘”页面右上角单击前面的下拉框，在下拉框可选择“近30分钟”、“近1小时”、“近6小时”、“近一天”、“近一周”、“自定义时间段”。若选择“自定义时间段”，在弹出日历表中选择对应的时间段，时间可精确至秒数。单击“确定”后，可根据选择时间查询仪表盘中所有图表数据。 导出仪表盘 可将该仪表盘的指标图表数据以JSON格式导出，并保存到本地便于进一步分析。导出仪表盘功能有两种入口方式： 入口一：在仪表盘列表中，选择一个仪表盘，单击“操作”列的，选择“导出仪表盘”。 入口二：选择待操作的仪表盘，在“仪表盘”页面右上角单击，并选择“导出仪表盘”。 导入仪表盘 将本地存储的JSON格式仪表盘数据导入AOM，便于在AOM上可视化分析。导入仪表盘功能有两种入口方式： 入口一：在“仪表盘”页面，单击“导入仪表盘”。 入口二：在仪表盘分组列表中，将光标移至需要导入仪表盘的的分组名称后，单击，选择“导入仪表盘”。 导入方法： 选择待导入的JSON格式仪表盘文件，上传或拖入“导入仪表盘”对话框的文本上传区域，然后单击“创建”。 在“新建仪表盘”对话框，依次设置仪表盘名称等信息，具体请参见表1。 设置完成，单击“创建”。 导出监控报告 选择待操作的仪表盘，在“仪表盘”页面右上角单击，选择“导出折线图监控报告”，可将该指标的折线图表以CSV格式导出，以便进行本地存储及进一步分析。 表6 日志图表相关操作 操作 说明 创建日志组 输入日志组名称。日志组名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。 设置日志存储时间。存储时间默认为7天，可设置为1~30天内的时间节点。超出存储时间的日志将会被自动删除，您可以按需将日志数据转储至OBS桶中长期存储。 单击“确定”完成创建。 创建日志流 输入日志流名称。日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。 单击“确定”完成创建。

注意事项 系统预置的仪表盘模板都保存在“系统内置”分组下，包含容器、云服务、原生中间件、应用四种。预置仪表盘不允许删除或调整分组，仪表盘模板不支持创建。 系统预置的容器类型仪表盘需要在CCE集群下的“插件管理”中安装“kube-prometheus-stack”插件后，才能正常使用。 系统预置的原生中间件类型仪表盘需要在UniAgent中创建中间件采集任务后，才能正常使用。 1个区域中最多可创建1000个仪表盘分组。 1个区域中最多可创建1000个仪表盘。 1个仪表盘中最多可添加30个图表。 1个折线图最多支持展示200条指标数据。 1个数字图只能展示1个资源，最多可添加12个资源，默认展示第一个资源。

采集CCE集群的业务数据 通过新增PodMonitor方式为应用配置可观测监控Prometheus版的采集规则，监控部署在CCE集群内的应用的业务数据。 如下示例中指标采集的周期是30秒，所以等待大概30秒后才能在AOM的界面上查看到上报的指标。 apiVersion: monitoring.coreos.com/v1 kind: PodMonitor metadata: name: elasticSearch-exporter namespace: default spec: namespaceSelector: # 选择监控Exporter部署所在的namespace matchNames: - default # exporter所在的命名空间 podMetricsEndpoints: - interval: 30s # 设置指标采集周期 path: /metrics # 填写Prometheus Exporter对应的Path的值，默认/metrics port: metric-port # 填写Prometheus Exporter对应YAML的ports的name selector: # 填写要监控Exporter Pod的Label标签，以定位目标Exporter matchLabels: k8s-app: elasticSearch-exporter

操作场景 使用ElasticSearch过程中需要对ElasticSearch运行状态进行监控，例如集群及索引状态等。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控ElasticSearch运行状态。本文介绍如何部署ElasticSearch Exporter以及实现ElasticSearch Exporter告警接入等操作。 为了方便安装管理Exporter，推荐使用CCE进行统一管理。

告警标签说明 告警标签可应用于告警降噪模块的分组规则、抑制规则和静默规则，告警管理系统根据标签属性进行告警管理和通知。 告警标签为key:value键值对格式，支持用户自定义。key 和value只能包含中文、字母、数字和下划线。 如果在创建告警规则时设置了告警标签，触发的告警会自动添加该标签为告警属性。 消息模板中通过$event.metadata.key1变量获取告警标签信息，具体请参见消息模板变量说明。 如您的组织已经设定AOM服务的相关标签策略，则需按照标签策略规则添加告警标签。标签如果不符合标签策略的规则，则可能会导致添加标签失败，请联系组织管理员了解标签策略详情。

更多操作 日志指标规则创建完成后，您还可以执行表3中的相关操作。 表3 相关操作 操作 说明 查看日志指标规则 在左侧日志指标规则列表中，单击规则名称。 在右侧可查看该规则的启用状态、日志类型、接入指标等信息。 停用日志指标规则 在左侧日志指标规则列表中，单击规则名称。 在右侧页面右上角，单击“停用规则”。 编辑日志指标规则 在左侧日志指标规则列表中，单击规则名称。 在右侧页面右上角，单击，在下拉列表中选择“编辑”。具体操作请参见创建日志指标规则。 删除日志指标规则 在左侧日志指标规则列表中，单击规则名称。 在右侧页面右上角，单击，在下拉列表中选择“删除”。 添加接入指标 在左侧日志指标规则列表中，单击规则名称。 在右侧页面单击“添加接入指标”。具体操作请参见添加接入指标。 编辑接入指标 在左侧日志指标规则列表中，单击规则名称。 在右侧页面选择一个接入指标卡片，单击。具体操作请参见添加接入指标。 删除接入指标 在左侧日志指标规则列表中，单击规则名称。 在右侧页面选择一个接入指标卡片，单击。 搜索接入指标 在左侧日志指标规则列表中，单击规则名称。 在右侧页面“添加接入指标”后的搜索框中输入规则名称关键字，单击后显示匹配对象。

管理接入规则 您可以在“接入LTS”界面对已添加的接入规则进行搜索、查看、编辑和删除。 搜索 单击搜索框，选择搜索维度，如选择“工作负载”，然后继续选择该维度下的可选项。如未选择搜索维度，直接输入搜索关键字，则默认按照接入规则名称搜索。 查看 在规则列表中可查看已创建的接入规则的集群名称、命名空间等信息。单击搜索框右上方的，自定义列表项的展示。单击“接入日志组”列的日志组名称，可以跳转到LTS控制台的日志组详情。 编辑 单击“操作”列的“编辑”，可以编辑该接入规则。修改接入规则的影响请参见修改映射。 删除 单击“操作”列的“删除”，可以删除该接入规则。勾选多个规则名称前的复选框，单击“批量删除”，可批量删除接入规则。 删除接入规则或删除映射日志流不可恢复，请您谨慎操作。删除接入规则的影响请参见删除映射。

数据订阅格式说明 AOM格式的指标JSON格式代码片断 package metric type MetricDatas struct { Metrics []Metrics `json:"metrics"` ProjectId string `json:"project_id"` } type Metrics struct { Metric Metric `json:"metric"` Values []Value `json:"values"` CollectTime int64 `json:"collect_time"` } type Metric struct { Namespace string `json:"namespace"` Dimensions []Dimension `json:"dimensions"` } type Value struct { Value interface{} `json:"value"` Type string `json:"type"` Unit string `json:"unit"` StatisticValues string `json:"statisticvalues"` MetricName string `json:"metric_name"` } type Dimension struct { Name string `json:"name"` Value string `json:"value"` } kafka消息示例 key:, value:{"metrics":[{"metric":{"namespace":"PAAS.NODE","dimensions":[{"name":"nodeName","value":"test-aom-4-vss-cop-master-1"},{"name":"nodeIP","value":"1.1.1.1"},{"name":"hostID","value":"75d97111-4734-4c6c-ae9e-f6111111111"},{"name":"nameSpace","value":"default"},{"name":"clusterId","value":"46a7bc0d-1d8b-11ea-9b04-333333333333333"},{"name":"clusterName","value":"test-aom-4-vss-111"},{"name":"diskDevice","value":"vda"},{"name":"master","value":"true"}]},"values":[{"value":0,"type":"","unit":"Kilobytes/Second","statisticvalues":"","metric_name":"diskReadRate"},{"value":30.267,"type":"","unit":"Kilobytes/Second","statisticvalues":"","metric_name":"diskWriteRate"}],"collect_time":1597821030037}],"project_id":"111111111111111111111"} 告警数据格式说明 示例： { "events": [{ "id": "4346299651651991683", "starts_at": 1597822250194, "ends_at": 0, "arrives_at": 1597822250194, "timeout": 300000, "resource_group_id": "312313123112222222222232131312131", "metadata": { "kind": "Pod", "event_severity": "Major", "resource_type": "service", "clusterId": "6add4ef5-1358-11ea-a5bf-111111111", "event_type": "alarm", "clusterName": "cce-ief-4516140c-96ca-4a5f-8d85-1111111", "namespace": "PAAS.NODE", "name": "test15769793809553052-f5557bd7f-qnfkm", "event_name": "调度失败##FailedScheduling", "resource_id": "clusterName=cce-ief-4516140c-96ca-4a5f-8d85-111111;clusterID=6add4ef5-1358-11ea-a5bf-11111111111;kind=Pod;namespace=30d5758f166947c6b164af604a654b09;name=test15769793809553052-f5557bd7f-qnfkm;uid=589fc746-245d-11ea-a465-fa163e5fc15d", "nameSpace": "30d5758f166947c6b164af604a654b09", "resource_provider": "CCE", "nodeID": "589fc746-245d-11ea-a465-fa163e5fc15d" }, "annotations": { "alarm_probableCause_zh_cn": "FailedScheduling", "alarm_probableCause_en_us": "FailedScheduling", "message": "0/110 nodes are available: 1 node(s) had taints that the pod didn't tolerate, 109 node(s) didn't match node selector." }, "attach_rule": { } }], "project_id": "312313123112222222222232131312131" } 参数说明： 表3 告警参数 参数 参数类型 描述 events Array of objects，详见 表4。 事件或者告警详情。 project_id String 租户从IAM申请到的projectid，一般为32位字符串。 表4 EventModel 参数 参数类型 描述 id String 事件或者告警id，系统自动生成。 starts_at Long 事件或者告警产生的时间，CST毫秒级时间戳。 ends_at Long 事件或者告警清除的时间，CST毫秒级时间戳，为0时表示未删除。 arrives_at Long 事件或者告警到达AOM的时间，CST毫秒级时间戳。 timeout Long 告警自动清除时间。毫秒数，例如一分钟则填写为60000。默认清除时间为3天。 resource_group_id String 资源组预留字段，当前默认和projectid的值一样。 metadata Object 事件或者告警的详细信息，为键值对形式。必须字段为： event_name：事件或者告警名称,类型为String； event_severity：事件级别枚举值。类型为String，四种类型 "Critical", "Major", "Minor", "Info"； event_type：事件类别枚举值。类型为String，event为普通告警，alarm为告警事件； resource_provider：事件对应云服务名称。类型为String； resource_type：事件对应资源类型。类型为String； resource_id：事件对应资源信息。类型为String。 annotations Object 事件或者告警附加字段，可以为空。 attach_rule Object 事件或者告警预留字段，为空。

创建订阅规则 登录AOM 2.0控制台。 在左侧导航栏中选择“设置”，进入全局配置界面。 在左侧导航栏中选择“数据订阅”，单击“创建订阅规则”，根据实际需求，选择订阅内容为“分布式消息DMS订阅”或“Webhook”。 订阅内容选择“分布式消息服务DMS”。 请参考表1配置参数，设置相关参数后，单击“确定”。 表1 数据订阅规则参数说明 参数 说明 规则名称 订阅规则名称。 只能由大小写字母、数字、中划线和下划线组成，且必须以英文字母开头，最多不能超过64个字符。 订阅内容 选择“分布式消息DMS订阅”。 数据类型 支持“指标”和“告警”。 Prometheus实例 从下拉列表中选择需要转发指标的Prometheus实例。下拉列表中显示当前账号下的所有Remote Write类型Prometheus实例。 该功能当前受限开放，如有需求可以通过提交工单，为您开放此功能。 实例 从下拉列表中选择合适的DMS实例。如现有DMS实例均不满足需要，请单击“创建DMS实例”创建。 验证DMS实例连通性。 数据订阅至DMS需要在IAM委托界面增加名为 "apm_admin_trust"委托，请确认是否已经创建。创建“apm_admin_trust”委托的详细操作请参见如何创建委托apm_admin_trust。 输入DMS用户名和密码。 单击“验证并保存DMS配置信息”。 选择数据发送topic后，单击“确定”。 订阅内容选择“Webhook”。 请参考表2配置参数，设置相关参数后，单击“确定”。 表2 数据订阅规则参数说明 参数 说明 规则名称 订阅规则名称。 只能由大小写字母、数字、中划线和下划线组成，且必须以英文字母开头，最多不能超过64个字符。 订阅内容 选择“webhook”。 自建普罗 Remote Write地址 请输入用户侧Prometheus实例的Remote Write地址，作为指标发送的目标地址。 传输请求的协议，请根据实际情况从下拉列表中选择，推荐使用HTTPS协议。 数据类型 默认为“指标”。 Prometheus实例 从下拉列表中选择需要转发指标的Prometheus实例。下拉列表中显示当前账号下的所有Remote Write类型Prometheus实例。 鉴权方式 访问用户侧Prometheus实例的认证方式。 基础认证：输入用户侧Prometheus实例的用户名和密码。 Token：输入访问用户侧Prometheus实例的Token。 无认证：无需认证，即可访问用户侧Prometheus实例。 规则创建成功后，即可在规则列表中查看当前创建的数据订阅规则。

更多操作 表1 仪表盘相关操作 操作 说明 全屏显示 选择待操作的仪表盘，在“仪表盘”页面右上角单击，可全屏显示仪表盘。 退出全屏显示 将光标移至屏幕上方，单击弹出的，或者单击，或者按键盘中的“Esc”可退出全屏模式。 手动刷新 选择待操作的仪表盘，在“仪表盘”页面右上角单击可手动刷新当前页面。 自动刷新 选择待操作的仪表盘，在“仪表盘”页面右上角单击后的下拉箭头，开启仪表盘自动刷新开关。 轮播仪表盘 选择待操作的仪表盘，在“仪表盘”页面右上角单击。具体操作请参见设置全屏模式在线时长。 查询时间设置 选择待操作的仪表盘，在“仪表盘”页面右上角单击前面的下拉框，在下拉框可选择“近30分钟”、“近1小时”、“近6小时”、“近一天”、“近一周”、“自定义时间段”。若选择“自定义时间段”，在弹出日历表中选择对应的时间段，时间可精确至秒数。单击“确定”后，可根据选择时间查询仪表盘中所有图表数据。 导出监控报告 选择待操作的仪表盘，在“仪表盘”页面右上角单击，选择“导出折线图监控报告”，可将该指标的折线图表以CSV格式导出，以便进行本地存储及进一步分析。

注意事项 按搜索分析创建告警规则功能目前在邀测中，暂不支持申请开通。 按SQL统计创建告警规则功能仅支持全部用户使用的局点有：华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-上海二、中国-香港、亚太-曼谷、亚太-新加坡，支持部分白名单用户使用的局点有：华北-北京一、西南-贵阳一、亚太-曼谷、华南-深圳、华北-乌兰察布一、华北-乌兰察布二零二，其他局点暂不支持该功能。