-
CFW仪表盘模板 CFW仪表盘模板分组里有三种仪表盘模板,分别是CFW流量日志中心、CFW访问日志中心和CFW攻击日志中心。 CFW流量日志中心:该仪表盘主要展示CFW日志的互联网访问流量趋势、互联网访问流入地域分布、互联网访问应用分布、互联网访问源IP TOP5、互联网访问目的IP TOP5、主动外联流量趋势、主动外联目的地域分布、主动外联-应用分布、主动外联源IP TOP5和主动外联目的IP TOP5等指标。 CFW访问日志中心:该仪表盘主要展示CFW日志的互联网访问-拦截趋势、主动外联-拦截趋势、互联网阻断应用TOP5、互联网阻断目的TOP5、互联网阻断来源TOP5、主动外联阻断应用TOP5、主动外联阻断目的TOP5和主动外联阻断来源TOP5等指标。 CFW攻击日志中心:该仪表盘主要展示CFW日志的攻击趋势、攻击来源分布、TOP5 执行命令、攻击目的TOP5和攻击来源TOP5等指标。
-
NGINX仪表盘模板 NGINX仪表盘模板分组里有三种仪表盘模板,分别是NGINX监控中心、NGINX访问中心和NGINX秒级监控。 NGINX监控中心:该仪表盘主要展示NGINX日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 NGINX访问中心:该仪表盘主要展示NGINX日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 NGINX秒级监控:该仪表盘主要展示NGINX日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
-
ELB仪表盘模板 ELB仪表盘模板分组里有三种仪表盘模板,分别是ELB监控中心、ELB访问中心和ELB秒级监控。 ELB监控中心:该仪表盘主要展示ELB日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 ELB访问中心:该仪表盘主要展示ELB日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 ELB秒级监控:该仪表盘主要展示ELB日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
-
APIG仪表盘模板 APIG仪表盘模板分组里有三种仪表盘模板,分别是APIG监控中心、APIG访问中心和APIG秒级监控。 APIG监控中心:该仪表盘主要展示APIG日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 APIG访问中心:该仪表盘主要展示APIG日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 APIG秒级监控:该仪表盘主要展示APIG日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
-
搜索语法及样例 搜索语法: 表2 搜索语法 条件 说明 关键字精确搜索 针对日志中的关键字进行精确搜索,大小写敏感。关键词指相邻两分词符之间的单词。 如果对分词符规则不熟悉,建议在关键词后加上*,例如:error*,帮助搜索。 短语精确搜索 针对日志中的短语进行精确搜索,大小写敏感。 && 搜索结果的交集。 || 搜索结果的并集。 AND 搜索结果的交集。 and 搜索结果的交集。 OR 搜索结果的并集。 NOT 搜索结果不包含NOT后的关键字。 not 搜索结果不包含not后的关键字。 ? 模糊搜索能力,?放在关键字中间或末尾,用于替代一个字符。 * 模糊搜索能力,*只能放在关键字后,用于替代0到n个字符。 > 搜索结构化long或float类型字段大于某个数值,例如:num>10。 < 搜索结构化long或float类型字段小于某个数值,例如:num < 10。 = 搜索结构化long或float类型字段等于某个数值,例如:num = 10。 >= 搜索结构化long或float类型字段大于等于某个数值,例如:num >= 10。 <= 搜索结构化long或float类型字段小于等于某个数值,例如:num <= 10。 : 用于字段查询(Key:Value),例如:request_method:GET。 如果字段名称或者字段值内有空格、冒号(:)等保留字符,请使用双引号("")包裹字段名称或者字段值,例如"file info":apsara。 "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符。例如:"and"。 表示查询包含and的日志,此处的and不代表运算符。 在字段查询中双引号("")内的所有词被当成一个整体。 \ 转义符号,用于转义双引号(""),转义后的引号表示符号本身。例如日志内容为instance_id:nginx"01",您可以使用instance_id:nginx\"01\"进行查询。 * 通配符查询,匹配零个、单个、多个字符。例如:host:abcd*c。 说明: 云日志服务会在所有日志中为您查询到符合条件的100个词,返回包含这100个词并满足查询条件的所有日志。 in 查询某字段值处于某数值范围内的日志,中括号表示闭区间,小括号表示开区间,两个数字之间使用空格分隔。例如 request_time in [100 200]或request_time in (100 200]。 说明: in只能为小写字母;仅支持long或float类型字段。 () 用于提高括号内查询条件的优先级(支持 and、or、not查询条件)。例如:(request_method:GET or request_method:POST) and status:200。 key:#"abc def" 字段查询。配置字段索引后,可以指定字段名称和字段值(Key:Value)进行查询。 #"abc def" 全文查询。配置分词符后,云日志服务根据您设置的分词符将整条日志拆分成多个词。可以指定关键字(字段名、字段值)和查询规则进行查询。 如果原始日志中本身包含搜索语法的关键字(&&、||、AND、OR、NOT、*、?、:、>、<、=、>=、<=),则不支持使用这些关键字来搜索日志。 搜索规则: 支持模糊搜索能力。 例如:输入error*,可以查找所有含有error的日志且高亮以error开头的日志内容。 支持键与值格式的多条件组合搜索,格式为:key1:value1 AND key2:value2或key1:value1 OR key2:value2。输入或选择key1:value1进行搜索后,需添加AND或OR,才可以在搜索框中继续输入或选择key2:value2对两个条件同时进行搜索。 支持单击关键词弹出菜单项,有复制、添加到查询和从查询中排出三种操作。 复制:复制该字段 添加到查询:在查询的语句中添加“AND field: value ” 从查询中排出:在查询的语句中添加“NOT field: value” 搜索样例: 搜索含有start的所有日志:start。 搜索含有start to refresh的所有日志:start to refresh。 搜索同时包含start和unexpected的日志数据:start && unexpected。 搜索同时包含start和unexpected的日志数据:start AND unexpected。 搜索包含start或者unexpected的日志数据:start || unexpected。 搜索包含start或者unexpected的日志数据:start OR unexpected 。 不包含query1的日志数据:NOT content : query1 。 搜索日志内容中含有error的所有日志:error*。 搜索日志内容中以“er”开头,以“or”结尾,并且中间有一个字符的所有日志:er?or。 搜索的关键词中含有分词符(:)时,搜索日志: content : "120.46.138.115:80" 或者 content : 120.46.138.115:80 。 搜索包含query1而且包含query2,但不包含query3的日志数据:query1 AND query2 AND NOT content : query3。 输入关键字查询日志时,关键字区分大小写,搜索的日志内容大小写敏感,高亮的日志内容大小写敏感。 全文搜索时,模糊搜索 “*”, “?” 不匹配特殊字符,例如:“-”、空格。 支持关键词模糊匹配搜索,关键词不能以“?”或“*”开头。例如:关键词可以输入"ER?OR"或"ER*R"。 使用关键词搜索时,当单条日志超过255长度时,可能无法精确查询。
-
日志搜索的常用操作 日志搜索的常用操作有添加告警、选择时间段展示日志、刷新等操作,具体参考如下图所示: 表1 操作 说明 回到旧版 单击按钮,可回到旧版日志搜索界面。 创建快速查询 单击按钮,创建快速查询。 添加告警 单击按钮,在弹出的新建告警规则页面,可配置告警规则。 选择时间段展示日志 单击下拉框选择时间段展示日志,支持的时间段有近1分钟、近5分钟、近15分钟、近1小时、近6小时、近1天、近1周及自定义时间段。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”可直接对日志进行刷新 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 简化字段详情 单击查看简化字段详情。 换行 单击按钮,搜索的日志内容将换行显示。 说明: 默认换行按钮开启。 下载日志 单击按钮,在弹出的下载日志页面中选择“本地下载”和“前往创建转储”。 本地下载:将日志文件直接下载到本地,单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地 说明: 选择以CSV格式导出日志后,本地以表格形式保存日志的具体标签信息。 选择导出TXT格式日志后,本地会以.txt格式保存日志的日志内容。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大100万条日志。 单击“前往创建转储”,跳转至配置转储页面。 版面设置 单击按钮,选择“版面设置”,在弹出的版面设置页面中,设置字段是否简化显示和可见性。 是否简化显示:开启该按钮,字段显示如图: 可见性:当关闭字段的可见性时,日志内容中将不显示。 JSON设置 单击按钮,选择“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
-
术语 AppGallery Connect (简称AGC) :为应用的创意、开发、分发、运营、经营各环节提供一站式服务,构建全场景智慧化的应用生态体验。 华为分析服务(Analytics Kit):属于AGC的子功能,主要针对移动应用、Web、快应用等产品用户行为分析平台,贴合业务场景,提供数据采集、数据管理、数据分析、数据应用的一体化解决方案,驱动企业实现精准拉新、产品优化、精益运营、业务增长。
-
接入流程 操作流程 说明 登陆AppGallery Connect 自2021年3月31日起,在华为云上注册的帐号为华为帐号,使用该帐号可以直接登陆AGC。在此之前的用户仍需要重新注册华为帐号。请注册或登陆AGC官网。 配置AppGallery Connect 参见创建项目和在项目中添加应用完成应用的创建。 开通华为分析服务。 选择开发平台 Android iOS Web 集成华为分析服务SDK 集成SDK 集成SDK 集成SDK 上报数据 接入Analytics,接入时需要调用接口,请调用Android实现日志接入LTS。 接入Analytics,接入时需要调用接口,请调用iOS实现日志接入LTS。 接入Analytics,接入时需要调用接口,请调用Web实现日志接入LTS。 其中日志上报区域、项目为使用LTS所在的区域和项目,日志组、日志流为在LTS中已创建的日志组和日志流。 日志上报后您可以在LTS中实时查看日志。 【可选】华为分析服务SDK自动采集事件、埋点上报预置事件、埋点上报自定义事件。
-
创建告警规则 在云日志服务管理控制台,单击“告警”。 在告警页面默认显示“告警列表”,单击“告警规则”切换至告警规则页面。 图1 告警规则页面 单击“创建”,在界面右侧弹出“新建告警规则”页面。 在“新建告警规则”页面,配置告警规则相关参数。 表1 配置告警规则参数 参数名称 说明 校验规则 样例 规则名称 告警规则的名称。 名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为 1-64个字符。 LTS-Alarm 描述 对该规则进行简要描述。 长度不能超过64个字符。 - 统计类型 包括“关键词统计”和“SQL统计”。 - SQL统计 相关图表 有两种添加方式:直接添加和从图表导入 直接添加:单击“直接添加”,可选择日志组、日志流。具体的参数配置信息如下: 日志组名称:日志组的名称,必选项。 日志流名称:日志组下的日志流名称,必选项。 说明: 若所选日志流未配置结构化规则, 请先配置结构化 查询时间:当前所选日志的查询时间,可选项。查询时间(1 ~ 60分钟/1 ~ 24小时),单位为分钟或小时。 查询语句:可视化查询语句,必填项。具体请参考SQL语法查询。 从图表导入:单击,进入“添加可视化图表”页面,选择对应日志组、日志流下的可视化图表,单击“确定”。若该日志流下没有图表或没有所需的图表,单击界面上的“前往添加图表”,进入可视化界面,设置完成后单击“保存并返回”返回到告警规则界面,自动打开创建规则弹框,填充新创建的图表及图表的查询语句。 可以指定图表的查询时间(1 ~ 60分钟/1 ~ 24小时),单位为分钟或小时,每个图表最多可以查询最近一天的数据,当统计周期选择1~4分钟时,图表查询时间不能超过1小时。 若想添加多个图表,可单击继续添加。 说明: 单击跳转到日志流的可视化查看详情界面 单击 删除该直接添加的图表 单击“预览”可查看可视化分析后的数据。必须要执行“预览”,否则将无法保存该告警规则 最多支持添加3个图表 图表不能为空,且图表中的sql查询语句不能为空。 - 统计周期 条件表达式查询的频率可以设置为: 每小时:表示1点整查询一次,2点整查询一次…… 每天:需要指定几点整查询。 每周:需要指定周几的几点整查询。 固定间隔:需要指定1 ~ 60分钟/1 ~ 24小时,当图表查询时间超过1小时时,统计周期不能选择1~4分钟。 CRON表达式:CRON表达式的最小精度为分钟,格式为24小时制,示例如下: 0/10 * * * *从0分钟开始,每隔10分钟查询一次。 0 0/5 * * *从0点0分开始,每隔5小时查询一次。 0 14 * * *每天14点0分查询一次。 0 0 10 * *每月10日0点0分查询一次。 - 每天 01:00 条件表达式 输入具体的条件表达式,当条件表达式返回为true的时候,产生告警,否则不产生告警。 说明: 条件表达式不支持中文。 SQL别名不能为纯数字。 条件表达式支持的基础语法和多表组合语法。 基础语法: 基础运算符:支持加(+)、减(-)、乘(*)、除(/)、取模运算(%)。 示例:x * 10 + y > 100。 比较运算符:支持大于(>)、大于等于(>=)、小于(<)、小于等于(<=)、等于(==)、不等于(!=)。示例:x >= 100。 逻辑运算符:支持与(&&)、或(||)。示例:x > 0 && y < 200。 取反前缀:支持取反前缀(!)。 示例:!(x < 1 && x > 100)。 数值常量:支持数值常量,并作为64位浮点数处理。示例:x > 10。 字符串常量:支持字符串常量("字符串"),例如"string"。示例:str =="string"。 布尔常量:支持布尔常量(true、false)。示例:(x < 100)!=true。 括号:支持使用括号改变计算的优先级。示例:x *(y + 10)<200。 contains函数:支持使用contains函数判断是否包含子串,例如contains(str, "hello")返回true则表示str中包含hello子串。 多表组合语法: 基础运算符:(+-*/%)。 比较运算符:大于(>)、大于等于(>=)、小于(<)、小于等于(<=)、等于(==)、不等于(!=)。 逻辑运算符:与(&&)、或(||)。 取反前缀(!)。 contains函数。 括号()。 NA $0.count + $1.total > 100 触发条件 配置触发条件,即满足该条件时,会触发告警。 统计周期次数指上面设置的统计周期;满足条件次数指设置的条件表达式。配置的统计周期次数须大于等于满足触发条件次数。 统计周期次数最小值为1,最大值为10。 4,2 恢复策略 配置恢复策略,即满足该策略时,会发送告警恢复通知。 配置的最近统计周期次数内,如果不满足触发条件且开启恢复时通知开关,则会发送恢复告警通知。 最近统计周期次数最小值为1,最大值为10。 2 恢复时通知 用于发送恢复告警通知。默认为关闭状态。 开启该按钮,当满足恢复策略时,会发送恢复告警通知;未开启该按钮,当满足恢复策略时,不会发送恢复告警通知。 - 开启 触发告警级别 包括“紧急”、“重要”、“次要”、“提示”,默认“紧急”。 - 紧急 发送通知 包括“不发送”、“发送”,默认“不发送”。 - 不发送 告警主题 当“发送通知”中选择“发送”时,需要在下拉框选择该告警的主题、配置时区/语言和消息模板,其中告警主题可多选。 若没有您想要选择的主题,请单击 “创建主题”,在消息通知服务SMN界面新建主题,具体操作如下所示。 创建一个主题,操作详见创建主题。例如,创建名称为Topic1的主题。 设置主题策略,操作详见设置主题策略。 设置主题策略时,“可发布消息的服务”必须选择“APM”,否则会导致通知发送失败 为主题添加相关的订阅者,即通知的接收人(例如,邮件或短信),SMN可以实时地将告警信息以广播的方式通知这些订阅者,操作详见订阅主题。 例如,订阅者设置为该运维人员的邮箱。 若您需要修改时区/语言,可单击“修改”,在账号中心里进行首选项设置。 当“发送通知”中选择“发送”时,该参数为必选。 - 图2 新建告警规则 单击“确定”。
-
添加数据源 在浏览器中输入localhost:3000进行访问,登录Grafana服务。 初始账号密码是admin/admin。 在左侧菜单栏中,单击 选择Data Sources,进入Data Sources页面,单击Add data source,添加数据源。 配置数据源。 表1 参数说明表 参数 说明 示例 Name 插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考终端节点。 lts.cn-north-1.myhuaweicloud.com projectId 账户的projectId。 说明: 登录LTS控制台,单击账号名称>我的凭证>API凭证,在API凭证页面中,可直接复制所属区域对应的项目ID。 - Log StreamId 日志流Id。 说明: 登录LTS控制台,单击日志管理>日志组名称>日志流ID,可直接复制日志流ID。 - AccesskeyId/SecretAccessKey 用户访问凭证。 说明: 登录LTS控制台,单击账号名称>我的凭证>访问密钥,在访问密钥页面中,可直接复制访问密钥ID。 - 完成后,单击Save & Test。
-
安装日志服务(LTS-Grafana)插件 安装日志服务插件。 进入Grafana的安装目录。例如:GrafanaLabs\grafana\data\plugins。 下载的LTS-Grafana插件压缩包解压两次后进入\repo目录,然后选中.rpm文件右击鼠标使用7-Zip软件提取到当前位置,再对提取到的.cpio文件使用7-Zip软件提取到当前位置,这样成功提取文件(文件名为hw-hws-lts-grafana-datasource-plugin)。 将提取到的文件(文件名为hw-hws-lts-grafana-datasource-plugin)拷贝到GrafanaLabs\grafana\data\plugins目录中。 完成后,重启Grafana服务。 在Linux中,输入如下命令重启Grafana服务: service grafana-server restart 在Windows中,进入任务管理器选择服务页签,选中Grafana右击鼠标单击重新启动,可重启Grafana服务。 如果安装的Grafana是7.0及以上版本,则需要修改Grafana配置文件。 打开配置文件。 在macOS中的文件路径:/usr/local/etc/grafana/grafana.ini 在Linux中的文件路径:/etc/grafana/grafana.ini 在Windows中的文件路径:安装目录/GrafanaLabs\grafana\conf\defaults.ini 配置allow_loading_unsigned_plugins参数。 allow_loading_unsigned_plugins = hw-hws-lts-grafana-datasource-plugin 完成后,重启Grafana服务。
-
创建告警规则 在云日志服务管理控制台,单击“告警”。 在告警页面默认显示“告警列表”,单击“告警规则”切换至告警规则页面。 图1 告警规则页面 单击“创建”,在界面右侧弹出“新建告警规则”页面。 在“新建告警规则”页面,配置告警规则相关参数。 表1 配置告警规则参数 参数名称 说明 校验规则 样例 规则名称 告警规则的名称。 名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为 1-64个字符。 LTS-Alarm 描述 对该规则进行简要描述。 长度不能超过64个字符。 - 统计类型 包括“关键词统计”和“SQL统计”。 - 关键词统计 日志组名称 选择已创建的日志组。 - - 企业项目 选择已创建的企业项目。 如果当前帐号未开通企业项目则不显示该参数。 - - 日志流名称 选择已创建的日主流。 说明: 当日志组下有多个日志流时,支持选择多个日志流,即可批量创建关键词告警。 - - 关键词 设置关键词,LTS会根据设置的关键词对日志流中的日志进行监控。 说明: 设置关键词时,请参考搜索语法及样例。 关键词支持精确匹配和模糊匹配,区分大小写,输入长度不超过1024个字符。 hostIP:192 查询时间 指定关键词的查询周期。查询关键词时间范围:从当前时间往前推一个周期。例如:查询时间设置为1小时,当前时间为9:00,则查询关键词的时间范围为8:00-9:00。 如果查询时间单位为分钟,则取值范围是1-60; 如果查询时间单位为小时,则取值范围是1-24。 - 1小时 统计周期 条件表达式查询的频率可以设置为: 每小时:表示整点小时查询。 每天:需要指定几点整查询。 每周:需要指定周几的几点整查询。 固定间隔:自定义间隔周期,需要指定1-60分钟/1-24小时。例如:当前时间为9:00,固定间隔设置为5分钟,则第一次查询时间为9:00,第二次查询时间为9:05,第三次查询时间为9:10..... 说明: 当查询时间大于1小时,固定间隔时间最小取值为5分钟。 CRON表达式:CRON表达式的最小精度为分钟,格式为24小时制,示例如下: 0/10 * * * *从00:00开始,每隔整10分钟查询一次,分别为10分钟、20分钟、30分钟、40分钟、50分钟、60分钟。例如:当前时间为16:37,下一次查询时间为16:50。 0 0/5 * * *从00:00开始,每隔5小时查询一次,分别为0时、5时、10时、15时、20时。例如:当前时间为16:37,下一次查询时间为20:00。 0 14 * * *每天14:00查询一次。 0 0 10 * *每月10日00:00查询一次。 - 每天 01:00 匹配条数 当关键词搜索结果的日志条数达到设定的条数时,会触发告警。 支持大于(>)、大于等于(>=)、小于(<)、小于等于(<=)4种比较运算符。 日志条数支持最小值: 1,最大值: 2147483647。 >10 触发条件 配置触发条件,即满足该条件时,会触发告警。 统计周期次数指上面设置的统计周期;满足条件次数指设置的关键词。配置的统计周期次数须大于等于满足触发条件次数。 统计周期次数最小值为1,最大值为10。 4,2 恢复策略 配置恢复策略,即满足该策略时,会发送告警恢复通知。 配置的最近统计周期次数内,如果不满足触发条件且开启恢复时通知开关,则会发送恢复告警通知。 最近统计周期次数最小值为1,最大值为10。 2 恢复时通知 用于发送恢复告警通知。默认为关闭状态。 开启该按钮,当满足恢复策略时,会发送恢复告警通知;未开启该按钮,当满足恢复策略时,不会发送恢复告警通知。 - 开启 触发告警级别 包括“紧急”、“重要”、“次要”、“提示”,默认“紧急”。 - 紧急 发送通知 包括“不发送”、“发送”,默认“不发送”。 - 不发送 告警主题 当“发送通知”中选择“发送”时,需要在下拉框选择该告警的主题、配置时区/语言和消息模板,其中告警主题可多选。 若没有您想要选择的主题,请单击 “创建主题”,在消息通知服务SMN界面新建主题,具体操作如下所示。 创建一个主题,操作详见创建主题。 例如,创建名称为Topic1的主题。 设置主题策略,操作详见设置主题策略。 设置主题策略时,“可发布消息的服务”必须选择“APM”,否则会导致通知发送失败 为主题添加相关的订阅者,即通知的接收人(例如,邮件或短信),SMN可以实时地将告警信息以广播的方式通知这些订阅者,操作详见订阅主题。 例如,订阅者设置为该运维人员的邮箱。 若您需要修改时区/语言,可单击“修改”,在账号中心里进行首选项设置。 当“发送通知”中选择“发送”时,该参数为必选。 - 图2 新建告警规则 单击“确定”,完成对关键词告警规则的创建。 也可以在日志管理>日志流>原始日志页面中单击右上角的“添加告警”,跳转至创建告警规则页面。 告警规则创建完成后,默认开启状态按钮。当开启该按钮且关联日志流满足告警规则时,会触发告警;当关闭该按钮,即使有满足该告警规则的情况,也不会触发告警。
-
writeLog Method public void writeLog(HALogConfig logConfig, String content) 记录日志信息。 Parameters Name Description logConfig 当前日志的配置信息,region、projectId、logGroupId、logStreamId为必选参数,tags为可选参数。 content 自定义日志信息,长度不超过4096字符,超过的字符丢弃。
-
writeLog:setContent Method + (void)writeLog:(nonnull HALogConfig *)logConfig setContent:(nonnull NSString *)content; 记录日志信息。 Parameters Name Description logConfig 当前日志的配置信息,region、projectId、groupId、streamId为必选参数,tags为可选参数。 content 自定义日志信息,长度不超过4096字符,超过的字符丢弃。
-
configWithRegion:projectId:groupId:streamId:tags Method + (nullable HALogConfig *)configWithRegion:(nonnull NSString *)region projectId:(nonnull NSString *)projectId groupId:(nonnull NSString *)groupId streamId:(nonnull NSString *)streamId tags:(nullable NSDictionary *)tags; 有参构造函数,用于创建HALogConfig实例。 Parameters Name Description region LTS日志上报区域。非空,长度不超过128字符。 projectId LTS项目ID。非空,长度不超过128字符。 groupId LTS日志组ID。非空,长度不超过128字符。 streamId LTS日志流ID。非空,长度不超过128字符。 tags 自定义的日志标识。 参数最多支持50个键值对,每个键值对中key的长度不能超过64个字符,且只能由数字、字母、下划线组成,必须以字母开头;value长度不能超过256个字符。 样例: HALogConfig *logConfig = [HALogConfig configWithRegion:@"region" projectId:@"projectId" groupId:@"groupId" streamId:@"streamId" tags:@{@"key1":@"value1",@"key2":@"value2"}];[HiAnalytics writeLog:logConfig setContent:@"content"];
-
Public Method Summary Qualifier and Type Method Name and Description nullable HALogConfig * configWithRegion:(nonnull NSString *)region projectId:(nonnull NSString *)projectId groupId:(nonnull NSString *)groupId streamId:(nonnull NSString *)streamId tags:(nullable NSDictionary *)tags; 有参构造函数,用于创建HALogConfig实例。
-
writeLog Method writeLog(logConfig: { region: string, projectId: string, groupId: string, streamId: string, tags: { [key: string]: string } }, content: string): Promise 记录日志信息。 Parameters Name Description logConfig 当前日志的配置信息,region、projectId、groupId、streamId为必选参数,tags为可选参数。 region:LTS日志上报区域。非空,长度不超过128字符。 projectId:LTS项目ID。非空,长度不超过128字符。 groupId:LTS日志组ID。非空,长度不超过128字符。 streamId:LTS日志流ID。非空,长度不超过128字符。 tags:自定义的日志标识。参数最多支持50个键值对,每个键值对中key的长度不能超过64个字符,且只能由数字、字母、下划线组成,必须以字母开头;value长度不能超过256个字符。 content 自定义日志信息,长度不超过4096字符,超过的字符丢弃。 样例: agconnect.instance().configInstance(agConnectConfig);let analytics = agconnect.analytics();let logConfig = { region: 'region', projectId: 'projectId', groupId: 'groupId', streamId: 'streamId', tags: { key1: 'key1' }};analytics.writeLog(logConfig, 'custom logs info');
-
Public Method Summary Qualifier and Type Method Name and Description Promise writeLog(logConfig: { region: string, projectId: string, groupId: string, streamId: string, tags: { [key: string]: string } }, content: string) 记录日志信息。
-
操作步骤 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 选择日志流 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:VPC配置。 VPC配置 单击“前往VPC配置”。 在虚拟私有云控制台,选择“VPC流日志”。 在VPC流日志页面中,单击“创建VPC流日志” ,配置各参数信息。 具体的操作步骤及参数配置,请见虚拟私有云《用户指南》。 完成后,单击“确定”。 日志流配置 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为VPC系统模板;索引配置为所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 完成
-
HALogConfig(无参构造函数) Method HALogConfig() 无参构造函数,用于创建HALogConfig实例。 无参构造函数样例: Map logTags = new HashMap<>();logTags.put("key1","tag1");logTags.put("key2","tag2");logTags.put("key3","tag3");HALogConfig configure = new HALogConfig();configure.setRegion("region");configure.setProjectId("projectId");configure.setLogGroupId("groupId");configure.setLogStreamId("streamId");configure.setTags(logTags);String content = "custom logs info";instance.writeLog(configure, content);
-
HALogConfig(有参构造函数) Method HALogConfig(String region, String projectId,String logGroupId, String logStreamId,Map tags) 有参构造函数,用于创建HALogConfig实例。 Parameters Name Description region LTS日志上报区域。非空,长度不超过128字符。 projectId LTS项目ID。非空,长度不超过128字符。 logGroupId LTS日志组ID。非空,长度不超过128字符。 logStreamId LTS日志流ID。非空,长度不超过128字符。 tags 自定义的日志标识。 参数最多支持50个键值对,每个键值对中key的长度不能超过64个字符,且只能由数字、字母、下划线组成,必须以字母开头;value长度不能超过256个字符。 有参构造函数样例: Map logTags = new HashMap<>();logTags.put("key1", "tag1");logTags.put("key2", "tag2");logTags.put("key3", "tag3");HALogConfig configure = new HALogConfig( "region", "projectId", "groupId", "streamId", logTags);String content = "custom logs info";instance.writeLog(configure, content);
-
Public Method Summary Qualifier and Type Method Name and Description Constructor HALogConfig(String region, String projectId,String logGroupId, String logStreamId,Map tags) 有参构造函数,用于创建HALogConfig实例。 Constructor HALogConfig() 无参构造函数,用于创建HALogConfig实例。 void setRegion(String region) 设置LTS日志上报区域。 String getRegion() 获取LTS日志上报区域。 void setProjectId(String projectId) 设置LTS项目ID。 String getProjectId() 获取LTS项目ID。 void setLogGroupId(String logGroupId) 设置LTS日志组ID。 String getLogGroupId() 获取LTS日志组ID。 void setLogStreamId(String logStreamId) 设置LTS日志流ID。 String getLogStreamId() 获取LTS日志流ID。 void setTags(Map tags) 设置自定义的日志标识。 Map getTags() 获取自定义的日志标识。
-
查看日志清洗标签 日志清洗规则创建成功后,回到日志流管理页面,可以在标签列下看到相应日志清洗标签。 当选择“覆盖本日志流”规则:在日志流管理页面,该日志流所在的标签列下,会出现如下字段: “_log-filter-type”,表示日志清洗类型。 “override”字段,表示日志清洗类型为覆盖本日志流。 当选择“另存为新日志流”规则:在日志流管理页面,新日志流所在的标签列下,会出现如下字段: “_parent”及“日志组|日志流”,表示当前日志流是在该日志组和日志流中新创建的一条日志流。 “_log-filter-type”,表示日志清洗类型。 “sub-stream”,表示日志清洗类型为另存为新日志流。 并且在原创建日志清洗规则的日志流上,出现如下字段: “_log-filter”,表示是否开启日志清洗。 “enabled”,表示日志清洗已开启。
-
创建日志清洗规则 登录LTS控制台,在左侧导航栏中选择“日志管理 ”。 在“日志管理”页面选择目标日志组和日志流。 在日志流详情页面,单击右上角,在弹出页面中,选择“日志清洗”,单击“开始创建”,参照表1配置相关参数创建清洗规则。 表1 参数说明 名称 说明 覆盖本日志流 清洗模式的一种,满足清洗规则的日志内容将覆盖本日志流中的原始日志。一个日志流仅可配置一条覆盖规则。 另存为新日志流 清洗模式的一种,满足清洗规则的日志内容将保存到新建的日志流中,新日志流会继承当前日志流的结构化规则。一个日志流可配置多条另存为规则。 选择另存为新日志流时,须重新选择已有日志组、输入新日志流名称。 请选择字段 单击下拉框选择相应的字段。 说明: 日志清洗中的所有字段均是创建日志结构化时设置的字段,详情请参考结构化配置相关内容。 规则 当字段类型为string时: = 字段值等于规则后面自定义输入的值。 != 字段值不等于规则后面自定义输入的值。 包含 字段值包含规则后面自定义输入的值。 当字段类型为long和float时: < 字段值小于规则后面自定义输入的值。 <= 字段值小于等于规则后面自定义输入的值。 = 字段值等于规则后面自定义输入的值。 >= 字段值大于等于规则后面自定义输入的值。 > 字段值大于规则后面自定义输入的值。 值 用户可根据业务需求填写相应的值。 日志清洗规则最多可创建10条。 如需添加多条清洗规则条件,可单击“添加串联条件”和“添加并行条件”,参照表1添加清洗规则条件。若要删除已创建的清洗规则条件,单击进行删除。 添加串联条件是指设置的清洗条件为OR关系。 添加并行条件是指设置的清洗条件为AND关系。 单击“保存”,日志清洗规则创建成功。 通过日志清洗创建的新日志流内不支持再次创建日志清洗规则。
-
操作步骤 云日志服务接入方式为云审计 CTS时,按照如下操作完成接入配置。 选择日志流 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:CTS配置。 CTS配置 单击“前往CTS配置”。 在云审计服务控制台,选择左侧导航树的“追踪器”,进入追踪器信息页面。 单击“创建追踪器”,配置各参数信息。 完成后,单击“确定”。 具体的操作步骤及参数配置,请见云审计服务《用户指南》。 日志流配置 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为CTS系统模板;索引配置为所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对CTS日志进行SQL分析,并提供可视化图表。 完成
-
操作步骤 在WAF添加防护网站。 登录管理控制台。 在控制台左上角单击,选择区域和项目。 在系统首页左上角单击,选择“安全与合规 > Web应用防火墙 WAF”,进入Web应用防火墙管理控制台。 根据添加防护域名添加需要防护的网站,使网站流量切入WAF。 开启全量日志功能,将WAF日志记录到LTS,详细操作请参见开启全量日志。 在Web应用防火墙管理控制台,单击“防护事件”,选择“全量日志”页签。开启全量日志,选择已创建的日志组与日志流。如未创建日志组与日志流,请先创建日志组和创建日志流。 单击“确定”,全量日志配置成功。 图1 配置全量日志 在日志流详情页面,单击左侧导航栏“配置中心”,选择“结构化配置”,进入日志结构化配置页面,选择“JSON”提取方式,根据业务需求选择日志,配置相关参数,具体操作请参见日志结构化。 图2 配置JSON格式日志 在日志流详情页面,单击“可视化”页签,进行SQL查询与分析,如需要多样化呈现查询结果,请参考日志结构化进行配置。 统计1周内攻击次数,具体SQL查询分析语句如下所示: select count(*) as attack_times 图3 攻击次数查询结果 统计1天不同攻击类型的分布,具体SQL查询分析语句如下所示: select attack,count(*) as times group by attack 查询结构有五种呈现形式依上而下分别为表格、柱状图、折线图、饼图、数字,如下图为饼图结果。 图4 不同攻击类型的分布查询结果
-
响应示例 状态码: 200 日志上报成功。 { "errorCode": "SVCSTG.ALS.200.200", "errorMessage": "Report success.", "result": null} 状态码: 401 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 { "errorCode" : "SVCSTG.ALS.403.105", "errorMessage" : "Project id is invalid.", "result": null}
-
请求示例 POST https://{接入点IP:8102}/v2/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/tenant/contents{"log_time_ns": "1586850540000000000","contents": ["Fri Feb 1 07:48:04 UTC 2019 0\n","Sat Apri 18 16:04:04 UTC 2019"],"labels": {"user_tag": "string"}}
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM获取的用户Token,获取方式请参见:获取用户Token。 缺省值:None 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 缺省值:None 最小长度:30 最大长度:30 表3 请求Body参数 参数 是否必选 参数类型 描述 log_time_ns 是 Long 日志数据采集时间,UTC时间(纳秒)。 说明: 采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。 contents 是 Array of String 日志内容。 labels 是 Object 用户自定义tag。 tenant_project_id 否 String 租户ID。
-
URI POST /v2/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/tenant/contents 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 log_group_id 是 String 日志组ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:36 最大长度:36 log_stream_id 是 String 日志流ID,获取方式请参见:获取帐号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:36 最大长度:36 注:每个logstream写入速率最大不能超过100MB/S,超过此规格可能会导致日志丢失。