云服务器内容精选

  • 搜索语法及样例 搜索语法: 表2 搜索语法 条件 说明 关键字精确搜索 针对日志中的关键字进行精确搜索,大小写敏感。关键词指相邻两分词符之间的单词。 如果对分词符规则不熟悉,建议在关键词后加上*,例如:error*,帮助搜索。 短语精确搜索 针对日志中的短语进行精确搜索,大小写敏感。 && 搜索结果的交集。 || 搜索结果的并集。 AND 搜索结果的交集。 OR 搜索结果的并集。 NOT 搜索结果不包含NOT后的关键字。 ? 模糊搜索能力,?放在关键字中间或末尾,用于替代一个字符。 * 模糊搜索能力,*只能放在关键字后,用于替代0到n个字符。 如果原始日志中本身包含搜索语法的关键字(&&、||、AND、OR、NOT、*、?、:、>、<、=、>=、<=),则不支持使用这些关键字来搜索日志。 搜索规则: 支持模糊搜索能力。 例如:输入error*,可以查找所有含有error的日志且高亮以error开头的日志内容。 支持键与值格式的多条件组合搜索,格式为:key1:value1 AND key2:value2或key1:value1 OR key2:value2。输入或选择key1:value1进行搜索后,需添加AND或OR,才可以在搜索框中继续输入或选择key2:value2对两个条件同时进行搜索。 支持单击关键词弹出菜单项,有复制、添加到查询和从查询中排出三种操作。 复制:复制该字段 添加到查询:在查询的语句中添加“AND field: value ” 从查询中排出:在查询的语句中添加“NOT field: value” 搜索样例: 搜索含有start的所有日志:start。 搜索含有start to refresh的所有日志:start to refresh。 搜索同时包含start和unexpected的日志数据:start && unexpected。 搜索同时包含start和unexpected的日志数据:start AND unexpected。 搜索包含start或者unexpected的日志数据:start || unexpected。 搜索包含start或者unexpected的日志数据:start OR unexpected。 不包含query1的日志数据:NOT content : query1 。 搜索日志内容中含有error的所有日志:error*。 搜索日志内容中以“er”开头,以“or”结尾,并且中间有一个字符的所有日志:er?or。 搜索的关键词中含有分词符(:)时,搜索日志: content : "120.46.138.115:80" 或者 content : 120.46.138.115:80 。 搜索包含query1而且包含query2,但不包含query3的日志数据:query1 AND query2 AND NOT content : query3。 输入关键字查询日志时,关键字区分大小写,搜索的日志内容大小写敏感,高亮的日志内容大小写敏感。 全文搜索时,模糊搜索 “*”, “?” 不匹配特殊字符,例如:“-”、空格。 支持关键词模糊匹配搜索,关键词不能以“?”或“*”开头。例如:关键词可以输入"ER?OR"或"ER*R"。 使用关键词搜索时,当单条日志超过255长度时,可能无法精确查询。
  • 日志搜索的常用操作 日志搜索的常用操作有一键展开/收起日志详情、添加告警、选择时间段展示日志、刷新等操作,具体参考如下表所示: 表1 操作 说明 一键展开/收起日志详情 单击按钮,可一键展开/收起日志详情。 添加告警 单击按钮,在弹出的新建告警规则页面,可配置告警规则。 选择时间段展示日志 单击下拉框选择时间段展示日志,支持的时间段有近1分钟、近5分钟、近15分钟、近1小时、近6小时、近1天、近1周及自定义时间段。 刷新日志 单击可对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”可直接对日志进行刷新 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 分享搜索日志 单击可复制当前日志搜索页面的链接,用于分享搜索日志。 导出搜索日志 单击搜索域旁边的,在弹出的下载日志页面中选择“本地下载”和“前往创建转储”。 本地下载:将日志文件直接下载到本地,单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地 说明: 选择以CSV格式导出日志后,本地以表格形式保存日志的具体标签信息。 选择导出TXT格式日志后,本地会以.txt格式保存日志的日志内容。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大100万条日志。 单击“前往创建转储”,跳转至配置转储页面。
  • 删除定时SQL 登录云日志服务控制台。 在左侧导航栏中选择“日志加工 >定时SQL”,单击目标作业名称操作列对应的“删除”。 或在左侧导航栏中选择“日志作业 >定时SQL”,单击目标作业名称,查看定时SQL任务的基本信息的页面中,单击右上角“删除”。 或在左侧导航栏中选择“日志管理 ”,选择日志组和日志流。在新版搜索的日志流详情页面,单击右上角,在弹出页面中,选择“定时SQL”,单击目标作业名称操作列对应的“删除”。 在弹出的页面中,单击“确定”可删除定时SQL任务。
  • 创建定时SQL 登录云日志服务控制台。 在左侧导航栏中选择“日志加工 >定时SQL”,单击“创建定时SQL” 。 或在左侧导航栏中选择“日志管理 ”,选择日志组和日志流。在新版搜索的日志流详情页面,单击右上角,在弹出页面中,选择“定时SQL”,单击“创建定时SQL”。 通过该方式创建定时SQL时,源日志组/日志流为当前所选的日志组/日志流,且无法修改。 通过该方式创建的定时SQL任务,会同步显示在定时SQL列表中,单击任务名称可查看详细信息。 在创建定时SQL页面中,配置相关参数。 在计算配置中,完成如下配置后,然后单击“下一步”。 表1 计算配置参数 参数 说明 任务名称 定时SQL任务的名称。仅支持输入英文、数字、中文、中划线、下划线,且不能以中划线、下划线开头或结尾,长度范围为1~64个字符。 描述 定时SQL任务的描述。长度不超过1000个字符。 源日志组/流名称 选择已完成结构化配置的日志组/流,即表示源日志组/流中的日志内容通过定时SQL处理后,将存储到目标日志组/日志流中。选择源日志组/流的时间范围,对该范围内的日志内容进行SQL查询;单击“预览”可查询预览结果。 SQL代码 输入的查询和分析语句。 定时SQL运行时,云日志服务将执行该查询和分析语句分析日志。 目标日志组/流名称 存储SQL分析结果的日志组/日志流。 在调度配置中,完成如下配置。 表2 调度配置参数 参数 说明 调度间隔 调度定时SQL任务的频率,每调度一次定时SQL任务将产生一个执行实例。调度间隔决定每个执行实例的调度时间。 每小时:每隔一小时调度一次定时SQL任务。 每天:在每天的某个固定时间点调度一次定时SQL任务。 每周:在周几的某个固定时间点调度一次定时SQL任务。 固定间隔:按照固定间隔调度定时SQL任务。 CRON:通过CRON表达式指定时间间隔,按照指定的时间间隔调度定时SQL任务。CRON表达式的最小精度为分钟,格式为24小时制,示例如下: 0/10 * * * *从00:00开始,每隔整10分钟查询一次,分别为10分钟、20分钟、30分钟、40分钟、50分钟、60分钟。例如:当前时间为16:37,下一次查询时间为16:50。 0 0/5 * * *从00:00开始,每隔5小时查询一次,分别为0时、5时、10时、15时、20时。例如:当前时间为16:37,下一次查询时间为20:00。 0 14 * * *每天14:00查询一次。 0 0 10 * *每月10日00:00查询一次。 调度时间范围 调度的时间范围,具体说明如下: 某时间开始:实例调度的开始时间,不设时间范围。当该作业被删除时,则不产生新实例。 特定时间范围:按照调度间隔生成的实例调度时间必须在该范围内,超出范围则不产生新实例。 起始时间 调度的起始时间。 当调度时间范围选择某时间开始时,需要设置开始时间;当调度时间范围选择特定时间范围时,需要设置起始时间。 SQL时间窗口 定时SQL任务运行时,仅分析该时间范围内的日志。时间窗口表达式的最小精度为秒(s:秒,m:分,h:小时),且SQL时间窗口设置不能超过24小时。可在下拉框中,选择5分钟、15分钟、1小时和1天。如果需要设置其他时间,则通过时间表达式进行设置。 时间表达式为:[+/-{num}h+/-{num}m+/-{num}s@s,+/-{num}@h)。具体说明如下: “[”表示包含边界。 “)”表示不包含边界。 “+”表示时间从当前时间开始往后算起,例如:当前时间是16:00,+1h则表示17:00。这里不使用“+”,对该定时SQL功能无意义。 “-”表示时间从当前时间往前算起,例如:当前时间时间是16:00,-1h则表示15:00. “{num}”表示时间取值,为任意整数。逗号前后的时间差值不能超过24小时。 “@”表示取整。@h:小时取整,分钟和秒忽略不计;@m:分钟取整,秒忽略不计;@s:秒取整。 时间表达式,举例如下: 5分钟:[-5m@m, @m) 15分钟:[-15m@m, @m) 1小时:[-1h@h, @h) 1天:[-24h@h, @h) 自定义(不超过一天):[-65m@h, -5m@h) 说明: 时间表达式最大值为调度间隔的五倍。 SQL超时 执行SQL分析操作失败时,自动重试的阈值。当超时时间超过指定的最大时间和超时次数超过最大次数时,该执行实例结束,状态为失败。 SQL超时时间取值为60~180秒之间。 SQL超时次数取值为1~10次之间。 完成后,单击“确定”。
  • 操作步骤 云日志服务接入方式为负载均衡 ELB时,按照如下操作完成接入配置。 选择日志流 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:ELB配置。 ELB配置 单击“前往ELB配置”。 在云服务器控制台,选择弹性负载均衡下的“负载均衡器”。 在弹性负载均衡页面中,单击待操作的负载均衡器“名称/ID” ,进入详情页面。 选择“访问日志”,单击“配置访问日志”。 在弹出的配置访问日志页面中,选择对应的日志组和日志流。 具体的操作步骤,请见弹性负载均衡《用户指南》。 日志流配置 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为ELB系统模板;索引配置为所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=elb_7layer_access 开启该按钮,自动为日志流添加标签(log_type=elb_7layer_access)后,ELB仪表盘模板才能匹配该日志流。 自动为日志流创建仪表盘 开启该按钮,自动为日志流创建ELB仪表盘。 完成
  • 新建可视化图表到仪表盘 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”,选择待操作的仪表盘。单击仪表盘区域右上角的,进入编辑模式。 单击,在添加可视化图表界面中,选择相应日志流。单击“前往添加图表”。 参照表1填写相关参数,填写完成后单击“确定”。 表1 创建图表 参数 说明 图表名称 用于区分日志流下不同的图表。 仅支持中英文、数字、中划线、下划线、小数点。 不能以小数点开头和结尾。 长度为1-64个字符。 可视化对象 默认语句“SELECT * ”,表示查询该日志流内的结构化数据,其中*为结构化字段。 如需自行编辑SQL语句,请参考结构化配置(新版)相关内容。 图表类型 LTS提供多种图表类型供用户选择: 表格 柱状图 折线图 饼图 数字 同时添加到仪表盘 单击“同时添加到仪表盘”后的,勾选一个或多个仪表盘前面的,可将图表同步添加至仪表盘。 如果关闭“同时添加到仪表盘”后的,则表示新建图表不在仪表盘显示。 在图表编辑页面,根据业务需求参考可视化(新版)填写相关参数,单击“保存并返回”,新建图表在仪表盘显示成功。
  • 操作步骤 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”,选择待操作的仪表盘。单击仪表盘区域右上角的,进入编辑模式。 单击,在过滤器页面中,配置添加过滤器的相关参数。 表1 添加过滤器参数 参数 说明 过滤器名称 过滤器名称。仅支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 查询方式 过滤器选中的条件与已有图表查询条件组合方式。有AND和NOT两种方式,默认为AND。 Key值 配置需要过滤的字段。必填项,仅支持输入英文、数字、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 别名 Key值的别名。仅支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点开头或以小数点结尾。 静态列表项 设置Key值对应的Value。多次单击 可添加多个Value。 单击 可添加Value,需配置如下参数: 列表项名称:需要过滤的Key值对应的Value字段名称。 别名:Value的别名。 默认选中:开启默认选中开关,可直接对添加的Value进行过滤选中。 操作:单击删除添加的Value。 添加动态列表项 开启添加动态列表项的开关,可添加动态列表项,即为Key值配置动态Value。 开启添加动态列表项的开关,需配置如下参数: 日志组:选择待查询的日志组。 日志流:选择待查询的日志流。 查询和分析语句:输入查询和分析语句,并设置时间范围。 单击“查询”,可预览动态列表项。 完成后,单击“确认”。 对于同一仪表盘已添加的过滤器,相同Key值,过滤器之间存在OR关系;不同Key值,过滤器之间存在AND关系。
  • 相关操作 创建仪表盘后,您可以对仪表盘进行如下操作。 表2 相关操作 操作 说明 编辑仪表盘中的图表 选择待操作的仪表盘,单击“编辑”,将光标移至图表框右上角,单击,在下拉框中选择“编辑图表”,在可视化页面编辑图表,具体操作请参考可视化。 移除仪表盘中的图表 选择待操作的仪表盘,单击“编辑”,将光标移至图表框右上角,单击,在下拉框中选择“移除图表”,单击“保存设计”,可将已创建图表删除。 调整仪表盘中图表的位置 选择待操作的仪表盘,单击“编辑”,将光标移至待操作的图表框内,选中该图表,可将该图表移动至仪表盘内任意位置,单击“保存设计”,调整当前图表布局。 调整仪表盘中图表的大小 选择待操作的仪表盘,单击“编辑”,将光标移至待操作的图表框右下角边缘,选中该图表,可根据业务展示内容需求调整图表大小,单击“保存设计”,调整当前图表布局。 编辑仪表盘中的过滤器 选择待操作的仪表盘,单击“编辑”,将光标移至过滤器框右上角,单击,在下拉框中选择“编辑”,在添加过滤器页面编辑过滤器,具体操作请参考添加过滤器。 复制仪表盘中的过滤器 选择待操作的仪表盘,单击“编辑”,将光标移至过滤器框右上角,单击,在下拉框中选择“复制”,跳转到添加过滤器页面,单击“确定”即可复制过滤器。 删除仪表盘中的过滤器 选择待操作的仪表盘,单击“编辑”,将光标移至过滤器框右上角,单击,在下拉框中选择“删除”,在弹出的删除过滤器提示框中,单击“确定”即可删除过滤器。 调整仪表盘中过滤器的大小 选择待操作的仪表盘,单击“编辑”,将光标移至待操作的过滤器右下角边缘,可根据业务展示内容需求调整过滤器大小,单击“保存设计”,调整当前过滤器布局。 自动刷新 单击右上角的,开启仪表盘自动刷新功能,选择自动刷新的时间,可使仪表盘中的所有图表数据自动进行刷新。自动刷新的时间有5秒钟、10秒钟、30秒钟和1分钟。 手动刷新 选择待操作的仪表盘,单击可手动刷新当前页面。 全屏显示 选择待操作的仪表盘,单击,可全屏显示仪表盘。全屏后,勾选保持在线按钮,可以保持在线状态,会话一直有效,当前帐号不会退出。 退出全屏显示 将光标移至屏幕上方,单击弹出的,或者单击,或者按键盘中的“Esc”可退出全屏模式。 全屏显示单个图表 选择待操作的仪表盘,将光标移至图表框右上角,单击,在下拉框中选择“全屏”,可全屏显示图表数据。 退出全屏显示单个图表 将光标移至屏幕上方,单击弹出的,或者单击,在下拉框中选择“退出全屏”,或者按键盘中的“Esc”可退出全屏模式。 手动刷新单个图表 选择待操作的仪表盘,将光标移至图表框右上角,单击,在下拉框中选择“刷新”,或者在全屏模式下,单击,在下拉框中选择“刷新”,可手动刷新当前图表页面。 查询时间设置 选择待操作的仪表盘,单击前面的下拉框,在下拉框可选择“近1分钟”、“近5分钟”、“近15分钟”、“近1小时”、“近6小时”、“近一天”、“近一周”、“自定义时间”。若选择“自定义时间”,在弹出日历表中选择对应的起始时间,时间可精确至秒数,确定时间范围。单击“确定”后,可根据选择时间查询仪表盘中所有图表数据。
  • 操作步骤 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”,单击左上角“ELB7层监控中心”旁边的。 选择单击“添加仪表盘”,进入仪表盘创建页面。 在仪表盘创建页面,配置创建仪表盘相关参数。 表1 创建仪表盘参数 参数名称 说明 仪表盘名称 仪表盘的名称。仅支持中英文、数字、中划线、下划线、小数点,不能以小数点开头和结尾,长度不超过255。 添加到仪表盘分组 开启该按钮,显示分组类型: 已有分组:选择已有的仪表盘分组。 新建分组:输入仪表盘分组名称 添加图表 添加可视化图表:将日志流的可视化图表加入仪表盘 使用仪表盘模板:有自定义模板和系统模板两种类型: 自定义模板:用户从已创建的仪表盘中提取的模板。 系统模板:系统账号定义的模板,用户无法修改。 添加图表。 添加可视化图表 在“添加图表”区域中,鼠标悬浮在添加可视化图表模块,单击“开始添加图表”,进入添加可视化图表界面。选择业务需要的日志流,根据业务需要勾选一个或多个图表名称前的,单击“确定”。 如果当前日志流未配置或没有当前需要的可视化图表,单击“前往添加图表”,新建图表。 使用仪表盘模板 在“添加图表”区域中,鼠标悬浮在使用仪表盘模板模块,单击“使用仪表盘模板”,进入使用仪表盘模板界面。根据业务需要选择仪表盘模板,单击下一步选择业务需要的日志流,根据业务需要勾选一个或多个日志流名称前的,单击“确定”。 单击“保存设计”,仪表盘创建成功。
  • 配置字段索引 登录云服务日志控制台,单击“日志管理”。 在日志组列表中,单击日志组名称左侧的,选择日志流,进入日志流管理界面。 在日志流详情页面,单击进入索引配置页面。 在索引配置页面中,配置字段索引。 配置有两种方式: 自动配置:单击“自动配置”,将全部显示日志结构化配置提取的字段和Tag字段。 手动添加字段配置:单击进行自定义字段索引配置。 手动添加字段为日志结构化配置提取的字段。 当修改了结构化配置,则字段索引不会修改,保留原有的配置。 完成后,单击确认。
  • 配置参数说明 表2 基础参数 字段 类型 是否必选 说明 示例 logGroup string 否 日志组,日志组名称长度取值范围[1,64],默认为集群的默认日志组。 如果您要自定义日志组,请确保该日志组未被使用。 如果配置的日志组不存在,会自动创建该日志组。 k8s-log-{clusterId} ttlInDays int 否 日志保留时间。 当配置的logGroup不存在,则会以ttlInDays指定的保存时间创建logGroup,取值范围[1,30],默认为7天。 当配置的logGroup存在,则ttlInDays不生效。 7 logStream string 是 日志流,日志流名称长度取值范围[1,64]。如果配置的日志流不存在,会自动创建该日志流。 k8s-log-stream hostGroup string 否 主机组,默认为集群的默认主机组。如果您要自定义主机组,请首先在LTS的“主机管理-主机组”页面创建该主机组。 k8s-hostgroup-{clusterId} inputDetail object 是 日志采集配置详细定义,具体字段请参考表3 inputDetail配置。 apiVersion: lts.com/v1kind: LtsConfigmetadata: name: lts-crd-stdout-allspec: logStream: logstream-1 inputDetail: type: container_stdout containerStdout: allContainers: true logDetail object 否 结构化配置详细定义,具体字段请参考表5。 - 表3 inputDetail配置 字段 类型 是否必选 说明 示例 type string 是 指定采集日志的类型,取值范围: container_stdout:容器标准输出 container_file:容器的日志文件 container_file logType string 否 指定日志格式,取值范围: single_line_log:单行日志 multi_line_log:多行日志 默认为单行日志。 single_line_log logTime string 否 logType为single_line_log时,配置日志时间格式,取值范围: systemTime:系统时间 timeWildcard:时间通配符 默认为systemTime。 systemTime timeWildcard string 否 logType为single_line_log并且logTime为timeWildcard时必选,指定时间通配符的格式。 YYYY-MM-DD hh:mm:ss.SSS beginningType string 否 logType为multi_line_log时,配置日志的分行模式,取值范围: byLogTime:根据日志时间分行 byRegular:根据正则表达式分行 默认byLogTime。 byLogTime beginningPattern string 否 logType为multi_line_log时必选,配置日志分行的关键字。 beginningType为byLogTime:YYYY-MM-DD hh:mm:ss.SSS beginningType为byRegular:\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3}\s.+ namespace string 是 配置生效的namespace。 说明: 如果指定了workloads或者workload,并且workload中指定了namespace,那么以workload中的namespace为准。 inputDetail: type: container_stdout containerStdout: allContainers: false namespace: ingress allContainers bool 否 type是container_stdout时,如果要对所有容器生效,则设置为true。 说明: 1. 请保证只有一个配置指定了allContainers: true。 2. 如果多个配置中都配置了allContainers: true,那么最终只有其中一个生效。 3. allContainer是跨namespace的,即:如果配置了allContainers: true,那么本配置中的namespace不生效。 inputDetail: type: container_stdout containerStdout: allContainers: true includeLabels object 否 通过docker容器的Label进行过滤。 inputDetail: type: container_file containerFile: logPath: /data/nginx/log/*.log container: nginx namespace: ingress includeLabels: label_key_1: label_value_1 label_key_2: label_value_2 container string 否 指定docker容器的名称。 nginx workloads array 否 type是container_stdout时,可以通过workloads指定多个工作负载。 inputDetail: type: container_stdout containerStdout: allContainers: false workloads: - namespace: ingress name: ingress-gateway kind: deployment workload object 否 type是container_file时,可以用workload指定一个工作负载。 inputDetail: type: container_file containerFile: logPath: /data/nginx/log/*.log container: nginx namespace: ingress workload: name: ingress-gateway kind: deployment logPath string 否 type是container_file时必选,配置要采集的容器内部的日志文件路径(可以为目录、文件绝对路径、或者模糊匹配),路径长度范围[2, 128]。 1. /var/logs/,采集本目录下后缀为*.log, *.trace, *.out的文件; 2. /var/logs/test.log,只采集该文件; 3. /var/logs/*/a.log,采集/var/logs/目录的下一级目录中的a.log文件 4. /var/logs/service/a*.log,采集/var/logs/service/目录下以字母’a’开头,以’.log’结尾的文件 5. /var/logs/**/a.log,**表示递归5层目录 blackListPath array 否 配置黑名单,每个路径长度范围[2, 128]。 [/var/logs/*/a.log],具体路径规则请参考logPath中示例。 表4 workload配置 字段 类型 是否必选 说明 kind string 是 工作负载的类型 deployment daemonset statefulset job cronjob name string 是 工作负载的名称 namespace string 否 工作负载的namespace container string 否 容器的名称 表5 logDetail配置 字段 类型 是否必选 说明 示例 logType string 是 结构化类型,取值范围: custom_regex:正则分析 json:JSON delimiter:分隔符 logType: json extractRule: simpleLog: '{"json":"test100"}' simpleFields: - fieldName: json type: string userDefinedName: j111 tagFields: - fieldName: hostName type: string extractRule object 否 结构化的详细规则,具体字段请参考表6。 表6 extractRule配置 字段 类型 是否必选 说明 simpleLog string 是 结构化示例日志。示例:"2021-09-09/18:15:41 this log is Error NO 6323" regexRules string 否 正则表达式,当logType=custom_regex时必选,取值范围:[1,5000] tokenizer string 否 分隔符,当logType=delimiter时必选 simpleFields array 否 结构化示例字段列表,配置logDetail时必选,数组长度范围:[1,200] tagFields array 否 结构化tag字段列表,数组长度范围:[1,200] 表7 simpleFields配置 字段 类型 是否必选 说明 fieldName string 是 字段名称,长度范围:[1,50] type string 是 字段的数据类型,取值范围: string long float userDefinedName string 否 logType=json时的自定义名称,长度范围:[1,64] isAnalysis bool 否 是否开启快速分析 表8 tagFields配置 字段 类型 是否必选 说明 fieldName string 是 字段名称,长度范围:[1,50] type string 是 字段的数据类型,取值范围: string long float simpleLog string 否 示例字段,长度范围:[1,64] isAnalysis bool 否 是否开启快速分析
  • 使用步骤 创建ltsconfig采集配置。 定义CRD文件即创建ltsconfig采集配置。 CRD配置格式如下所示,具体设置请参考配置参数说明。 apiVersion: v1apiVersion: lts.com/v1kind: LtsConfigmetadata: ## LtsConfig资源名,在集群内唯一 name: xxx-xxxspec: ## 日志组,可选,不填的话用集群对应的日志组 logGroup: xxx ## 日志保留时间,如果配置的logGroup不存在,会以ttlInDays指定的保存时间创建logGroup,取值范围[1,30],默认7天 ttlInDays: xx ## 日志流必填,不存在的话在LTS中创建 logStream: xxx ## 主机组,可选,不填的话用集群对应的默认主机组 hostGroup: xxx ## 定义采集日志源,即日志从哪里被采集 inputDetail: ## 容器标准输出 - 示例1:采集default命名空间中的所有容器的标准输出 ...... 创建完成后,执行如下命令启用该ltsconfig采集配置。 [root@test117-7cents crd]# kubectl apply -f stdout-all.yaml 查看ltsconfig采集配置。 使用kubectl get ltsconfig,查看当前所有的Logtail采集配置 [root@test117-7cents crd]# kubectl get ltsconfig NAME AGElts-crd-stdout-all 73stest 13m 执行kubectl get ltsconfig lts-crd-stdout-all -o yaml,查看Logtail采集配置的详细信息和状态。 [root@test117-7cents crd]# kubectl get ltsconfig lts-crd-stdout-all -o yamlapiVersion: lts.com/v1kind: LtsConfigmetadata: annotations: kubectl.kubernetes.io/last-applied-configuration: | {"apiVersion":"lts.com/v1","kind":"LtsConfig","metadata":{"annotations":{},"name":"lts-crd-stdout-all","namespace":"default"},"spec":{"inputDetail":{"containerStdout":{"allContainers":true},"type":"container_stdout"},"logStream":"logstream-1"}} creationTimestamp: "2021-11-18T06:49:29Z" generation: 1 name: lts-crd-stdout-all resourceVersion: "96627192" selfLink: /apis/lts.com/v1/namespaces/default/ltsconfigs/lts-crd-stdout-all uid: de510f9d-71fd-4379-ae3e-67900df80456spec: inputDetail: containerStdout: allContainers: true type: container_stdout logStream: logstream-1status: Status: '{"log_group_id":"","log_stream_id":"","host_group_id":"","access_config_id":"","structure_config_id":""}' 删除ltsconfig采集配置。 kubectl delete ltsconfig {name} 如果要删除对应的ltsconfig采集配置,只需删除对应的CRD文件即可。
  • 使用前配置 请确保已在Kubernetes集群中执行安装Helm v3的命令。 登录到可以执行helm命令的节点,执行如下命令安装lts-controller: curl http://lts-crd-${regionId}.obs.${regionId}.myhuaweicloud.com/lts-crd/lts-controller-install.sh > lts-controller-install.sh; sh lts-controller-install.sh {projectId} {clusterId} {regionId} {accessKeyId} {accessKeySecret} {lbAddress} 表1 参数参考列表 参数 说明 projectId 项目ID clusterId 标识本集群的Id regionId 使用LTS服务的regionId(如cn-north-7) accessKeyId 华为云用户的ak,用于调用LTS的接口时进行认证 accessKeySecret 华为云用户的sk,用于调用LTS的接口时进行认证 lbAddress ICAgent上报数据的地址,非华为云主机的话为跳板机方式 在安装lts-controller的过程中,系统自动完成以下操作: 部署工作负载lts-crd-controller 以DaemonSet方式部署采集器ICAgent 创建自定义资源类型ltsconfig(CRD,Custom Resource Definition)
  • 云审计服务支持的LTS操作列表 云审计支持的LTS操作列表如表1所示。 表1 云审计服务支持的LTS操作列表 操作名称 资源类型 事件名称 创建日志组 group createLogGroup 修改日志组 group updateLogGroup 删除日志组 group deleteLogGroup 创建日志流 topic createLogStream 修改日志流 topic updateLogStream 删除日志流 topic deleteLogStream 添加日志桶 logPailSetting addLogPail 删除日志桶 logPailSetting deleteLogPail 添加日志转储至OBS als addLogPailtoObs 修改日志转储至OBS als updateLogPailtoObs 删除日志转储至OBS als deleteLogPailtoObs 批量启动暂停周期性日志转储 als batchActionLogPailtoObs 创建指标过滤器 filter createLogFilter 修改指标过滤器 filter updateLogFilter 删除指标过滤器 filter deleteLogFilter 修改指标过滤器状态 filter updateLogFilterStatus 创建转储 transfer createLogTransfer 修改转储 transfer updateLogTransfer 删除转储 transfer deleteLogTransfer 创建快速查询 searchCriteria createLogSearchCriteria 修改快速查询 searchCriteria updateLogSearchCriteria 删除快速查询 searchCriteria deleteLogSearchCriteria 新增采集路径 logPath createLogAgent 修改采集路径 logPath updateLogAgent 删除采集路径 logPath deleteLogAgent 创建结构化模板 structLogConfig createLogStreamStructConfig 修改结构化模板 structLogConfig updateLogStreamStructConfig 删除结构化模板 structLogConfig deleteLogStreamStructConfig 创建快速分析 wordFreqConfig updateWordFreqConfig 存储日志路径配置 path addLogPath 添加统计规则 rule addRuleStatistics 修改统计规则 rule updateRuleStatistics 删除统计规则 rule deleteRuleStatistics 创建结构化 structurization addStructurization 删除结构化 structurization deleteStructurization 添加kafka实例 dmsKafka registerKafkaInfo 修改kafka实例 dmsKafka updateKafkaInfo 删除kafka实例 dmsKafka deleteKafkaInfo 创建dis转储 kafkaLogAccess createDisTransfer 修改dis转储 kafkaLogAccess updateDisTransfer 删除dis转储 kafkaLogAccess deleteDisTransfer 创建kafka转储 kafkaTransfer createKafkaTransfer 修改kafka转储 kafkaTransfer updateKafkaTransfer 删除kafka转储 kafkaTransfer deleteKafkaTransfer 创建日志清洗 logFilter createLogFilter 修改日志清洗 logFilter updateLogFilter 删除日志清洗 logFilter deleteLogFilter 创建图表 logChart createLogChart 修改图表 logChart updateLogChart 删除图表 logChart deleteLogChart 创建仪表盘 logDashboard createLogDashboard 修改仪表盘 logDashboard updateLogDashboard 删除仪表盘 logDashboard deleteLogDashboard 打开日志超额采集开关 LogCollectionSwitchOperation SwitchLogCollectionON 关闭日志超额采集开关 LogCollectionSwitchOperation SwitchLogCollectionOFF 创建ELB日志桶 elbPailType createElbPail 修改ELB日志桶 elbPailType updateElbPail 删除ELB日志桶 elbPailType deleteElbPail 添加日志路径采集规则 logPathCollectionType createLogPathCollection 修改日志路径采集规则 logPathCollectionType updateLogPathCollection 删除日志路径采集规则 logPathCollectionType deleteLogPathCollection 清理Redis缓存 cleanTenantResourceType deleteCleanTenantResource
  • CFW仪表盘模板 CFW仪表盘模板分组里有三种仪表盘模板,分别是CFW流量日志中心、CFW访问日志中心和CFW攻击日志中心。 CFW流量日志中心:该仪表盘主要展示CFW日志的互联网访问流量趋势、互联网访问流入地域分布、互联网访问应用分布、互联网访问源IP TOP5、互联网访问目的IP TOP5、主动外联流量趋势、主动外联目的地域分布、主动外联-应用分布、主动外联源IP TOP5和主动外联目的IP TOP5等指标。 CFW访问日志中心:该仪表盘主要展示CFW日志的互联网访问-拦截趋势、主动外联-拦截趋势、互联网阻断应用TOP5、互联网阻断目的TOP5、互联网阻断来源TOP5、主动外联阻断应用TOP5、主动外联阻断目的TOP5和主动外联阻断来源TOP5等指标。 CFW攻击日志中心:该仪表盘主要展示CFW日志的攻击趋势、攻击来源分布、TOP5 执行命令、攻击目的TOP5和攻击来源TOP5等指标。
  • NGINX仪表盘模板 NGINX仪表盘模板分组里有三种仪表盘模板,分别是NGINX监控中心、NGINX访问中心和NGINX秒级监控。 NGINX监控中心:该仪表盘主要展示NGINX日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 NGINX访问中心:该仪表盘主要展示NGINX日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 NGINX秒级监控:该仪表盘主要展示NGINX日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
  • ELB仪表盘模板 ELB仪表盘模板分组里有三种仪表盘模板,分别是ELB监控中心、ELB访问中心和ELB秒级监控。 ELB监控中心:该仪表盘主要展示ELB日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 ELB访问中心:该仪表盘主要展示ELB日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 ELB秒级监控:该仪表盘主要展示ELB日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
  • APIG仪表盘模板 APIG仪表盘模板分组里有三种仪表盘模板,分别是APIG监控中心、APIG访问中心和APIG秒级监控。 APIG监控中心:该仪表盘主要展示APIG日志的访问量PV、访问量UV、流量、访问失败率、延迟、Host请求TOP、Host延迟TOP、Host失败率TOP、URL请求TOP、URL延迟TOP、URL失败率TOP、后端请求TOP、后端延迟TOP、后端失败率TOP等指标。 APIG访问中心:该仪表盘主要展示APIG日志的PV对比、访问量PV分布(中国)、访问量PV分布(世界)、访问量UV分布(中国)、访问量UV分布(世界)、平均时延分布(中国)、平均时延分布(世界)、今日PV/UV、7日PV/UV、区域访问TOP10(省份)、区域访问TOP10(城市)、Host访问TOP10、UserAgent访问TOP10、设备占比(终端)、设备占比(系统)、TOP URL、TOP 访问IP等指标。 APIG秒级监控:该仪表盘主要展示APIG日志的QPS、成功率、延迟、流量、状态码、Upstream状态码等指标。
  • 搜索语法及样例 搜索语法: 表2 搜索语法 条件 说明 关键字精确搜索 针对日志中的关键字进行精确搜索,大小写敏感。关键词指相邻两分词符之间的单词。 如果对分词符规则不熟悉,建议在关键词后加上*,例如:error*,帮助搜索。 短语精确搜索 针对日志中的短语进行精确搜索,大小写敏感。 && 搜索结果的交集。 || 搜索结果的并集。 AND 搜索结果的交集。 and 搜索结果的交集。 OR 搜索结果的并集。 NOT 搜索结果不包含NOT后的关键字。 not 搜索结果不包含not后的关键字。 ? 模糊搜索能力,?放在关键字中间或末尾,用于替代一个字符。 * 模糊搜索能力,*只能放在关键字后,用于替代0到n个字符。 > 搜索结构化long或float类型字段大于某个数值,例如:num>10。 < 搜索结构化long或float类型字段小于某个数值,例如:num < 10。 = 搜索结构化long或float类型字段等于某个数值,例如:num = 10。 >= 搜索结构化long或float类型字段大于等于某个数值,例如:num >= 10。 <= 搜索结构化long或float类型字段小于等于某个数值,例如:num <= 10。 : 用于字段查询(Key:Value),例如:request_method:GET。 如果字段名称或者字段值内有空格、冒号(:)等保留字符,请使用双引号("")包裹字段名称或者字段值,例如"file info":apsara。 "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符。例如:"and"。 表示查询包含and的日志,此处的and不代表运算符。 在字段查询中双引号("")内的所有词被当成一个整体。 \ 转义符号,用于转义双引号(""),转义后的引号表示符号本身。例如日志内容为instance_id:nginx"01",您可以使用instance_id:nginx\"01\"进行查询。 * 通配符查询,匹配零个、单个、多个字符。例如:host:abcd*c。 说明: 云日志服务会在所有日志中为您查询到符合条件的100个词,返回包含这100个词并满足查询条件的所有日志。 in 查询某字段值处于某数值范围内的日志,中括号表示闭区间,小括号表示开区间,两个数字之间使用空格分隔。例如 request_time in [100 200]或request_time in (100 200]。 说明: in只能为小写字母;仅支持long或float类型字段。 () 用于提高括号内查询条件的优先级(支持 and、or、not查询条件)。例如:(request_method:GET or request_method:POST) and status:200。 key:#"abc def" 字段查询。配置字段索引后,可以指定字段名称和字段值(Key:Value)进行查询。 #"abc def" 全文查询。配置分词符后,云日志服务根据您设置的分词符将整条日志拆分成多个词。可以指定关键字(字段名、字段值)和查询规则进行查询。 如果原始日志中本身包含搜索语法的关键字(&&、||、AND、OR、NOT、*、?、:、>、<、=、>=、<=),则不支持使用这些关键字来搜索日志。 搜索规则: 支持模糊搜索能力。 例如:输入error*,可以查找所有含有error的日志且高亮以error开头的日志内容。 支持键与值格式的多条件组合搜索,格式为:key1:value1 AND key2:value2或key1:value1 OR key2:value2。输入或选择key1:value1进行搜索后,需添加AND或OR,才可以在搜索框中继续输入或选择key2:value2对两个条件同时进行搜索。 支持单击关键词弹出菜单项,有复制、添加到查询和从查询中排出三种操作。 复制:复制该字段 添加到查询:在查询的语句中添加“AND field: value ” 从查询中排出:在查询的语句中添加“NOT field: value” 搜索样例: 搜索含有start的所有日志:start。 搜索含有start to refresh的所有日志:start to refresh。 搜索同时包含start和unexpected的日志数据:start && unexpected。 搜索同时包含start和unexpected的日志数据:start AND unexpected。 搜索包含start或者unexpected的日志数据:start || unexpected。 搜索包含start或者unexpected的日志数据:start OR unexpected 。 不包含query1的日志数据:NOT content : query1 。 搜索日志内容中含有error的所有日志:error*。 搜索日志内容中以“er”开头,以“or”结尾,并且中间有一个字符的所有日志:er?or。 搜索的关键词中含有分词符(:)时,搜索日志: content : "120.46.138.115:80" 或者 content : 120.46.138.115:80 。 搜索包含query1而且包含query2,但不包含query3的日志数据:query1 AND query2 AND NOT content : query3。 输入关键字查询日志时,关键字区分大小写,搜索的日志内容大小写敏感,高亮的日志内容大小写敏感。 全文搜索时,模糊搜索 “*”, “?” 不匹配特殊字符,例如:“-”、空格。 支持关键词模糊匹配搜索,关键词不能以“?”或“*”开头。例如:关键词可以输入"ER?OR"或"ER*R"。 使用关键词搜索时,当单条日志超过255长度时,可能无法精确查询。
  • 日志搜索的常用操作 日志搜索的常用操作有添加告警、选择时间段展示日志、刷新等操作,具体参考如下图所示: 表1 操作 说明 回到旧版 单击按钮,可回到旧版日志搜索界面。 创建快速查询 单击按钮,创建快速查询。 添加告警 单击按钮,在弹出的新建告警规则页面,可配置告警规则。 选择时间段展示日志 单击下拉框选择时间段展示日志,支持的时间段有近1分钟、近5分钟、近15分钟、近1小时、近6小时、近1天、近1周及自定义时间段。 刷新日志 单击对日志进行刷新,有两种方式刷新方式:手动刷新和自动刷新。 手动刷新:单击“手动刷新”可直接对日志进行刷新 自动刷新:选择自动刷新的间隔时间,将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 分享日志 单击复制当前日志搜索页面的链接,用于分享搜索日志。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 简化字段详情 单击查看简化字段详情。 换行 单击按钮,搜索的日志内容将换行显示。 说明: 默认换行按钮开启。 下载日志 单击按钮,在弹出的下载日志页面中选择“本地下载”和“前往创建转储”。 本地下载:将日志文件直接下载到本地,单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地 说明: 选择以CSV格式导出日志后,本地以表格形式保存日志的具体标签信息。 选择导出TXT格式日志后,本地会以.txt格式保存日志的日志内容。 前往创建转储:通过OBS转储任务下载日志文件,单次下载支持最大100万条日志。 单击“前往创建转储”,跳转至配置转储页面。 版面设置 单击按钮,选择“版面设置”,在弹出的版面设置页面中,设置字段是否简化显示和可见性。 是否简化显示:开启该按钮,字段显示如图: 可见性:当关闭字段的可见性时,日志内容中将不显示。 JSON设置 单击按钮,选择“JSON设置”,在弹出的JSON设置页面中,设置格式化显示。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时,将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时,不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。
  • 术语 AppGallery Connect (简称AGC) :为应用的创意、开发、分发、运营、经营各环节提供一站式服务,构建全场景智慧化的应用生态体验。 华为分析服务(Analytics Kit):属于AGC的子功能,主要针对移动应用、Web、快应用等产品用户行为分析平台,贴合业务场景,提供数据采集、数据管理、数据分析、数据应用的一体化解决方案,驱动企业实现精准拉新、产品优化、精益运营、业务增长。
  • 接入流程 操作流程 说明 登陆AppGallery Connect 自2021年3月31日起,在华为云上注册的帐号为华为帐号,使用该帐号可以直接登陆AGC。在此之前的用户仍需要重新注册华为帐号。请注册或登陆AGC官网。 配置AppGallery Connect 参见创建项目和在项目中添加应用完成应用的创建。 开通华为分析服务。 选择开发平台 Android iOS Web 集成华为分析服务SDK 集成SDK 集成SDK 集成SDK 上报数据 接入Analytics,接入时需要调用接口,请调用Android实现日志接入LTS。 接入Analytics,接入时需要调用接口,请调用iOS实现日志接入LTS。 接入Analytics,接入时需要调用接口,请调用Web实现日志接入LTS。 其中日志上报区域、项目为使用LTS所在的区域和项目,日志组、日志流为在LTS中已创建的日志组和日志流。 日志上报后您可以在LTS中实时查看日志。 【可选】华为分析服务SDK自动采集事件、埋点上报预置事件、埋点上报自定义事件。
  • 创建告警规则 在云日志服务管理控制台,单击“告警”。 在告警页面默认显示“告警列表”,单击“告警规则”切换至告警规则页面。 图1 告警规则页面 单击“创建”,在界面右侧弹出“新建告警规则”页面。 在“新建告警规则”页面,配置告警规则相关参数。 表1 配置告警规则参数 参数名称 说明 校验规则 样例 规则名称 告警规则的名称。 名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为 1-64个字符。 LTS-Alarm 描述 对该规则进行简要描述。 长度不能超过64个字符。 - 统计类型 包括“关键词统计”和“SQL统计”。 - SQL统计 相关图表 有两种添加方式:直接添加和从图表导入 直接添加:单击“直接添加”,可选择日志组、日志流。具体的参数配置信息如下: 日志组名称:日志组的名称,必选项。 日志流名称:日志组下的日志流名称,必选项。 说明: 若所选日志流未配置结构化规则, 请先配置结构化 查询时间:当前所选日志的查询时间,可选项。查询时间(1 ~ 60分钟/1 ~ 24小时),单位为分钟或小时。 查询语句:可视化查询语句,必填项。具体请参考SQL语法查询。 从图表导入:单击,进入“添加可视化图表”页面,选择对应日志组、日志流下的可视化图表,单击“确定”。若该日志流下没有图表或没有所需的图表,单击界面上的“前往添加图表”,进入可视化界面,设置完成后单击“保存并返回”返回到告警规则界面,自动打开创建规则弹框,填充新创建的图表及图表的查询语句。 可以指定图表的查询时间(1 ~ 60分钟/1 ~ 24小时),单位为分钟或小时,每个图表最多可以查询最近一天的数据,当统计周期选择1~4分钟时,图表查询时间不能超过1小时。 若想添加多个图表,可单击继续添加。 说明: 单击跳转到日志流的可视化查看详情界面 单击 删除该直接添加的图表 单击“预览”可查看可视化分析后的数据。必须要执行“预览”,否则将无法保存该告警规则 最多支持添加3个图表 图表不能为空,且图表中的sql查询语句不能为空。 - 统计周期 条件表达式查询的频率可以设置为: 每小时:表示1点整查询一次,2点整查询一次…… 每天:需要指定几点整查询。 每周:需要指定周几的几点整查询。 固定间隔:需要指定1 ~ 60分钟/1 ~ 24小时,当图表查询时间超过1小时时,统计周期不能选择1~4分钟。 CRON表达式:CRON表达式的最小精度为分钟,格式为24小时制,示例如下: 0/10 * * * *从0分钟开始,每隔10分钟查询一次。 0 0/5 * * *从0点0分开始,每隔5小时查询一次。 0 14 * * *每天14点0分查询一次。 0 0 10 * *每月10日0点0分查询一次。 - 每天 01:00 条件表达式 输入具体的条件表达式,当条件表达式返回为true的时候,产生告警,否则不产生告警。 说明: 条件表达式不支持中文。 SQL别名不能为纯数字。 条件表达式支持的基础语法和多表组合语法。 基础语法: 基础运算符:支持加(+)、减(-)、乘(*)、除(/)、取模运算(%)。 示例:x * 10 + y > 100。 比较运算符:支持大于(>)、大于等于(>=)、小于(<)、小于等于(<=)、等于(==)、不等于(!=)。示例:x >= 100。 逻辑运算符:支持与(&&)、或(||)。示例:x > 0 && y < 200。 取反前缀:支持取反前缀(!)。 示例:!(x < 1 && x > 100)。 数值常量:支持数值常量,并作为64位浮点数处理。示例:x > 10。 字符串常量:支持字符串常量("字符串"),例如"string"。示例:str =="string"。 布尔常量:支持布尔常量(true、false)。示例:(x < 100)!=true。 括号:支持使用括号改变计算的优先级。示例:x *(y + 10)<200。 contains函数:支持使用contains函数判断是否包含子串,例如contains(str, "hello")返回true则表示str中包含hello子串。 多表组合语法: 基础运算符:(+-*/%)。 比较运算符:大于(>)、大于等于(>=)、小于(<)、小于等于(<=)、等于(==)、不等于(!=)。 逻辑运算符:与(&&)、或(||)。 取反前缀(!)。 contains函数。 括号()。 NA $0.count + $1.total > 100 触发条件 配置触发条件,即满足该条件时,会触发告警。 统计周期次数指上面设置的统计周期;满足条件次数指设置的条件表达式。配置的统计周期次数须大于等于满足触发条件次数。 统计周期次数最小值为1,最大值为10。 4,2 恢复策略 配置恢复策略,即满足该策略时,会发送告警恢复通知。 配置的最近统计周期次数内,如果不满足触发条件且开启恢复时通知开关,则会发送恢复告警通知。 最近统计周期次数最小值为1,最大值为10。 2 恢复时通知 用于发送恢复告警通知。默认为关闭状态。 开启该按钮,当满足恢复策略时,会发送恢复告警通知;未开启该按钮,当满足恢复策略时,不会发送恢复告警通知。 - 开启 触发告警级别 包括“紧急”、“重要”、“次要”、“提示”,默认“紧急”。 - 紧急 发送通知 包括“不发送”、“发送”,默认“不发送”。 - 不发送 告警主题 当“发送通知”中选择“发送”时,需要在下拉框选择该告警的主题、配置时区/语言和消息模板,其中告警主题可多选。 若没有您想要选择的主题,请单击 “创建主题”,在消息通知服务SMN界面新建主题,具体操作如下所示。 创建一个主题,操作详见创建主题。例如,创建名称为Topic1的主题。 设置主题策略,操作详见设置主题策略。 设置主题策略时,“可发布消息的服务”必须选择“APM”,否则会导致通知发送失败 为主题添加相关的订阅者,即通知的接收人(例如,邮件或短信),SMN可以实时地将告警信息以广播的方式通知这些订阅者,操作详见订阅主题。 例如,订阅者设置为该运维人员的邮箱。 若您需要修改时区/语言,可单击“修改”,在账号中心里进行首选项设置。 当“发送通知”中选择“发送”时,该参数为必选。 - 图2 新建告警规则 单击“确定”。
  • 添加数据源 在浏览器中输入localhost:3000进行访问,登录Grafana服务。 初始账号密码是admin/admin。 在左侧菜单栏中,单击 选择Data Sources,进入Data Sources页面,单击Add data source,添加数据源。 配置数据源。 表1 参数说明表 参数 说明 示例 Name 插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考终端节点。 lts.cn-north-1.myhuaweicloud.com projectId 账户的projectId。 说明: 登录LTS控制台,单击账号名称>我的凭证>API凭证,在API凭证页面中,可直接复制所属区域对应的项目ID。 - Log StreamId 日志流Id。 说明: 登录LTS控制台,单击日志管理>日志组名称>日志流ID,可直接复制日志流ID。 - AccesskeyId/SecretAccessKey 用户访问凭证。 说明: 登录LTS控制台,单击账号名称>我的凭证>访问密钥,在访问密钥页面中,可直接复制访问密钥ID。 - 完成后,单击Save & Test。
  • 安装日志服务(LTS-Grafana)插件 安装日志服务插件。 进入Grafana的安装目录。例如:GrafanaLabs\grafana\data\plugins。 下载的LTS-Grafana插件压缩包解压两次后进入\repo目录,然后选中.rpm文件右击鼠标使用7-Zip软件提取到当前位置,再对提取到的.cpio文件使用7-Zip软件提取到当前位置,这样成功提取文件(文件名为hw-hws-lts-grafana-datasource-plugin)。 将提取到的文件(文件名为hw-hws-lts-grafana-datasource-plugin)拷贝到GrafanaLabs\grafana\data\plugins目录中。 完成后,重启Grafana服务。 在Linux中,输入如下命令重启Grafana服务: service grafana-server restart 在Windows中,进入任务管理器选择服务页签,选中Grafana右击鼠标单击重新启动,可重启Grafana服务。 如果安装的Grafana是7.0及以上版本,则需要修改Grafana配置文件。 打开配置文件。 在macOS中的文件路径:/usr/local/etc/grafana/grafana.ini 在Linux中的文件路径:/etc/grafana/grafana.ini 在Windows中的文件路径:安装目录/GrafanaLabs\grafana\conf\defaults.ini 配置allow_loading_unsigned_plugins参数。 allow_loading_unsigned_plugins = hw-hws-lts-grafana-datasource-plugin 完成后,重启Grafana服务。
  • 创建告警规则 在云日志服务管理控制台,单击“告警”。 在告警页面默认显示“告警列表”,单击“告警规则”切换至告警规则页面。 图1 告警规则页面 单击“创建”,在界面右侧弹出“新建告警规则”页面。 在“新建告警规则”页面,配置告警规则相关参数。 表1 配置告警规则参数 参数名称 说明 校验规则 样例 规则名称 告警规则的名称。 名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为 1-64个字符。 LTS-Alarm 描述 对该规则进行简要描述。 长度不能超过64个字符。 - 统计类型 包括“关键词统计”和“SQL统计”。 - 关键词统计 日志组名称 选择已创建的日志组。 - - 企业项目 选择已创建的企业项目。 如果当前帐号未开通企业项目则不显示该参数。 - - 日志流名称 选择已创建的日主流。 说明: 当日志组下有多个日志流时,支持选择多个日志流,即可批量创建关键词告警。 - - 关键词 设置关键词,LTS会根据设置的关键词对日志流中的日志进行监控。 说明: 设置关键词时,请参考搜索语法及样例。 关键词支持精确匹配和模糊匹配,区分大小写,输入长度不超过1024个字符。 hostIP:192 查询时间 指定关键词的查询周期。查询关键词时间范围:从当前时间往前推一个周期。例如:查询时间设置为1小时,当前时间为9:00,则查询关键词的时间范围为8:00-9:00。 如果查询时间单位为分钟,则取值范围是1-60; 如果查询时间单位为小时,则取值范围是1-24。 - 1小时 统计周期 条件表达式查询的频率可以设置为: 每小时:表示整点小时查询。 每天:需要指定几点整查询。 每周:需要指定周几的几点整查询。 固定间隔:自定义间隔周期,需要指定1-60分钟/1-24小时。例如:当前时间为9:00,固定间隔设置为5分钟,则第一次查询时间为9:00,第二次查询时间为9:05,第三次查询时间为9:10..... 说明: 当查询时间大于1小时,固定间隔时间最小取值为5分钟。 CRON表达式:CRON表达式的最小精度为分钟,格式为24小时制,示例如下: 0/10 * * * *从00:00开始,每隔整10分钟查询一次,分别为10分钟、20分钟、30分钟、40分钟、50分钟、60分钟。例如:当前时间为16:37,下一次查询时间为16:50。 0 0/5 * * *从00:00开始,每隔5小时查询一次,分别为0时、5时、10时、15时、20时。例如:当前时间为16:37,下一次查询时间为20:00。 0 14 * * *每天14:00查询一次。 0 0 10 * *每月10日00:00查询一次。 - 每天 01:00 匹配条数 当关键词搜索结果的日志条数达到设定的条数时,会触发告警。 支持大于(>)、大于等于(>=)、小于(<)、小于等于(<=)4种比较运算符。 日志条数支持最小值: 1,最大值: 2147483647。 >10 触发条件 配置触发条件,即满足该条件时,会触发告警。 统计周期次数指上面设置的统计周期;满足条件次数指设置的关键词。配置的统计周期次数须大于等于满足触发条件次数。 统计周期次数最小值为1,最大值为10。 4,2 恢复策略 配置恢复策略,即满足该策略时,会发送告警恢复通知。 配置的最近统计周期次数内,如果不满足触发条件且开启恢复时通知开关,则会发送恢复告警通知。 最近统计周期次数最小值为1,最大值为10。 2 恢复时通知 用于发送恢复告警通知。默认为关闭状态。 开启该按钮,当满足恢复策略时,会发送恢复告警通知;未开启该按钮,当满足恢复策略时,不会发送恢复告警通知。 - 开启 触发告警级别 包括“紧急”、“重要”、“次要”、“提示”,默认“紧急”。 - 紧急 发送通知 包括“不发送”、“发送”,默认“不发送”。 - 不发送 告警主题 当“发送通知”中选择“发送”时,需要在下拉框选择该告警的主题、配置时区/语言和消息模板,其中告警主题可多选。 若没有您想要选择的主题,请单击 “创建主题”,在消息通知服务SMN界面新建主题,具体操作如下所示。 创建一个主题,操作详见创建主题。 例如,创建名称为Topic1的主题。 设置主题策略,操作详见设置主题策略。 设置主题策略时,“可发布消息的服务”必须选择“APM”,否则会导致通知发送失败 为主题添加相关的订阅者,即通知的接收人(例如,邮件或短信),SMN可以实时地将告警信息以广播的方式通知这些订阅者,操作详见订阅主题。 例如,订阅者设置为该运维人员的邮箱。 若您需要修改时区/语言,可单击“修改”,在账号中心里进行首选项设置。 当“发送通知”中选择“发送”时,该参数为必选。 - 图2 新建告警规则 单击“确定”,完成对关键词告警规则的创建。 也可以在日志管理>日志流>原始日志页面中单击右上角的“添加告警”,跳转至创建告警规则页面。 告警规则创建完成后,默认开启状态按钮。当开启该按钮且关联日志流满足告警规则时,会触发告警;当关闭该按钮,即使有满足该告警规则的情况,也不会触发告警。
  • writeLog Method public void writeLog(HALogConfig logConfig, String content) 记录日志信息。 Parameters Name Description logConfig 当前日志的配置信息,region、projectId、logGroupId、logStreamId为必选参数,tags为可选参数。 content 自定义日志信息,长度不超过4096字符,超过的字符丢弃。
  • writeLog:setContent Method + (void)writeLog:(nonnull HALogConfig *)logConfig setContent:(nonnull NSString *)content; 记录日志信息。 Parameters Name Description logConfig 当前日志的配置信息,region、projectId、groupId、streamId为必选参数,tags为可选参数。 content 自定义日志信息,长度不超过4096字符,超过的字符丢弃。
  • configWithRegion:projectId:groupId:streamId:tags Method + (nullable HALogConfig *)configWithRegion:(nonnull NSString *)region projectId:(nonnull NSString *)projectId groupId:(nonnull NSString *)groupId streamId:(nonnull NSString *)streamId tags:(nullable NSDictionary *)tags; 有参构造函数,用于创建HALogConfig实例。 Parameters Name Description region LTS日志上报区域。非空,长度不超过128字符。 projectId LTS项目ID。非空,长度不超过128字符。 groupId LTS日志组ID。非空,长度不超过128字符。 streamId LTS日志流ID。非空,长度不超过128字符。 tags 自定义的日志标识。 参数最多支持50个键值对,每个键值对中key的长度不能超过64个字符,且只能由数字、字母、下划线组成,必须以字母开头;value长度不能超过256个字符。 样例: HALogConfig *logConfig = [HALogConfig configWithRegion:@"region" projectId:@"projectId" groupId:@"groupId" streamId:@"streamId" tags:@{@"key1":@"value1",@"key2":@"value2"}];[HiAnalytics writeLog:logConfig setContent:@"content"];
  • Public Method Summary Qualifier and Type Method Name and Description nullable HALogConfig * configWithRegion:(nonnull NSString *)region projectId:(nonnull NSString *)projectId groupId:(nonnull NSString *)groupId streamId:(nonnull NSString *)streamId tags:(nullable NSDictionary *)tags; 有参构造函数,用于创建HALogConfig实例。
共488条