云服务器内容精选

  • 结构化模板日志详情 ELB示例日志 表2 结构化模板示例 模板名称 示例日志 ELB 1594727856.337 e7c37d97-e922-457c-bbf3-dsadeqac [2020-07-14T19:57:36+08:00] elb_01 192.0.0.0:88888 200 "GET http://prod.sss.ads.sg2.aaa/loc/ation?version=3&ip=100.0.0.0&coordinate=27.7044784,85.3007481&device_id=dsadsadasdsadasd&beyla_id=wqeb123ndadsa233ddada HTTP/1.1" 233 293 138 0.001 "200" "0.000" "0.001" "0.001" "100.0.0.0:9999" "lua-resty-http/0.14 (Lua) ngx_lua/10000" "-" "-" loadbalancer_edsaee-4c9c-b467-5b8126b2f7f7dsa listener_6077809b-913f-466d-a96c-376f08882d5d 08cc2b3f68aa4dddd1e6a90dddd1688348a4480 pool_b2f2966c-043d-4674-ad4b-c15f2adb2c6b "-" 2fb78dsadadq1213das1121dab146ad3cb0 -:80 "101.0.0.0:10000" - - - - 9739 结构化字段及字段说明 表3 结构化字段 字段 示例 描述 类型 msec 1594727856.337 以秒为单位的时间,日志写入时的分辨率为毫秒。 float access_log_topic_id e7c37d97-e922-457c-bbf3-dsadeqac 访问日志流ID string time_iso8601 2020-07-14T19:57:36+08:00 日志写入时的时间,采用ISO 8601标准格式本地时间 string log_ver elb_01 ELB服务日志版本号 string remote_addr 192.0.0.0 客户端IP地址 string remote_port 88888 客户端端口 long status 200 ELB响应的状态码。 long request_method GET 请求方法 string scheme http 请求方式 string host prod.sss.ads.sg2.aaa 主机名 string router_request_uri location?version=3&ip=100.0.0.0&coordinate=27.7044784,85.3007481&device_id=dsadsadasdsadasd&beyla_id=wqeb123ndadsa233ddada 请求uri string server_protocol HTTP/1.1 请求协议 string request_length 233 从客户端收到的请求长度(包括请求header和请求body) long bytes_sent 293 发送到客户端的字节数 long body_bytes_sent 138 发送到客户端的字节数(不包括响应头) long request_time 0.001 请求处理时间,即ELB收到第一个客户端请求报文到ELB发送完响应报文的时间间隔(单位:秒 float upstream_status 200 从上游服务器获得的响应状态码,当ELB代理进行请求重试时会包含多个响应的状态码,当请求未被正确转发到后端服务器时此字段为 - long upstream_connect_time 0.000 与上游服务器建立连接所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个连接的时间,当请求未被正确转发到后端服务器时此字段为 - float upstream_header_time 0.001 从上游服务器接收响应头所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个响应时间,当请求未被正确转发到后端服务器时此字段为 - float upstream_response_time 0.001 从上游服务器接收响应所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个响应时间,当请求未被正确转发到后端服务器时此字段为 - float upstream_addr 100.0.0.0:9999 后端主机的IP地址和端口号。可能有多个值,每个值都是ip:port或者-,用逗号空格隔开。 (该参数适用于独享型负载均衡) string http_user_agent lua-resty-http/0.14 (Lua) ngx_lua/10000 ELB收到请求头中的http_user_agent内容,表示客户端的系统型号、浏览器信息等。 string http_referer - ELB收到请求头中的http_referer内容,表示该请求所在的页面链接。 string http_x_forwarded_for - ELB收到请求头中的http_x_forwarded_for内容,表示请求经过的代理服务器IP地址。 string lb_name loadbalancer_edsaee-4c9c-b467-5b8126b2f7f7dsa 负载均衡器的名称(格式为“loadbalancer_” + “负载均衡器ID”) string listener_name listener_6077809b-913f-466d-a96c-376f08882d5d 监听器的名称(格式为“listener_” + “监听器ID”) string listener_id 08cc2b3f68aa4dddd1e6a90dddd1688348a4480 监听器在ELB服务内部的ID(客户可忽略) string pool_name pool_b2f2966c-043d-4674-ad4b-c15f2adb2c6b 后端服务器组名称(格式为“pool_” + “后端服务器组ID”) string member_name - 后端服务器的名称(格式为“member_” + “服务器ID”,尚未支持)。可能有多个值,每个值都是member_id或者-,用逗号空格隔开。 string tenant_id 2fb78dsadadq1213das1121dab146ad3cb0 租户ID string eip_address - 弹性IP地址 string eip_port 80 监听器监听的端口号 long upstream_addr_priv 101.0.0.0:10000 后端主机的IP地址和端口号。可能有多个值,每个值都是ip:port或者-,用逗号空格隔开。 (该参数适用于共享型负载均衡) string certificate_id - [HTTPS监听器]SSL连接建立时使用的证书ID string ssl_protocol - [HTTPS监听器]SSL连接建立使用的协议,非HTTPS监听器,此字段为 - string ssl_cipher - [HTTPS监听器]SSL连接建立使用的加密套件,非HTTPS监听器,此字段为 - string sni_domain_name - [HTTPS监听器]SSL握手时客户端提供的SNI域名,非HTTPS监听器,此字段为 - string tcpinfo_rtt 9739 ELB与客户端之间的tcp rtt时间,单位:微秒 long
  • 操作步骤 云日志服务接入方式为负载均衡 ELB时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入”,单击“负载均衡 ELB”进行ELB接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:ELB配置。 ELB配置。 单击“前往ELB配置”。 在网络控制台,选择弹性负载均衡下的“负载均衡器”。 在弹性负载均衡页面中,单击待操作的负载均衡器“名称/ID” ,进入详情页面。 选择“访问日志”,单击“配置访问日志”。 在弹出的配置访问日志页面中,选择对应的日志组和日志流。 具体的操作步骤,请见弹性负载均衡《用户指南》。 日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为ELB系统模板;索引配置为所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=elb_7layer_access 开启该按钮,自动为日志流添加标签(log_type=elb_7layer_access)后,ELB仪表盘模板才能匹配该日志流。 自动为日志流创建仪表盘 开启该按钮,自动为日志流创建ELB仪表盘。 完成。
  • 结构化模板日志详情 结构化模板示例 表2 结构化模板示例 模板名称 示例日志 APIG 100.125.7.59 f57f6523b675504a23887d0f5c1c8ef3 f5ea2360a2fa443cac236b76f4052ad6 - - [27/Jan/2022:15:56:44 +0800] 0.113 GET http://c965898968af48248ec7fac4ec0666f4.apic.cn-north-4.huaweicloudapis.com /api/echo HTTP/1.1 200 1443 408 "APIGatewayDebugClient/1.0" "-" "100.125.2.39:443" /v2/x/fgs/functions/urn:fss:cn-north-4:106506b9a92342df9a5025fc12351cfc:function:default:apigDemo_1640743997661:latest/invocations "200" "0.010" "0.083" "0.083" cn-north-4 0.083 0 - - - 0.03000020980835 - - "-" 486 HttpEchoDemo - - - "-" "-" "-" "-" "-" "-" "-" "-" "-" "-" "remote" "0.52" "http" "id" "-" "urn:fss:cn-north-7:6650ff66e4524699bea4c96ff2f268fe:function:default:test123hxy" 结构化字段详情 表3 结构化字段 字段 示例 描述 类型 my_remote_addr 100.125.7.59 用户的客户端IP地址 string request_id f57f6523b675504a23887d0f5c1c8ef3 请求ID string api_id f5ea2360a2fa443cac236b76f4052ad6 API ID string user_id - 用户名称 string app_id - 当使用APP认证访问时,请求方提供的APP ID string time_local 27/Jan/2022:15:56:44 请求时间 string request_time 0.113 请求延迟 float request_method GET HTTP请求方法 string scheme http 请求方式 string host c965898968af48248ec7fac4ec0666f4.apic.cn-north-4.huaweicloudapis.com 请求域名 string router_uri /api/echo 请求URI string server_protocol HTTP/1.1 请求协议 string status 200 响应状态码 long bytes_sent 1443 响应大小(单位:字节,包含状态行、响应头、响应体) long request_length 408 请求长度(单位:字节,包含起始行、请求头、请求体) long http_user_agent APIGatewayDebugClient/1.0 用户代理标识 string http_x_forwarded_for - X-Forwarded-For头 string upstream_addr 100.125.2.39:443 请求的后端地址 string upstream_uri /v2/x/fgs/functions/urn:fss:cn-north-4:106506b9a92342df9a5025fc12351cfc:function:default:apigDemo_1640743997661:latest/invocations 请求后端的URI string upstream_status 200 后端响应状态码 long upstream_connect_time 0.01 与后端建立连接所用时间 float upstream_header_time 0.083 从开始与后端建立连接到从后端获取到首字节所用时间 float upstream_response_time 0.083 从开始与后端建立连接到从后端获取到最后一个字节所用时间 float region_id cn-north-4 云服务区ID string all_upstream_response_time 0.083 从开始与后端建立连接到从后端获取到最后一个字节所用时间,单位秒。发生重试时,为所用时间总和 float errorType 0 API请求的错误类型 0:非流控错误 1:流控错误 long auth_type - API认证类型 string access_model1 - 认证模式1 string access_model2 - 认证模式2,开启双重认证时,为自定义认证编号 string inner_time 0.03000020980835 apig的内部处理时长,单位秒 float proxy_protocol_vni - VPC终端节点的虚拟网络标识 string proxy_protocol_vpce_id - VPC终端节点的ID string proxy_protocol_addr - 客户端源IP地址 string body_bytes_sent 486 API请求的Body体大小,单位字节 long api_name HttpEchoDemo API名称 string app_name - 当使用APP认证访问时,请求方使用的APP名称 string provider_app_id - API所属的APP ID string provider_app_name - API所属的APP名称 string custom_data_log1 - 用户自定义日志字段值1 string custom_data_log2 - 用户自定义日志字段值2 string custom_data_log3 - 用户自定义日志字段值3 string custom_data_log4 - 用户自定义日志字段值4 string custom_data_log5 - 用户自定义日志字段值5 string custom_data_log6 - 用户自定义日志字段值6 string custom_data_log7 - 用户自定义日志字段值7 string custom_data_log8 - 用户自定义日志字段值8 string custom_data_log9 - 用户自定义日志字段值9 string custom_data_log10 - 用户自定义日志字段值10 string response_source remote 请求响应来源 local:APIG remote:后端服务 string gzip_ratio 0.52 原始响应body体大小与压缩后大小的比率。 float upstream_scheme http 后端协议类型。 string group_id id 分组ID。 string apig_err_code - 网关错误码。 string function_urn urn:fss:cn-north-7:6650ff66e4524699bea4c96ff2f268fe:function:default:test123hxy 函数的URN。 string
  • 操作步骤 云日志服务接入方式为API网关 APIG时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入”,单击“API网关 APIG”进行APIG接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:APIG配置。 APIG配置。 单击“前往APIG配置”。 在APIG控制台,选择API监控分析下的“日志分析”。 单击“配置访问日志”链接。 在弹出的配置访问日志页面中,选择对应的日志组和日志流。 APIG里具体的操作请参见日志分析。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为APIG系统模板;索引配置为所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=apig_layer_access 开启该按钮,自动为日志流添加标签(log_type=apig_layer_access)后,APIG仪表盘模板才能匹配该日志流。 自动为日志流创建仪表盘 开启该按钮,自动为日志流创建APIG仪表盘。 完成。
  • 云服务概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型(结构化模板名称) 文档链接 仪表盘 1 AOM 应用运维管理 AOM接入的云服务日志 (不推荐该方式) AOM接入 - 2 APIG API网关 网关访问日志(APIG) APIG接入 APIG监控中心 APIG访问中心 APIG秒级监控 3 AstroZero Astro轻应用 Astro轻应用 Astro轻应用接入 - 4 BMS 裸金属服务器 全量日志(ICAgent采集文本日志) BMS接入 - 5 CBH 云堡垒机 操作日志 CBH接入 - 6 CCE 云容器引擎 用户应用日志 CCE管理面日志 CCE接入 - 7 CDN 内容分发网络 访问日志(CDN) CDN接入 CDN用户分析 CDN错误分析 CDN热门资源 CDN基础数据 8 CFW 云防火墙 攻击日志(CFW攻击日志) 访问日志(CFW访问控制日志) 流量日志(CFW流量日志) CFW接入 - 9 CTS 云审计服务 云服务管理面操作日志(CTS) CTS接入 - 10 DCS 分布式缓存服务 审计日志(DCS审计日志) DCS接入 DCS审计日志中心 11 DDS 文档数据库服务 审计日志(DDS审计日志) 错误日志(DDS错误日志) 慢日志(DDS慢日志) DDS接入 DDS审计日志中心 12 DDoS防护 AAD DDoS防护 AAD 全量日志 DDoS防护 AAD接入 - 13 DMS 分布式消息服务Kafka版 DMS重平衡日志 分布式消息服务Kafka接入 - 14 DRS 数据复制服务 访问日志 DRS接入 - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 DWS接入 - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) ECS接入 - 17 ELB 弹性负载均衡 7层访问日志(ELB) ELB接入 ELB监控中心 ELB访问中心 ELB秒级监控 18 ER 企业路由器 全量日志(ER企业路由器) ER企业路由器接入 - 19 FunctionGraph 函数工作流 函数执行日志 FunctionGraph接入 - 20 GaussDB 云数据库 GaussDB 审计日志(GAUSSV5审计日志) GaussDB接入 - 21 GES 图引擎服务 审计日志 GES接入 - 22 GaussDB for MySQL 云数据库 GaussDB for MySQL 错误日志(GAUSSDB_MYSQL错误日志) 慢日志(GAUSSDB_MYSQL慢日志) GaussDB for MySQL接入 - 23 GeminiDB Redis 云数据库 GeminiDB Redis 慢日志(GeminiDB Redis慢日志) GeminiDB Redis接入 - 24 GeminiDB Mongo 云数据库 GeminiDB Mongo 错误日志(GeminiDB Mongo错误日志) 慢日志(GeminiDB Mongo慢日志) GeminiDB Mongo接入 - 25 GeminiDB Cassandra 云数据库 GeminiDB Cassandra 慢日志(GeminiDB Cassandra慢日志) GeminiDB Cassandra接入 - 26 HiLens 华为HiLens 设备日志 华为HiLens接入 - 27 IoTDA 设备接入 设备运行日志 IoTDA接入 - 28 ModelArts ModelArts 运行日志 ModelArts接入 - 29 MRS MapReduce服务 全量日志(ICAgent采集文本日志) MRS接入 - 30 NGINX接入 - NGINX日志 NGINX接入 - 31 RDS for MySQL 云数据库 RDS for MySQL 错误日志(MYSQL错误日志) 慢日志(MYSQL慢日志) RDS for MySQL接入 - 32 RDS for PostgreSQL 云数据库 RDS for PostgreSQL 错误日志(POSTGRESQL错误日志) 慢日志(POSTGRESQL慢日志) RDS for PostgreSQL接入 - 33 RDS for SQLServer 云数据库RDS for SQL Server 错误日志(SQLSERVER错误日志) RDS for SQLServer接入 - 34 ROMA Connect 应用与数据集成平台 网关访问日志 ROMA Connect接入 - 35 Live 视频直播 访问日志 视频直播Live接入 - 36 SMN 消息通知服务 消息传输日志(SMN) SMN接入 - 37 TOMCAT - TOMCAT日志 TOMCAT接入 - 38 SecMaster 安全云脑 全量日志 secMaster接入 - 39 ServiceStage 应用管理与运维平台 ServiceStage容器应用日志 ServiceStage容器应用日志接入LTS - 40 VPC 虚拟私有云 VPC流日志(VPC) VPC接入 VPC流日志 41 WAF Web应用防火墙 攻击日志 访问日志 WAF接入 - 父主题: 云服务接入
  • 结构化模板日志详情 DCS审计日志结构化模板示例 表1 结构化模板示例 模板名称 示例日志 DCS审计日志 {"time": 1640966500017, "instance_id": "199a1e5a-8a37-40b9-899e-0ab6805c69eb", "server_addr": "192.168.0.1", "role": "proxy", "client_addr": "10.0.0.1", "client_type": "0", "user": "default", "db": 1, "command_name": "DEL", "command_type": "string", "command_keys": ["key1", "key2", "key3"], "command_param": "DEL key1 key2 key3", "use_time": 500, "extend": ""} 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 time 1640966500017 时间 long instance_id 199a1e5a-8a37-40b9-899e-0ab6805c69eb 实例的ID string server_addr 192.168.0.1 服务端IP string role proxy 节点角色 string client_addr 10.0.0.1 客户端IP string client_type 0 客户端类型 string user default 账号名 string db 1 数据库DB long command_name DEL 执行命令 string command_type string 命令类型 string command_keys [\"key1\",\"key2\",\"key3\"] 命令KEYS string command_param DEL key1 key2 key3 命令内容 string use_time 500 执行耗时 long extend - 扩展信息 string
  • 结构化模板日志详情 日志示例 表1 结构化模板示例 模板名称 示例日志 CDN {"request_time":"1666604392000","domain":"findercdn.video.qq.com","method":"GET","scheme":"http","uri":"/BcimRg.txt","uri_param":"cdnkey=******&cdntoken=******&tokenidx=1","client_ip":"192.168.233.142","client_port":"51517","refer_protocol":"-","refer_domain":"-","refer_uri":"-","refer_param":"-","request_size":"301","response_time":"14","response_size":"588","http_code":"403","response_range":"-","request_range":"-","request_body_bytes":"150","content_type":"text/html","hit_info":"HIT","user_agent":"python-requests/2.21.0","uuid":"ce6327e015c1e16f581818b838a6cb0c","via_info":"edge-cache01[14]","xforwordfor":"-"} cdnkey的值为示例请供参考,请以实际值为准。 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 request_time 1666604392000 请求时间戳,单位:毫秒 string domain findercdn.video.qq.com 请求的域名 string method GET 请求方法 string scheme http 请求协议 string uri /BcimRg.txt 请求资源 string uri_param cdnkey=******&cdntoken=******&tokenidx=1 请求参数 string client_ip 192.168.233.142 用户真实IP string client_port 51517 和CDN节点建连客户端端口 string refer_protocol - HTTP refer中的协议 string refer_domain - HTTP refer中domain信息 string refer_uri - HTTP refer中uri信息 string refer_param - HTTP refer中的参数信息 string request_size 301 请求大小 string response_time 14 请求响应时长,单位:毫秒 string response_size 588 请求返回大小,单位:字节 string http_code 403 请求响应码 string response_range - 应答头里表示的range信息(由源站创建),如bytes:0~99/200 string request_range - 用户请求中Header头中range字段取值,如bytes:0~100 string request_body_bytes 150 实际发送body大小,单位:字节 string content_type text/html 请求的资源类型 string hit_info HIT 命中信息,取值为HIT(命中)、MISS(未命中) string user_agent python-requests/2.21.0 UA string uuid ce6327e015c1e16f581818b838a6cb0c 请求唯一标识(全网唯一请求ID,即traceid) string via_info edge-cache01[14] via头信息 string xforwordfor - 请求头中XForwardFor字段 string
  • 结构化模板日志详情 VPC日志示例 表2 结构化模板示例 模板名称 示例日志 VPC 1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK 结构化字段及字段说明 表3 结构化字段 字段 示例 描述 类型 version 1 VPC流日志版本。 long project_id 5f67944957444bd6bb4fe3b367de8f3d 项目ID。 string interface_id 1d515d18-1b36-47dc-a983-bd6512aed4bd 为其记录流量的网卡的ID。 string srcaddr 192.168.0.154 源地址。 string dstaddr 192.168.3.25 目的地址。 string srcport 38929 源端口。 long dstport 53 目标端口。 long protocol 17 IANA协议编号。有关更多信息,请参阅Internet协议编号。 long packets 1 数据包的数量。 long bytes 96 数据包的大小。 long start 1548752136 捕获窗口启动的时间,采用Unix秒的格式。 long end 1548752736 捕获窗口结束的时间,采用Unix秒的格式。 long action ACCEPT 与流量关联的操作: ACCEPT:安全组或网络ACL允许记录的流量。 REJECT:安全组或者网络ACL拒绝记录的流量。 string log_status OK 流日志的日志记录状态: OK:数据正常记录到选定目标。 NODATA:捕获窗口中没有传入或传出符合“采集类型”的网卡的网络流量。 SKIPDATA:捕获窗口中跳过了一些流日志记录。这可能是由于内部容量限制或内部错误。 示例: 如果您创建VPC流日志时设置“采集类型”为“接受”,当有接受流量时,“log-status”将显示为“OK”。当没有接受的流量时,不管是否有拒绝的流量,“log-status”都将显示为“NODATA”。当有一些接受流量异常跳过时,“log-status”将显示为“SKIPDATA”。 string
  • 操作步骤 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入”,单击“虚拟私有云 VPC”进行VPC接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:VPC配置。 VPC配置。 单击“前往VPC配置”。 在虚拟私有云控制台,选择“VPC流日志”。 在VPC流日志页面中,单击“创建VPC流日志” ,配置各参数信息。 具体的操作步骤及参数配置,请见虚拟私有云《用户指南》。 完成后,单击“确定”。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为VPC系统模板;索引配置为所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 完成。
  • GeminiDB Mongo错误日志结构化模板日志详情 GeminiDB Mongo错误日志示例 表1 结构化模板示例 模板名称 示例日志 GeminiDB Mongo错误日志 {"log_type":"error_log","severity":"Error","log_time":"2022-08-22T09:33:15.142+0000","raw_message":"E QUERY [ClusterDisasterBackupChangeJob] Get global setting disasterBackup failed.","instance_id": "5b67dc63ba824145aae1f12ff51e58b8in02","node_id": "686a791e690e4db3af591ec4b6f72916no02"} 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 log_type error_log 日志类型 string severity Error 日志级别 string log_time 2022-08-22T09:33:15.142+0000 日志产生时间 string raw_message E QUERY [ClusterDisasterBackupChangeJob] Get global setting disasterBackup failed. 日志内容 string instance_id 5b67dc63ba824145aae1f12ff51e58b8in02 实例Id string node_id 686a791e690e4db3af591ec4b6f72916no02 节点Id string
  • GeminiDB Mongo慢日志结构化模板日志详情 GeminiDB Mongo慢日志示例 表3 结构化模板示例 模板名称 示例日志 GeminiDB Mongo慢日志 {"log_type":"slow_log","log_time":"2022-08-20T10:04:03.204000Z","namespace":"data0820.table","database":"data0820","collection":"table","operate_type":"insert","docs_scanned":0,"docs_returned":0,"n_deleted":0,"n_matched":0,"n_modified":0,"n_inserted":10,"cost_time":555,"lock_time":0,"whole_message":{"op":"insert","ns":"data0820.usrtable","command":"{N}","ninserted":1,"keysInserted":1,"numYield":0,"locks":{"Global":{"acquireCount":{"r":5,"w":5}},"Database":{"acquireCount":{"w":4,"W":1}},"Collection":{"acquireCount":{"w":2}},"oplog":{"acquireCount":{"w":2}}},"responseLength":230,"protocol":"op_msg","millis":555,"ts":{"$date":1660989843204},"client":"192.168.0.64","appName":"MongoDBShell","allUsers":[{"user":"rwuser","db":"admin"}],"user":"rwuser@admin"},"instance_id":"5b67dc63ba824145aae1f12ff51e58b8in02","node_id":"686a791e690e4db3af591ec4b6f72916no02"} 结构化字段及字段说明 表4 结构化字段 字段 示例 描述 类型 log_type slow_log 日志类型 string log_time 2022-08-20T10:04:03.204000Z 慢日志产生的时间 string namespace data0820.table 命名空间 string database data0820 库名称 string collection table 表名称 string operate_type insert 操作类型 string docs_scanned 0 数据库扫描行数 long docs_returned 0 查询返回结果行数 long n_deleted 0 删除行数 long n_matched 0 更新匹配行数 long n_modified 0 实际更新行数 long n_inserted 10 插入行数 long cost_time 555 操作花费的时间 long lock_time 0 wait_lock的时间 long whole_message {"op":"insert","ns":"data0820.usrtable","command":"{N}","ninserted":1,"keysInserted":1,"numYield":0,"locks":{"Global":{"acquireCount":{"r":5,"w":5}},"Database":{"acquireCount":{"w":4,"W":1}},"Collection":{"acquireCount":{"w":2}},"oplog":{"acquireCount":{"w":2}}},"responseLength":230,"protocol":"op_msg","millis":555,"ts":{"$date":1660989843204},"client":"192.168.0.64","appName":"MongoDBShell","allUsers":[{"user":"rwuser","db":"admin"}],"user":"rwuser@admin"} 原始日志信息 string instance_id 5b67dc63ba824145aae1f12ff51e58b8in02 实例ID string node_id 686a791e690e4db3af591ec4b6f72916no02 节点ID string
  • MYSQL慢日志结构化模板日志详情 MYSQL慢日志示例 表1 结构化模板示例 模板名称 示例日志 MYSQL慢日志 {"start_time": "2022-07-27T02:49:19.000","user": "commerce","host": "100.*.*.222","query_time": "1.461583","lock_time": "0.000050","rows_sent": "500","rows_examined": "581000","command_text": "SELECT DN_N.record_id \"a.id\",DN_N.name \"a.name\",DN_N.valueN \"a.ExternalCode\",DN_N.valueN \"a.DeviceName\",DN_N.valueN \"a.DeviceDef\",DN_N.created_date \"a.createdDate\",DN_N.last_modified_date \"a.lastModifiedDate\",DN_N.valueN \"a.DeviceProduct\",DN_N.valueN \"a.Channel\",DN_N.valueN \"a.Status\",CN_N.valueN \"a.Remark\",DN_N.valueN \"a.NodeId\",DN_N.valueN \"a.ConnectStatus\",CAST(DN_N.valueN AS CHAR(N)) \"a.GatewayId\",CAST(DN_N.valueN AS CHAR(N)) \"a.HMI\",DN_N.valueN \"a.SerialNo\",CAST(DN_N.valueN AS DECIMAL(N,N)) \"a.TelemetryPeriod\",DN_N.valueN \"a.ConnectStatusChgTime\",DN_N.valueN \"a.DeviceNumber\",CAST(DN_N.valueN AS CHAR(N)) \"a.ControllerType\",CAST(DN_N.valueN AS CHAR(N)) \"a.ProjectId\",DN_N.valueN \"a.RegisterStatus\",DN_N.created_date ORD_FN FROM dataN DN_N,clobs CN_N WHERE (DN_N.tenant_id= N AND DN_N.obj_id= N AND DN_N.tenant_id= CN_N.tenant_id AND DN_N.obj_id= CN_N.obj_id AND DN_N.record_id= CN_N.record_id) AND ((DN_N.valueN = N)) ORDER BY DN_N.created_date DESC limit N,N;","database": "saas_perf","log_type": "slow_log","log_time": "1658890159","operate_type": "SELECT","node_id":"5d6c61bbd49b4ad3a1572461811e3dacno01","instance_id":"207032924c644f429b74f6fc5d8c97f9in01"} 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 start_time 2022-07-27T02:49:19.000 语句开始执行时间 string user commerce 用户 string host 100.*.*.222 主机 string query_time 1.461583 语句执行时间,以秒为单位 string lock_time 0.000050 获取锁的时间,以秒为单位 string rows_sent 500 发送到客户端的行数 string rows_examined 581000 服务器层检查的行数 string command_text SELECT DN_N.record_id \"a.id\",DN_N.name \"a.name\",DN_N.valueN \"a.ExternalCode\",DN_N.valueN \"a.DeviceName\",DN_N.valueN \"a.DeviceDef\",DN_N.created_date \"a.createdDate\",DN_N.last_modified_date \"a.lastModifiedDate\",DN_N.valueN \"a.DeviceProduct\",DN_N.valueN \"a.Channel\",DN_N.valueN \"a.Status\",CN_N.valueN \"a.Remark\",DN_N.valueN \"a.NodeId\",DN_N.valueN \"a.ConnectStatus\",CAST(DN_N.valueN AS CHAR(N)) \"a.GatewayId\",CAST(DN_N.valueN AS CHAR(N)) \"a.HMI\",DN_N.valueN \"a.SerialNo\",CAST(DN_N.valueN AS DECIMAL(N,N)) \"a.TelemetryPeriod\",DN_N.valueN \"a.ConnectStatusChgTime\",DN_N.valueN \"a.DeviceNumber\",CAST(DN_N.valueN AS CHAR(N)) \"a.ControllerType\",CAST(DN_N.valueN AS CHAR(N)) \"a.ProjectId\",DN_N.valueN \"a.RegisterStatus\",DN_N.created_date ORD_FN FROM dataN DN_N,clobs CN_N WHERE (DN_N.tenant_id= N AND DN_N.obj_id= N AND DN_N.tenant_id= CN_N.tenant_id AND DN_N.obj_id= CN_N.obj_id AND DN_N.record_id= CN_N.record_id) AND ((DN_N.valueN = N)) ORDER BY DN_N.created_date DESC limit N,N; sql语句 string database saas_perf 数据库 string log_type slow_log 日志类型 string log_time 1658890159 语句执行结束时间 string operate_type SELECT 语句类型 string node_id 5d6c61bbd49b4ad3a1572461811e3dacno01 节点ID string instance_id 207032924c644f429b74f6fc5d8c97f9in01 实例ID string
  • MYSQL错误日志结构化模板日志详情 MYSQL错误日志示例 表3 结构化模板示例 模板名称 示例日志 MYSQL错误日志 {"log_type": "error_log","severity": "WARNING","log_time": "2022-08-22T06:52:08Z","raw_message": "Occur error when reading bytes from a network handler. Client actively closes the connection.","node_id":"5d6c61bbd49b4ad3a1572461811e3dacno01","instance_id":"207032924c644f429b74f6fc5d8c97f9in01"} 结构化字段及字段说明 表4 结构化字段 字段 示例 描述 类型 log_type error_log 日志类型 string severity WARNING 事件优先级, 包含system, error, warning, note/information级别事件 string log_time 2022-08-22T06:52:08Z 发生时间 string raw_message Occur error when reading bytes from a network handler. Client actively closes the connection. 事件消息 string node_id 5d6c61bbd49b4ad3a1572461811e3dacno01 节点ID string instance_id 207032924c644f429b74f6fc5d8c97f9in01 实例ID string
  • MYSQL审计日志结构化模板日志详情 MYSQL审计日志示例 表5 结构化模板示例 模板名称 示例日志 MYSQL审计日志 {"logType":"audit_log","instanceId":"e2a8db82a9d74982a6021c6758d57e00in01","nodeId":"633a1f5a3db9445586f297f9c026b91bno01","record_id":"2","connection_id":"112","connection_status":"0","name":"Query","timestamp":"2023-01-06T06:35:46 UTC","command_class":"show_tables","sqltext":"show tables","user":"root[root] @ [10.58.239.247]","host":"","external_user":"","ip":"10.58.239.247","default_db":""} 结构化字段及字段说明 表6 结构化字段 字段 示例 描述 类型 logType audit_log 日志类型 string instanceId e2a8db82a9d74982a6021c6758d57e00in01 实例Id string nodeId 633a1f5a3db9445586f297f9c026b91bno01 节点Id string record_id 2 审计日志单条记录的记录ID,记录审计日志的每条SQL的唯一global id string connection_id 112 该条记录执行的会话ID,与show processlist中的ID一致 string connection_status 0 会话状态,常见为执行语句的错误返回码,普通执行成功返回0 string name Query 记录类型名称,通常情况下dml,ddl操作均为QUERY, 连接断开为CONNECT和QUIT string timestamp 2023-01-06T06:35:46 UTC 记录的UTC时间 string command_class show_tables 执行的SQL命令类型,内部为解析得到的SQL类型,例如select,update(连接断开不存在该项) string sqltext show tables 执行的SQL具体内容(连接断开审计不存在该项) string user root[root] @ [10.58.239.247] 登录的账户 string host - 登录的host,当本地登录时为localhost,远程登录为空 string external_user - 代理用户名称 string ip 10.58.239.247 通过远程连接的客户端IP,本地连接为空 string default_db - 执行SQL时默认的数据库 string
  • CFW访问控制日志结构化模板日志详情 CFW访问控制日志示例 表5 结构化模板示例 模板名称 示例日志 CFW访问控制日志 {"app":"PING","direction":"in2out","source-zone":"3002","rule_id":"56827792-173e-435a-b22b-229f21d78244","protocol":"ICMP: ECHO_REQUEST","dst_ip":"100.85.222.23","src_ip":"100.85.112.49","log_type":"eip","hit_time":1655882537006,"log-id":"44243649","dst_port":"45243","destination-zone":"3001","index_day":"2022.06.22","log_id":6781,"src_port":"17589","fw_instance_id":"58ead9e7-418d-4166-8df8-f24941d4205c","action":"permit","vsys":"1"} 结构化字段及字段说明 表6 结构化字段 字段 示例 描述 类型 app PING 应用类型 string direction in2out 流量方向 out2in:入方向 in2out:出方向 string source-zone 3002 资源区域 string rule_id 56827792-173e-435a-b22b-229f21d78244 触发规则的ID string protocol ICMP: ECHO_REQUEST 协议类型 string dst_ip 100.85.222.23 目的IP地址 string src_ip 100.85.112.49 源IP地址 string log_type eip 日志类型 string hit_time 1655882537006 访问发生的时间 long log-id 44243649 文档ID,第一页为空,其他页不为空 string dst_port 45243 目的端口号 string destination-zone 3001 目标区域 string index_day 2022.06.22 索引日期 string log_id 6781 文档ID,第一页为空,其他页不为空 long src_port 17589 源端口号 string fw_instance_id 58ead9e7-418d-4166-8df8-f24941d4205c 防火墙实例id string action permit 云防火墙当前的响应动作。 permit:放行 deny:阻断 string vsys 1 防火墙防护方向 string