云服务器内容精选
-
结构化模板日志详情 ELB示例日志 表2 结构化模板示例 模板名称 示例日志 ELB 1594727856.337 e7c37d97-e922-457c-bbf3-dsadeqac [2020-07-14T19:57:36+08:00] elb_01 192.0.0.0:88888 200 "GET http://prod.sss.ads.sg2.aaa/loc/ation?version=3&ip=100.0.0.0&coordinate=27.7044784,85.3007481&device_id=dsadsadasdsadasd&beyla_id=wqeb123ndadsa233ddada HTTP/1.1" 233 293 138 0.001 "200" "0.000" "0.001" "0.001" "100.0.0.0:9999" "lua-resty-http/0.14 (Lua) ngx_lua/10000" "-" "-" loadbalancer_edsaee-4c9c-b467-5b8126b2f7f7dsa listener_6077809b-913f-466d-a96c-376f08882d5d 08cc2b3f68aa4dddd1e6a90dddd1688348a4480 pool_b2f2966c-043d-4674-ad4b-c15f2adb2c6b "-" 2fb78dsadadq1213das1121dab146ad3cb0 -:80 "101.0.0.0:10000" - - - - 9739 结构化字段及字段说明 表3 结构化字段 字段 示例 描述 类型 msec 1594727856.337 以秒为单位的时间,日志写入时的分辨率为毫秒。 float access_log_topic_id e7c37d97-e922-457c-bbf3-dsadeqac 访问日志流ID string time_iso8601 2020-07-14T19:57:36+08:00 日志写入时的时间,采用ISO 8601标准格式本地时间 string log_ver elb_01 ELB服务日志版本号 string remote_addr 192.0.0.0 客户端IP地址 string remote_port 88888 客户端端口 long status 200 ELB响应的状态码。 long request_method GET 请求方法 string scheme http 请求方式 string host prod.sss.ads.sg2.aaa 主机名 string router_request_uri location?version=3&ip=100.0.0.0&coordinate=27.7044784,85.3007481&device_id=dsadsadasdsadasd&beyla_id=wqeb123ndadsa233ddada 请求uri string server_protocol HTTP/1.1 请求协议 string request_length 233 从客户端收到的请求长度(包括请求header和请求body) long bytes_sent 293 发送到客户端的字节数 long body_bytes_sent 138 发送到客户端的字节数(不包括响应头) long request_time 0.001 请求处理时间,即ELB收到第一个客户端请求报文到ELB发送完响应报文的时间间隔(单位:秒 float upstream_status 200 从上游服务器获得的响应状态码,当ELB代理进行请求重试时会包含多个响应的状态码,当请求未被正确转发到后端服务器时此字段为 - long upstream_connect_time 0.000 与上游服务器建立连接所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个连接的时间,当请求未被正确转发到后端服务器时此字段为 - float upstream_header_time 0.001 从上游服务器接收响应头所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个响应时间,当请求未被正确转发到后端服务器时此字段为 - float upstream_response_time 0.001 从上游服务器接收响应所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个响应时间,当请求未被正确转发到后端服务器时此字段为 - float upstream_addr 100.0.0.0:9999 后端主机的IP地址和端口号。可能有多个值,每个值都是ip:port或者-,用逗号空格隔开。 (该参数适用于独享型负载均衡) string http_user_agent lua-resty-http/0.14 (Lua) ngx_lua/10000 ELB收到请求头中的http_user_agent内容,表示客户端的系统型号、浏览器信息等。 string http_referer - ELB收到请求头中的http_referer内容,表示该请求所在的页面链接。 string http_x_forwarded_for - ELB收到请求头中的http_x_forwarded_for内容,表示请求经过的代理服务器IP地址。 string lb_name loadbalancer_edsaee-4c9c-b467-5b8126b2f7f7dsa 负载均衡器的名称(格式为“loadbalancer_” + “负载均衡器ID”) string listener_name listener_6077809b-913f-466d-a96c-376f08882d5d 监听器的名称(格式为“listener_” + “监听器ID”) string listener_id 08cc2b3f68aa4dddd1e6a90dddd1688348a4480 监听器在ELB服务内部的ID(客户可忽略) string pool_name pool_b2f2966c-043d-4674-ad4b-c15f2adb2c6b 后端服务器组名称(格式为“pool_” + “后端服务器组ID”) string member_name - 后端服务器的名称(格式为“member_” + “服务器ID”,尚未支持)。可能有多个值,每个值都是member_id或者-,用逗号空格隔开。 string tenant_id 2fb78dsadadq1213das1121dab146ad3cb0 租户ID string eip_address - 弹性IP地址 string eip_port 80 监听器监听的端口号 long upstream_addr_priv 101.0.0.0:10000 后端主机的IP地址和端口号。可能有多个值,每个值都是ip:port或者-,用逗号空格隔开。 (该参数适用于共享型负载均衡) string certificate_id - [HTTPS监听器]SSL连接建立时使用的证书ID string ssl_protocol - [HTTPS监听器]SSL连接建立使用的协议,非HTTPS监听器,此字段为 - string ssl_cipher - [HTTPS监听器]SSL连接建立使用的加密套件,非HTTPS监听器,此字段为 - string sni_domain_name - [HTTPS监听器]SSL握手时客户端提供的SNI域名,非HTTPS监听器,此字段为 - string tcpinfo_rtt 9739 ELB与客户端之间的tcp rtt时间,单位:微秒 long
-
操作步骤 云日志服务接入方式为负载均衡 ELB时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入”,单击“负载均衡 ELB”进行ELB接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:ELB配置。 ELB配置。 单击“前往ELB配置”。 在网络控制台,选择弹性负载均衡下的“负载均衡器”。 在弹性负载均衡页面中,单击待操作的负载均衡器“名称/ID” ,进入详情页面。 选择“访问日志”,单击“配置访问日志”。 在弹出的配置访问日志页面中,选择对应的日志组和日志流。 具体的操作步骤,请见弹性负载均衡《用户指南》。 日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为ELB系统模板;索引配置为所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=elb_7layer_access 开启该按钮,自动为日志流添加标签(log_type=elb_7layer_access)后,ELB仪表盘模板才能匹配该日志流。 自动为日志流创建仪表盘 开启该按钮,自动为日志流创建ELB仪表盘。 完成。
-
结构化模板日志详情 结构化模板示例 表2 结构化模板示例 模板名称 示例日志 APIG 100.125.7.59 f57f6523b675504a23887d0f5c1c8ef3 f5ea2360a2fa443cac236b76f4052ad6 - - [27/Jan/2022:15:56:44 +0800] 0.113 GET http://c965898968af48248ec7fac4ec0666f4.apic.cn-north-4.huaweicloudapis.com /api/echo HTTP/1.1 200 1443 408 "APIGatewayDebugClient/1.0" "-" "100.125.2.39:443" /v2/x/fgs/functions/urn:fss:cn-north-4:106506b9a92342df9a5025fc12351cfc:function:default:apigDemo_1640743997661:latest/invocations "200" "0.010" "0.083" "0.083" cn-north-4 0.083 0 - - - 0.03000020980835 - - "-" 486 HttpEchoDemo - - - "-" "-" "-" "-" "-" "-" "-" "-" "-" "-" "remote" "0.52" "http" "id" "-" "urn:fss:cn-north-7:6650ff66e4524699bea4c96ff2f268fe:function:default:test123hxy" 结构化字段详情 表3 结构化字段 字段 示例 描述 类型 my_remote_addr 100.125.7.59 用户的客户端IP地址 string request_id f57f6523b675504a23887d0f5c1c8ef3 请求ID string api_id f5ea2360a2fa443cac236b76f4052ad6 API ID string user_id - 用户名称 string app_id - 当使用APP认证访问时,请求方提供的APP ID string time_local 27/Jan/2022:15:56:44 请求时间 string request_time 0.113 请求延迟 float request_method GET HTTP请求方法 string scheme http 请求方式 string host c965898968af48248ec7fac4ec0666f4.apic.cn-north-4.huaweicloudapis.com 请求域名 string router_uri /api/echo 请求URI string server_protocol HTTP/1.1 请求协议 string status 200 响应状态码 long bytes_sent 1443 响应大小(单位:字节,包含状态行、响应头、响应体) long request_length 408 请求长度(单位:字节,包含起始行、请求头、请求体) long http_user_agent APIGatewayDebugClient/1.0 用户代理标识 string http_x_forwarded_for - X-Forwarded-For头 string upstream_addr 100.125.2.39:443 请求的后端地址 string upstream_uri /v2/x/fgs/functions/urn:fss:cn-north-4:106506b9a92342df9a5025fc12351cfc:function:default:apigDemo_1640743997661:latest/invocations 请求后端的URI string upstream_status 200 后端响应状态码 long upstream_connect_time 0.01 与后端建立连接所用时间 float upstream_header_time 0.083 从开始与后端建立连接到从后端获取到首字节所用时间 float upstream_response_time 0.083 从开始与后端建立连接到从后端获取到最后一个字节所用时间 float region_id cn-north-4 云服务区ID string all_upstream_response_time 0.083 从开始与后端建立连接到从后端获取到最后一个字节所用时间,单位秒。发生重试时,为所用时间总和 float errorType 0 API请求的错误类型 0:非流控错误 1:流控错误 long auth_type - API认证类型 string access_model1 - 认证模式1 string access_model2 - 认证模式2,开启双重认证时,为自定义认证编号 string inner_time 0.03000020980835 apig的内部处理时长,单位秒 float proxy_protocol_vni - VPC终端节点的虚拟网络标识 string proxy_protocol_vpce_id - VPC终端节点的ID string proxy_protocol_addr - 客户端源IP地址 string body_bytes_sent 486 API请求的Body体大小,单位字节 long api_name HttpEchoDemo API名称 string app_name - 当使用APP认证访问时,请求方使用的APP名称 string provider_app_id - API所属的APP ID string provider_app_name - API所属的APP名称 string custom_data_log1 - 用户自定义日志字段值1 string custom_data_log2 - 用户自定义日志字段值2 string custom_data_log3 - 用户自定义日志字段值3 string custom_data_log4 - 用户自定义日志字段值4 string custom_data_log5 - 用户自定义日志字段值5 string custom_data_log6 - 用户自定义日志字段值6 string custom_data_log7 - 用户自定义日志字段值7 string custom_data_log8 - 用户自定义日志字段值8 string custom_data_log9 - 用户自定义日志字段值9 string custom_data_log10 - 用户自定义日志字段值10 string response_source remote 请求响应来源 local:APIG remote:后端服务 string gzip_ratio 0.52 原始响应body体大小与压缩后大小的比率。 float upstream_scheme http 后端协议类型。 string group_id id 分组ID。 string apig_err_code - 网关错误码。 string function_urn urn:fss:cn-north-7:6650ff66e4524699bea4c96ff2f268fe:function:default:test123hxy 函数的URN。 string
-
操作步骤 云日志服务接入方式为API网关 APIG时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入”,单击“API网关 APIG”进行APIG接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:APIG配置。 APIG配置。 单击“前往APIG配置”。 在APIG控制台,选择API监控分析下的“日志分析”。 单击“配置访问日志”链接。 在弹出的配置访问日志页面中,选择对应的日志组和日志流。 APIG里具体的操作请参见日志分析。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为APIG系统模板;索引配置为所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=apig_layer_access 开启该按钮,自动为日志流添加标签(log_type=apig_layer_access)后,APIG仪表盘模板才能匹配该日志流。 自动为日志流创建仪表盘 开启该按钮,自动为日志流创建APIG仪表盘。 完成。
-
云服务概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型(结构化模板名称) 文档链接 仪表盘 1 AOM 应用运维管理 AOM接入的云服务日志 (不推荐该方式) AOM接入 - 2 APIG API网关 网关访问日志(APIG) APIG接入 APIG监控中心 APIG访问中心 APIG秒级监控 3 AstroZero Astro轻应用 Astro轻应用 Astro轻应用接入 - 4 BMS 裸金属服务器 全量日志(ICAgent采集文本日志) BMS接入 - 5 CBH 云堡垒机 操作日志 CBH接入 - 6 CCE 云容器引擎 用户应用日志 CCE管理面日志 CCE接入 - 7 CDN 内容分发网络 访问日志(CDN) CDN接入 CDN用户分析 CDN错误分析 CDN热门资源 CDN基础数据 8 CFW 云防火墙 攻击日志(CFW攻击日志) 访问日志(CFW访问控制日志) 流量日志(CFW流量日志) CFW接入 - 9 CTS 云审计服务 云服务管理面操作日志(CTS) CTS接入 - 10 DCS 分布式缓存服务 审计日志(DCS审计日志) DCS接入 DCS审计日志中心 11 DDS 文档数据库服务 审计日志(DDS审计日志) 错误日志(DDS错误日志) 慢日志(DDS慢日志) DDS接入 DDS审计日志中心 12 DDoS防护 AAD DDoS防护 AAD 全量日志 DDoS防护 AAD接入 - 13 DMS 分布式消息服务Kafka版 DMS重平衡日志 分布式消息服务Kafka接入 - 14 DRS 数据复制服务 访问日志 DRS接入 - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 DWS接入 - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) ECS接入 - 17 ELB 弹性负载均衡 7层访问日志(ELB) ELB接入 ELB监控中心 ELB访问中心 ELB秒级监控 18 ER 企业路由器 全量日志(ER企业路由器) ER企业路由器接入 - 19 FunctionGraph 函数工作流 函数执行日志 FunctionGraph接入 - 20 GaussDB 云数据库 GaussDB 审计日志(GAUSSV5审计日志) GaussDB接入 - 21 GES 图引擎服务 审计日志 GES接入 - 22 GaussDB for MySQL 云数据库 GaussDB for MySQL 错误日志(GAUSSDB_MYSQL错误日志) 慢日志(GAUSSDB_MYSQL慢日志) GaussDB for MySQL接入 - 23 GeminiDB Redis 云数据库 GeminiDB Redis 慢日志(GeminiDB Redis慢日志) GeminiDB Redis接入 - 24 GeminiDB Mongo 云数据库 GeminiDB Mongo 错误日志(GeminiDB Mongo错误日志) 慢日志(GeminiDB Mongo慢日志) GeminiDB Mongo接入 - 25 GeminiDB Cassandra 云数据库 GeminiDB Cassandra 慢日志(GeminiDB Cassandra慢日志) GeminiDB Cassandra接入 - 26 HiLens 华为HiLens 设备日志 华为HiLens接入 - 27 IoTDA 设备接入 设备运行日志 IoTDA接入 - 28 ModelArts ModelArts 运行日志 ModelArts接入 - 29 MRS MapReduce服务 全量日志(ICAgent采集文本日志) MRS接入 - 30 NGINX接入 - NGINX日志 NGINX接入 - 31 RDS for MySQL 云数据库 RDS for MySQL 错误日志(MYSQL错误日志) 慢日志(MYSQL慢日志) RDS for MySQL接入 - 32 RDS for PostgreSQL 云数据库 RDS for PostgreSQL 错误日志(POSTGRESQL错误日志) 慢日志(POSTGRESQL慢日志) RDS for PostgreSQL接入 - 33 RDS for SQLServer 云数据库RDS for SQL Server 错误日志(SQLSERVER错误日志) RDS for SQLServer接入 - 34 ROMA Connect 应用与数据集成平台 网关访问日志 ROMA Connect接入 - 35 Live 视频直播 访问日志 视频直播Live接入 - 36 SMN 消息通知服务 消息传输日志(SMN) SMN接入 - 37 TOMCAT - TOMCAT日志 TOMCAT接入 - 38 SecMaster 安全云脑 全量日志 secMaster接入 - 39 ServiceStage 应用管理与运维平台 ServiceStage容器应用日志 ServiceStage容器应用日志接入LTS - 40 VPC 虚拟私有云 VPC流日志(VPC) VPC接入 VPC流日志 41 WAF Web应用防火墙 攻击日志 访问日志 WAF接入 - 父主题: 云服务接入
-
结构化模板日志详情 DCS审计日志结构化模板示例 表1 结构化模板示例 模板名称 示例日志 DCS审计日志 {"time": 1640966500017, "instance_id": "199a1e5a-8a37-40b9-899e-0ab6805c69eb", "server_addr": "192.168.0.1", "role": "proxy", "client_addr": "10.0.0.1", "client_type": "0", "user": "default", "db": 1, "command_name": "DEL", "command_type": "string", "command_keys": ["key1", "key2", "key3"], "command_param": "DEL key1 key2 key3", "use_time": 500, "extend": ""} 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 time 1640966500017 时间 long instance_id 199a1e5a-8a37-40b9-899e-0ab6805c69eb 实例的ID string server_addr 192.168.0.1 服务端IP string role proxy 节点角色 string client_addr 10.0.0.1 客户端IP string client_type 0 客户端类型 string user default 账号名 string db 1 数据库DB long command_name DEL 执行命令 string command_type string 命令类型 string command_keys [\"key1\",\"key2\",\"key3\"] 命令KEYS string command_param DEL key1 key2 key3 命令内容 string use_time 500 执行耗时 long extend - 扩展信息 string
-
结构化模板日志详情 日志示例 表1 结构化模板示例 模板名称 示例日志 CDN {"request_time":"1666604392000","domain":"findercdn.video.qq.com","method":"GET","scheme":"http","uri":"/BcimRg.txt","uri_param":"cdnkey=******&cdntoken=******&tokenidx=1","client_ip":"192.168.233.142","client_port":"51517","refer_protocol":"-","refer_domain":"-","refer_uri":"-","refer_param":"-","request_size":"301","response_time":"14","response_size":"588","http_code":"403","response_range":"-","request_range":"-","request_body_bytes":"150","content_type":"text/html","hit_info":"HIT","user_agent":"python-requests/2.21.0","uuid":"ce6327e015c1e16f581818b838a6cb0c","via_info":"edge-cache01[14]","xforwordfor":"-"} cdnkey的值为示例请供参考,请以实际值为准。 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 request_time 1666604392000 请求时间戳,单位:毫秒 string domain findercdn.video.qq.com 请求的域名 string method GET 请求方法 string scheme http 请求协议 string uri /BcimRg.txt 请求资源 string uri_param cdnkey=******&cdntoken=******&tokenidx=1 请求参数 string client_ip 192.168.233.142 用户真实IP string client_port 51517 和CDN节点建连客户端端口 string refer_protocol - HTTP refer中的协议 string refer_domain - HTTP refer中domain信息 string refer_uri - HTTP refer中uri信息 string refer_param - HTTP refer中的参数信息 string request_size 301 请求大小 string response_time 14 请求响应时长,单位:毫秒 string response_size 588 请求返回大小,单位:字节 string http_code 403 请求响应码 string response_range - 应答头里表示的range信息(由源站创建),如bytes:0~99/200 string request_range - 用户请求中Header头中range字段取值,如bytes:0~100 string request_body_bytes 150 实际发送body大小,单位:字节 string content_type text/html 请求的资源类型 string hit_info HIT 命中信息,取值为HIT(命中)、MISS(未命中) string user_agent python-requests/2.21.0 UA string uuid ce6327e015c1e16f581818b838a6cb0c 请求唯一标识(全网唯一请求ID,即traceid) string via_info edge-cache01[14] via头信息 string xforwordfor - 请求头中XForwardFor字段 string
-
结构化模板日志详情 VPC日志示例 表2 结构化模板示例 模板名称 示例日志 VPC 1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK 结构化字段及字段说明 表3 结构化字段 字段 示例 描述 类型 version 1 VPC流日志版本。 long project_id 5f67944957444bd6bb4fe3b367de8f3d 项目ID。 string interface_id 1d515d18-1b36-47dc-a983-bd6512aed4bd 为其记录流量的网卡的ID。 string srcaddr 192.168.0.154 源地址。 string dstaddr 192.168.3.25 目的地址。 string srcport 38929 源端口。 long dstport 53 目标端口。 long protocol 17 IANA协议编号。有关更多信息,请参阅Internet协议编号。 long packets 1 数据包的数量。 long bytes 96 数据包的大小。 long start 1548752136 捕获窗口启动的时间,采用Unix秒的格式。 long end 1548752736 捕获窗口结束的时间,采用Unix秒的格式。 long action ACCEPT 与流量关联的操作: ACCEPT:安全组或网络ACL允许记录的流量。 REJECT:安全组或者网络ACL拒绝记录的流量。 string log_status OK 流日志的日志记录状态: OK:数据正常记录到选定目标。 NODATA:捕获窗口中没有传入或传出符合“采集类型”的网卡的网络流量。 SKIPDATA:捕获窗口中跳过了一些流日志记录。这可能是由于内部容量限制或内部错误。 示例: 如果您创建VPC流日志时设置“采集类型”为“接受”,当有接受流量时,“log-status”将显示为“OK”。当没有接受的流量时,不管是否有拒绝的流量,“log-status”都将显示为“NODATA”。当有一些接受流量异常跳过时,“log-status”将显示为“SKIPDATA”。 string
-
操作步骤 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入”,单击“虚拟私有云 VPC”进行VPC接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。 单击“下一步”:VPC配置。 VPC配置。 单击“前往VPC配置”。 在虚拟私有云控制台,选择“VPC流日志”。 在VPC流日志页面中,单击“创建VPC流日志” ,配置各参数信息。 具体的操作步骤及参数配置,请见虚拟私有云《用户指南》。 完成后,单击“确定”。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,自动对日志流进行结构化配置和索引配置。日志流结构化配置为VPC系统模板;索引配置为所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 完成。
-
GeminiDB Mongo错误日志结构化模板日志详情 GeminiDB Mongo错误日志示例 表1 结构化模板示例 模板名称 示例日志 GeminiDB Mongo错误日志 {"log_type":"error_log","severity":"Error","log_time":"2022-08-22T09:33:15.142+0000","raw_message":"E QUERY [ClusterDisasterBackupChangeJob] Get global setting disasterBackup failed.","instance_id": "5b67dc63ba824145aae1f12ff51e58b8in02","node_id": "686a791e690e4db3af591ec4b6f72916no02"} 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 log_type error_log 日志类型 string severity Error 日志级别 string log_time 2022-08-22T09:33:15.142+0000 日志产生时间 string raw_message E QUERY [ClusterDisasterBackupChangeJob] Get global setting disasterBackup failed. 日志内容 string instance_id 5b67dc63ba824145aae1f12ff51e58b8in02 实例Id string node_id 686a791e690e4db3af591ec4b6f72916no02 节点Id string
-
GeminiDB Mongo慢日志结构化模板日志详情 GeminiDB Mongo慢日志示例 表3 结构化模板示例 模板名称 示例日志 GeminiDB Mongo慢日志 {"log_type":"slow_log","log_time":"2022-08-20T10:04:03.204000Z","namespace":"data0820.table","database":"data0820","collection":"table","operate_type":"insert","docs_scanned":0,"docs_returned":0,"n_deleted":0,"n_matched":0,"n_modified":0,"n_inserted":10,"cost_time":555,"lock_time":0,"whole_message":{"op":"insert","ns":"data0820.usrtable","command":"{N}","ninserted":1,"keysInserted":1,"numYield":0,"locks":{"Global":{"acquireCount":{"r":5,"w":5}},"Database":{"acquireCount":{"w":4,"W":1}},"Collection":{"acquireCount":{"w":2}},"oplog":{"acquireCount":{"w":2}}},"responseLength":230,"protocol":"op_msg","millis":555,"ts":{"$date":1660989843204},"client":"192.168.0.64","appName":"MongoDBShell","allUsers":[{"user":"rwuser","db":"admin"}],"user":"rwuser@admin"},"instance_id":"5b67dc63ba824145aae1f12ff51e58b8in02","node_id":"686a791e690e4db3af591ec4b6f72916no02"} 结构化字段及字段说明 表4 结构化字段 字段 示例 描述 类型 log_type slow_log 日志类型 string log_time 2022-08-20T10:04:03.204000Z 慢日志产生的时间 string namespace data0820.table 命名空间 string database data0820 库名称 string collection table 表名称 string operate_type insert 操作类型 string docs_scanned 0 数据库扫描行数 long docs_returned 0 查询返回结果行数 long n_deleted 0 删除行数 long n_matched 0 更新匹配行数 long n_modified 0 实际更新行数 long n_inserted 10 插入行数 long cost_time 555 操作花费的时间 long lock_time 0 wait_lock的时间 long whole_message {"op":"insert","ns":"data0820.usrtable","command":"{N}","ninserted":1,"keysInserted":1,"numYield":0,"locks":{"Global":{"acquireCount":{"r":5,"w":5}},"Database":{"acquireCount":{"w":4,"W":1}},"Collection":{"acquireCount":{"w":2}},"oplog":{"acquireCount":{"w":2}}},"responseLength":230,"protocol":"op_msg","millis":555,"ts":{"$date":1660989843204},"client":"192.168.0.64","appName":"MongoDBShell","allUsers":[{"user":"rwuser","db":"admin"}],"user":"rwuser@admin"} 原始日志信息 string instance_id 5b67dc63ba824145aae1f12ff51e58b8in02 实例ID string node_id 686a791e690e4db3af591ec4b6f72916no02 节点ID string
-
MYSQL慢日志结构化模板日志详情 MYSQL慢日志示例 表1 结构化模板示例 模板名称 示例日志 MYSQL慢日志 {"start_time": "2022-07-27T02:49:19.000","user": "commerce","host": "100.*.*.222","query_time": "1.461583","lock_time": "0.000050","rows_sent": "500","rows_examined": "581000","command_text": "SELECT DN_N.record_id \"a.id\",DN_N.name \"a.name\",DN_N.valueN \"a.ExternalCode\",DN_N.valueN \"a.DeviceName\",DN_N.valueN \"a.DeviceDef\",DN_N.created_date \"a.createdDate\",DN_N.last_modified_date \"a.lastModifiedDate\",DN_N.valueN \"a.DeviceProduct\",DN_N.valueN \"a.Channel\",DN_N.valueN \"a.Status\",CN_N.valueN \"a.Remark\",DN_N.valueN \"a.NodeId\",DN_N.valueN \"a.ConnectStatus\",CAST(DN_N.valueN AS CHAR(N)) \"a.GatewayId\",CAST(DN_N.valueN AS CHAR(N)) \"a.HMI\",DN_N.valueN \"a.SerialNo\",CAST(DN_N.valueN AS DECIMAL(N,N)) \"a.TelemetryPeriod\",DN_N.valueN \"a.ConnectStatusChgTime\",DN_N.valueN \"a.DeviceNumber\",CAST(DN_N.valueN AS CHAR(N)) \"a.ControllerType\",CAST(DN_N.valueN AS CHAR(N)) \"a.ProjectId\",DN_N.valueN \"a.RegisterStatus\",DN_N.created_date ORD_FN FROM dataN DN_N,clobs CN_N WHERE (DN_N.tenant_id= N AND DN_N.obj_id= N AND DN_N.tenant_id= CN_N.tenant_id AND DN_N.obj_id= CN_N.obj_id AND DN_N.record_id= CN_N.record_id) AND ((DN_N.valueN = N)) ORDER BY DN_N.created_date DESC limit N,N;","database": "saas_perf","log_type": "slow_log","log_time": "1658890159","operate_type": "SELECT","node_id":"5d6c61bbd49b4ad3a1572461811e3dacno01","instance_id":"207032924c644f429b74f6fc5d8c97f9in01"} 结构化字段及字段说明 表2 结构化字段 字段 示例 描述 类型 start_time 2022-07-27T02:49:19.000 语句开始执行时间 string user commerce 用户 string host 100.*.*.222 主机 string query_time 1.461583 语句执行时间,以秒为单位 string lock_time 0.000050 获取锁的时间,以秒为单位 string rows_sent 500 发送到客户端的行数 string rows_examined 581000 服务器层检查的行数 string command_text SELECT DN_N.record_id \"a.id\",DN_N.name \"a.name\",DN_N.valueN \"a.ExternalCode\",DN_N.valueN \"a.DeviceName\",DN_N.valueN \"a.DeviceDef\",DN_N.created_date \"a.createdDate\",DN_N.last_modified_date \"a.lastModifiedDate\",DN_N.valueN \"a.DeviceProduct\",DN_N.valueN \"a.Channel\",DN_N.valueN \"a.Status\",CN_N.valueN \"a.Remark\",DN_N.valueN \"a.NodeId\",DN_N.valueN \"a.ConnectStatus\",CAST(DN_N.valueN AS CHAR(N)) \"a.GatewayId\",CAST(DN_N.valueN AS CHAR(N)) \"a.HMI\",DN_N.valueN \"a.SerialNo\",CAST(DN_N.valueN AS DECIMAL(N,N)) \"a.TelemetryPeriod\",DN_N.valueN \"a.ConnectStatusChgTime\",DN_N.valueN \"a.DeviceNumber\",CAST(DN_N.valueN AS CHAR(N)) \"a.ControllerType\",CAST(DN_N.valueN AS CHAR(N)) \"a.ProjectId\",DN_N.valueN \"a.RegisterStatus\",DN_N.created_date ORD_FN FROM dataN DN_N,clobs CN_N WHERE (DN_N.tenant_id= N AND DN_N.obj_id= N AND DN_N.tenant_id= CN_N.tenant_id AND DN_N.obj_id= CN_N.obj_id AND DN_N.record_id= CN_N.record_id) AND ((DN_N.valueN = N)) ORDER BY DN_N.created_date DESC limit N,N; sql语句 string database saas_perf 数据库 string log_type slow_log 日志类型 string log_time 1658890159 语句执行结束时间 string operate_type SELECT 语句类型 string node_id 5d6c61bbd49b4ad3a1572461811e3dacno01 节点ID string instance_id 207032924c644f429b74f6fc5d8c97f9in01 实例ID string
-
MYSQL错误日志结构化模板日志详情 MYSQL错误日志示例 表3 结构化模板示例 模板名称 示例日志 MYSQL错误日志 {"log_type": "error_log","severity": "WARNING","log_time": "2022-08-22T06:52:08Z","raw_message": "Occur error when reading bytes from a network handler. Client actively closes the connection.","node_id":"5d6c61bbd49b4ad3a1572461811e3dacno01","instance_id":"207032924c644f429b74f6fc5d8c97f9in01"} 结构化字段及字段说明 表4 结构化字段 字段 示例 描述 类型 log_type error_log 日志类型 string severity WARNING 事件优先级, 包含system, error, warning, note/information级别事件 string log_time 2022-08-22T06:52:08Z 发生时间 string raw_message Occur error when reading bytes from a network handler. Client actively closes the connection. 事件消息 string node_id 5d6c61bbd49b4ad3a1572461811e3dacno01 节点ID string instance_id 207032924c644f429b74f6fc5d8c97f9in01 实例ID string
-
MYSQL审计日志结构化模板日志详情 MYSQL审计日志示例 表5 结构化模板示例 模板名称 示例日志 MYSQL审计日志 {"logType":"audit_log","instanceId":"e2a8db82a9d74982a6021c6758d57e00in01","nodeId":"633a1f5a3db9445586f297f9c026b91bno01","record_id":"2","connection_id":"112","connection_status":"0","name":"Query","timestamp":"2023-01-06T06:35:46 UTC","command_class":"show_tables","sqltext":"show tables","user":"root[root] @ [10.58.239.247]","host":"","external_user":"","ip":"10.58.239.247","default_db":""} 结构化字段及字段说明 表6 结构化字段 字段 示例 描述 类型 logType audit_log 日志类型 string instanceId e2a8db82a9d74982a6021c6758d57e00in01 实例Id string nodeId 633a1f5a3db9445586f297f9c026b91bno01 节点Id string record_id 2 审计日志单条记录的记录ID,记录审计日志的每条SQL的唯一global id string connection_id 112 该条记录执行的会话ID,与show processlist中的ID一致 string connection_status 0 会话状态,常见为执行语句的错误返回码,普通执行成功返回0 string name Query 记录类型名称,通常情况下dml,ddl操作均为QUERY, 连接断开为CONNECT和QUIT string timestamp 2023-01-06T06:35:46 UTC 记录的UTC时间 string command_class show_tables 执行的SQL命令类型,内部为解析得到的SQL类型,例如select,update(连接断开不存在该项) string sqltext show tables 执行的SQL具体内容(连接断开审计不存在该项) string user root[root] @ [10.58.239.247] 登录的账户 string host - 登录的host,当本地登录时为localhost,远程登录为空 string external_user - 代理用户名称 string ip 10.58.239.247 通过远程连接的客户端IP,本地连接为空 string default_db - 执行SQL时默认的数据库 string
-
CFW访问控制日志结构化模板日志详情 CFW访问控制日志示例 表5 结构化模板示例 模板名称 示例日志 CFW访问控制日志 {"app":"PING","direction":"in2out","source-zone":"3002","rule_id":"56827792-173e-435a-b22b-229f21d78244","protocol":"ICMP: ECHO_REQUEST","dst_ip":"100.85.222.23","src_ip":"100.85.112.49","log_type":"eip","hit_time":1655882537006,"log-id":"44243649","dst_port":"45243","destination-zone":"3001","index_day":"2022.06.22","log_id":6781,"src_port":"17589","fw_instance_id":"58ead9e7-418d-4166-8df8-f24941d4205c","action":"permit","vsys":"1"} 结构化字段及字段说明 表6 结构化字段 字段 示例 描述 类型 app PING 应用类型 string direction in2out 流量方向 out2in:入方向 in2out:出方向 string source-zone 3002 资源区域 string rule_id 56827792-173e-435a-b22b-229f21d78244 触发规则的ID string protocol ICMP: ECHO_REQUEST 协议类型 string dst_ip 100.85.222.23 目的IP地址 string src_ip 100.85.112.49 源IP地址 string log_type eip 日志类型 string hit_time 1655882537006 访问发生的时间 long log-id 44243649 文档ID,第一页为空,其他页不为空 string dst_port 45243 目的端口号 string destination-zone 3001 目标区域 string index_day 2022.06.22 索引日期 string log_id 6781 文档ID,第一页为空,其他页不为空 long src_port 17589 源端口号 string fw_instance_id 58ead9e7-418d-4166-8df8-f24941d4205c 防火墙实例id string action permit 云防火墙当前的响应动作。 permit:放行 deny:阻断 string vsys 1 防火墙防护方向 string
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格