日志转储-华为云

云日志服务 LTS-转储至DMS:注册Kafka实例

注册Kafka实例如果选择Kafka实例未注册，单击注册，跳转到注册Kafka实例页面。注册Kafka实例相关参数说明。参数名称说明样例 Kafka实例 dms实例名称。 Kafka-01 打通DMS网络打通Kafka实例和LTS服务的网络，用户LTS服务通过该网络发送转储数据。 - 用户名如果Kafka实例开启了sasl认证，需要输入sasl认证的用户名。 DMS 密码如果Kafka实例开启了sasl认证，需要输入sasl认证的密码。 - 单击“确认”，完成注册Kafka实例。

云日志服务 LTS 日志转储

云日志服务 LTS-转储至DWS:操作步骤

操作步骤登录云日志服务控制台，在左侧导航栏中选择“日志转储 ”。在“日志转储”页面中，单击右上角“配置转储”。在“配置转储”页面中，选择转储对象“DWS集群”，并配置各参数信息。表1 配置转储参数说明参数名称说明样例是否开启转储选择是否开启转储。开启转储对象选择转储的云服务。 DWS集群日志组名称选择已创建的日志组。 - 企业项目选择已创建的企业项目。如果当前账号未开通企业项目则不显示该参数。如果当前账号已开通企业项目，则存在以下情况：当转储当前账号日志时，下拉框显示当前账号的全部企业项目。当转储其他账号日志时，若委托账号未开通企业项目，则默认显示“default”。当转储其他账号日志时，若委托账号已开通企业项目，则显示委托账号的全部企业项目。 default 日志流名称选择已创建的日志流。说明：已配置过DWS集群转储的日志流不能重复配置。 - 集群名称已创建的集群名称。 test 数据库名称集群的数据库名称。有两种数据库，分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名数据库的管理员用户名。 lts-test 密码数据库的管理员密码。 - schema名称数据库对象的集合名称。 - 表名 schema中的表名称。 - 字段映射将内置字段以及日志中配置的结构化字段和类型，映射到数据库字段。说明：内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName 当结构化字段类型和数据库表字段类型一致时，支持将日志的结构化字段转储至数据仓库服务GaussDB(DWS)，否则转储无效。可以通过结构化字段和表字段的下拉框，选择您需要转储的字段。可以通过操作列下的删除操作，选择您需要转储的字段。可以通过单击添加，选择您需要转储的字段。 hostIP 完成后单击“确定”。

云日志服务 LTS 日志转储

云日志服务 LTS-如何转储云审计服务CTS的日志？

如何转储云审计服务CTS的日志？云审计CTS与LTS进行系统对接后，系统自动在云日志服务控制台创建的日志组和日志流，如果需要将CTS的日志转储至OBS中，您需要进行以下操作：在云审计服务管理控制台，单击左侧导航栏中的“追踪器”。单击追踪器“system”操作列的“配置”。进入基本信息页面，单击下一步。在“配置转储”页面，选择转储到OBS的相关信息和开启转储到LTS，单击下一步。确认信息正确后，单击配置即可完成。在云日志服务管理控制台，选择左侧导航栏中的“日志转储”，单击“配置转储”，完成将CTS日志转储至OBS的配置。其中日志组名称选择“CTS”，日志流名称“system-trace”。转储成功后在OBS控制台所选OBS桶中可以看到已转储的CTS日志。父主题：日志转储

云日志服务 LTS 日志转储

云日志服务 LTS-在DLI表中查不到新增分区怎么处理？:方法2：配置定时任务

方法2：配置定时任务登录DataArts Studio服务控制台，确保已创建SQL实例。选择实例，单击进入控制台。在概览页签，单击工作空间下方的数据开发，进入数据开发详情页面。在作业开发页面，单击新建作业，按照提示填写参数后，单击“确定”。详细操作请参考新建作业。在已创建成功的作业页面，将DLI SQL拖动到空白区域。在空白区域，单击DLI SQL图标，在DLI SQL页面，填写SQL语句“MSCK REPAIR TABLE table_name”，table_name为有分区表的表名称，数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。更多DLI SQL属性信息请参考开发SQL脚本。设置完成DLI SQL属性后，单击空白处，单击“调度配置”，设置定时操作时间，详细操作请参考调度作业。设置完成后，先单击提交版本，然后单击，作业执行调度触发成功。

云日志服务 LTS 日志转储

云日志服务 LTS-删除日志转储:响应示例

响应示例状态码： 200 删除转储请求响应成功。 { "log_group_id" : "9a7e2183-2d6d-4732-9a9b-e897fd4e49e0", "log_group_name" : "lts-group-kafka", "log_streams" : [ { "log_stream_id" : "839dac89-35af-4db2-ab4a-a7dda0d0d3f8", "log_stream_name" : "lts-topic-kafka" } ], "log_transfer_id" : "ddced522-233a-4181-a5fc-7b458c819afc", "log_transfer_info" : { "log_create_time" : 1634802241847, "log_storage_format" : "JSON", "log_agency_transfer" : { "agency_domain_id" : "1d26cc8c86a840e28a4f8d0d078xxxxx", "agency_domain_name" : "paas_apm_z004xxxxx_xx", "agency_name" : "test20210325", "agency_project_id" : "2a473356cca5487f8373be891bfxxxxx", "be_agency_domain_id" : "1d26cc8c86a840e28a4f8d0d078xxxxx", "be_agency_project_id" : "2a473356cca5487f8373be891bfxxxxx" }, "log_transfer_detail" : { "obs_period" : 2, "obs_prefix_name" : "", "obs_period_unit" : "min", "obs_transfer_path" : "/0002/LogTanks/xxx/", "obs_bucket_name" : "0002", "obs_encrypted_enable" : false, "obs_dir_pre_fix_name" : "", "obs_time_zone" : "UTC+01:00", "obs_time_zone_id" : "Africa/Lagos", "dis_id" : "xxxxx", "dis_name" : "xxxxxx", "kafka_id" : "xxxxxx", "kafka_topic" : "xxxxx" }, "log_transfer_mode" : "cycle", "log_transfer_status" : "ENABLE", "log_transfer_type" : "OBS" } } 状态码： 400 BadRequest 非法请求建议根据error_msg直接修改该请求。 { "error_code" : "LTS.0405", "error_msg" : "The log transfer does not existed" } 状态码： 500 表明服务端能被请求访问到，但是服务内部出错。 { "error_code" : "LTS.0010", "error_msg" : "The system encountered an internal error" }

云日志服务 LTS 日志转储

云日志服务 LTS-删除日志转储:响应参数

响应参数状态码： 200 表4 响应Body参数参数参数类型描述 log_group_id String 日志组ID 最小长度：36 最大长度：36 log_group_name String 日志组名称最小长度：1 最大长度：64 log_streams Array of log_streams objects 日志流集合 log_transfer_id String 日志转储ID 最小长度：36 最大长度：36 log_transfer_info log_transfer_info_RespBody object 日志转储信息表5 log_streams 参数参数类型描述 log_stream_id String 日志流ID 最小长度：36 最大长度：36 log_stream_name String 日志流名称最小长度：1 最大长度：64 表6 log_transfer_info_RespBody 参数参数类型描述 log_agency_transfer log_agency_transfer object 委托转储信息。若转储为委托转储，则会返回该参数 log_create_time Integer 日志转储创建时间最小值：0 最大值：2147483647 log_storage_format String 日志转储格式。只支持"RAW", "JSON"。RAW是指原始日志格式，JSON是指JSON日志格式。OBS转储和DIS转储支持JSON和RAW，DMS转储仅支持RAW 枚举值： JSON RAW log_transfer_detail TransferDetail object 日志转储详细信息 log_transfer_mode String 日志转储方式。cycle是指周期性转储，realTime是指实时转储。OBS转储只支持"cycle"，DIS转储和DMS转储只支持"realTime"。枚举值： cycle realTime log_transfer_status String 日志转储状态，ENABLE是指日志转储开启状态，DISABLE是指日志转储关闭状态，EXCEPTION是指日志转储异常状态枚举值： ENABLE DISABLE EXCEPTION log_transfer_type String 日志转储类型。OBS指OBS日志转储，DIS指DIS日志转储，DMS指DMS日志转储。枚举值： OBS DIS DMS 表7 log_agency_transfer 参数参数类型描述 agency_domain_id String 委托方账号ID 最小长度：1 最大长度：128 agency_domain_name String 委托方账号名称最小长度：1 最大长度：128 agency_name String 委托方配置的委托名称最小长度：1 最大长度：128 agency_project_id String 委托方项目ID 最小长度：32 最大长度：32 be_agency_domain_id String 被委托方账号ID，实际配置转储的账号ID 最小长度：1 最大长度：128 be_agency_project_id String 被委托方项目ID，实际配置转储的账号的项目ID 最小长度：32 最大长度：32 表8 TransferDetail 参数参数类型描述 obs_period Integer OBS转储时间。当创建OBS转储时，必填此参数。与obs_period_unit组合，即"obs_period"+"obs_period_unit"，必须是"2min", "5min", "30min", "1hour", "3hour", "6hour","12hour"。枚举值： 1 2 3 5 6 12 30 obs_period_unit String OBS转储单位。当创建OBS转储时，必填此参数。与obs_period_unit组合，即"obs_period"+"obs_period_unit"，必须是"2min", "5min", "30min", "1hour", "3hour", "6hour","12hour"。枚举值： “min” “hour” obs_bucket_name String OBS日志桶名称。当创建OBS转储时，必填此参数。最小长度：3 最大长度：63 最小长度：3 最大长度：63 obs_encrypted_id String OBS转储KMS秘钥ID。根据OBS转储日志桶是否加密判断，若OBS转储日志桶加密则必须填写该参数，若OBS转储日志桶则不需要此参数。最小长度：36 最大长度：36 最小长度：36 最大长度：36 obs_dir_pre_fix_name String OBS转储自定义转储路径。当创建OBS转储时，根据需要选填此参数。正则约束： ^(/)?([a-zA-Z0-9.-]+)(/[a-zA-Z0-9.-]+)*(/)?$ 最小长度：1 最大长度：64 最小长度：1 最大长度：64 obs_prefix_name String OBS转储日志文件前缀。当创建OBS转储时，根据需要选填此参数。正则约束： ^[a-zA-Z0-9._-]*$ 最小长度：1 最大长度：64 最小长度：1 最大长度：64 obs_time_zone String OBS转储时区(https://support.huaweicloud.com/api-lts/lts_api_0111.html)。如果选择该参数，则必须选择obs_time_zone_id。 obs_time_zone_id String OBS转储时区ID(https://support.huaweicloud.com/api-lts/lts_api_0111.html)。参数选择参考OBS转储时区表。如果选择该参数，则必须选择obs_time_zone。 dis_id String DIS转储通道ID。当创建DIS转储时，必填此参数。最小长度：1 最大长度：128 最小长度：1 最大长度：128 dis_name String DIS转储通道名称。当创建DIS转储时，必填此参数。最小长度：1 最大长度：128 最小长度：1 最大长度：128 kafka_id String DMS转储kafka ID。当创建DMS转储时，必填此参数。创建DMS转储前，需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例最小长度：36 最大长度：36 kafka_topic String DMS转储kafka topic。创建DMS转储前，需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例最小长度：1 最大长度：128 obs_transfer_path String OBS转储路径，指OBS日志桶中的路径。最小长度：0 最大长度：256 obs_eps_id String OBS企业项目ID。最小长度：0 最大长度：128 obs_encrypted_enable Boolean OBS是否开启加密。枚举值： true false tags Array of strings 若开启tag投递，该字段必须包含主机信息：hostIP、hostId、hostName、pathFile、collectTime；公共字段有：logStreamName、regionName、logGroupName、projectId，为可选填；开启转储标签：streamTag，可选填状态码： 400 表9 响应Body参数参数参数类型描述 error_code String 错误码。最小长度：8 最大长度：8 error_msg String 调用失败响应信息描述。状态码： 500 表10 响应Body参数参数参数类型描述 error_code String 错误码。最小长度：8 最大长度：8 error_msg String 调用失败响应信息描述。

云日志服务 LTS 日志转储

云日志服务 LTS-删除日志转储:URI

URI DELETE /v2/{project_id}/transfers 表1 路径参数参数是否必选参数类型描述 project_id 是 String 项目ID，账号ID，日志组ID、日志流ID，获取方式请参见：获取项目ID，获取账号ID，日志组ID、日志流ID 最小长度：32 最大长度：32 表2 Query参数参数是否必选参数类型描述 log_transfer_id 是 String 日志转储ID。获取ID有3种方式： 1. 调用查询日志转储接口，返回值有日志转储ID 2. 调用新增日志转储接口，返回值有日志转储ID 最小长度：36 最大长度：36

云日志服务 LTS 日志转储

云日志服务 LTS-概述

概述主机和云服务的日志数据上报至云日志服务后，默认存储时间为30天，您在创建日志组时，可以对日志存储进行设置（1-365天）。超出存储时间的日志数据将会被自动删除，对于需要长期存储的日志数据（日志持久化），云日志服务提供转储功能，可以将日志转储至其他云服务中进行长期保存。日志转储功能只能拷贝已有日志，不会删除日志。根据配置的存储时间可定时清理日志文件，不会影响转储后的日志。当前LTS支持转储至以下云服务，根据您的业务场景进行日志转储。转储至OBS 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。转储至DIS 数据接入服务（Data Ingestion Service,简称DIS）提供日志长期存储能力和丰富的大数据分析能力。转储至DMS DMS通过分布式消息服务API处理日志。转储至DWS 数据仓库服务（Data Warehouse Service，简称DWS）是完全托管的企业级云上数据仓库服务，具备免运维、在线扩展、高效的多源数据加载能力，兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析，实现数据快速变现。转储至DLI 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。当前LTS支持跨租户转储，可以通过创建委托将日志转储的能力共享给其他账号，让其他账号代为转储该账号下的日志数据。委托时需要对被委托账号赋予可以获取日志组和日志流的权限，例如LTS FullAccess。父主题：日志转储

云日志服务 LTS 日志转储

云日志服务 LTS-注册DMS kafka实例:响应参数

响应参数状态码为 201 时: 表5 响应Body参数参数参数类型描述 instance_id String kafka ID 状态码为 400 时: 表6 响应Body参数参数参数类型描述 error_code String 错误码。最小长度：8 最大长度：8 error_msg String 调用失败响应信息描述。枚举值： Invalid projectId 状态码为 500 时: 表7 响应Body参数参数参数类型描述 error_code String 错误码。最小长度：8 最大长度：8 error_msg String 调用失败响应信息描述。

云日志服务 LTS 日志转储

云日志服务 LTS-注册DMS kafka实例:请求示例

请求示例注册DMS kafka实例 POST https://{endpoint}/v2/{project_id}/lts/dms/kafka-instance /v2/{project_id}/lts/dms/kafka-instance { "instance_id" : "3f4a92ff-7f65-489f-a36a-fadbaaxxxxx6", "kafka_name" : "kafka-wxxxxxt", "connect_info" : { "user_name" : "111", "pwd" : "2222" }}

云日志服务 LTS 日志转储

云日志服务 LTS-注册DMS kafka实例:响应示例

响应示例状态码为 201 时: 注册DmsKafka请求响应成功。 { "instance_id" : "3f4a92ff-7f65-489f-a36a-fadbaaxxxxx6" } 状态码为 400 时: BadRequest 非法请求建议根据error_msg直接修改该请求。 { "error_code" : "LTS.1719", "error_msg" : "kafka user or password wrong" } 状态码为 500 时: 表明服务端能被请求访问到，但是服务内部出错。 { "error_code" : "LTS.0010", "error_msg" : "The system encountered an internal error" }

云日志服务 LTS 日志转储

云日志服务 LTS-注册DMS kafka实例:请求参数

请求参数表2 请求Header参数参数是否必选参数类型描述 X-Auth-Token 是 String 从IAM服务获取的用户Token，获取方式请参见：获取用户Token 最小长度：1000 最大长度：2000 Content-Type 是 String 该字段填为：application/json;charset=UTF-8。最小长度：30 最大长度：30 表3 请求Body参数参数是否必选参数类型描述 instance_id 是 String kafka ID 最小长度：1 最大长度：36 kafka_name 是 String kafka 名称最小长度：1 最大长度：256 connect_info 是 connect_info object kafka连接信息。购买kafka时，SASL_SSL是否配置，如果有，则需要填写账号密码表4 connect_info 参数是否必选参数类型描述 user_name 否 String 账号最小长度：1 最大长度：256 pwd 否 String 密码最小长度：1 最大长度：256

云日志服务 LTS 日志转储

云服务器内容精选

日志转储

7*24

备案

专业服务

退订

建议反馈

售前咨询热线