注册Kafka实例 如果选择Kafka实例未注册，单击“注册”，跳转到注册Kafka实例页面。 注册Kafka实例相关参数说明。 表2 参数说明 参数名称 说明 示例 Kafka实例 dms实例名称。 Kafka-01 打通DMS网络 打通Kafka实例和LTS服务的网络，用户LTS服务通过该网络发送转储数据。 - 用户名 如果Kafka实例开启了sasl认证，需要输入sasl认证的用户名。 DMS 密码 如果Kafka实例开启了sasl认证，需要输入sasl认证的密码。 - 单击“确定”，完成注册Kafka实例。

日志转储至DWS 登录 云日志 服务控制台，在左侧导航栏中选择“日志转储 ”。 在“日志转储”页面中，单击右上角“配置转储”。 在“配置转储”页面中，选择转储对象“DWS集群”，并配置各参数信息。 表1 配置转储参数说明 参数名称 说明 示例 是否开启转储 选择是否开启转储。 开启 转储对象 选择转储的云服务。 DWS集群 日志组名称 选择已创建的日志组。 - 企业项目 选择已创建的企业项目。 如果当前账号未开通企业项目则不显示该参数。 如果当前账号已开通企业项目，则存在以下情况： 当转储当前账号日志时，下拉框显示当前账号的全部企业项目。 当转储其他账号日志时，若委托账号未开通企业项目，则默认显示“default”。 当转储其他账号日志时，若委托账号已开通企业项目，则显示委托账号的全部企业项目。 default 日志流名称 选择已创建的日志流。 已配置过DWS集群转储的日志流不能重复配置。 - 集群名称 已创建的集群名称。 test 数据库名称 集群的数据库名称。有两种数据库，分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。 - 表名 schema中的表名称。 - 字段映射 将内置字段以及日志中配置的结构化字段和类型，映射到数据库字段。 内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。 当结构化字段类型和数据库表字段类型一致时，支持将日志的结构化字段转储至 数据仓库 服务 GaussDB (DWS)，否则转储无效。 在结构化字段和表字段的下拉框，选择您需要转储的字段。 单击操作列下的，删除不需要的转储字段。 单击，添加需要转储的字段。 hostIP 完成后单击“确定”。 创建转储任务成功后，支持查看、修改、删除转储任务。 删除转储任务后，之前已经转储日志将会继续保存在DWS。 删除转储任务将不再对日志进行转储，且删除后无法恢复，请谨慎操作。

日志转储概述 主机和云服务的日志数据上报至 云日志服务LTS 后，LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准，详情请参考管理日志组和管理日志流。超出存储时间的日志数据将会被自动删除，对于需要长期存储的日志数据（日志持久化），云日志服务提供转储功能，可以将日志转储至其他云服务中进行长期保存。 日志转储功能只能拷贝已有日志，不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件，不会影响转储后的日志。 当前LTS支持以下表1，请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型 转储服务类型 使用场景 对象存储服务 OBS 对象存储服务（Object Storage Service，OBS）提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。适合企业备份/归档、 视频点播 、视频监控等多种数据存储场景。 创建周期性日志转储时，LTS支持OBS桶的存储类别为标准存储、已恢复的归档存储的OBS桶。 创建一次性日志转储时，LTS支持OBS桶的存储类别为标准存储。 分布式消息服务Kafka版（DMS） 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，具备高效可靠的消息异步传递机制，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 Kafka可以应对大量日志传输场景，应用通过异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 数据接入服务 DIS 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。 数据仓库服务 GaussDB(DWS) 数据仓库服务（Data Warehouse Service，简称DWS）是完全托管的企业级云上数据仓库服务，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储，分析等场景。 数据湖探索 DLI 数据湖 探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、Trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 适用于需要对海量日志内容进行分析，大数据处理的场景，例如游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策等场景。 父主题： 日志转储

前提条件 Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在 API Explorer 中测试API功能，API Explorer提供API检索及平台调试能力。 参考API Explorer示例代码，在主机上安装Python SDK。 Python的SDK依赖包地址以及SDK使用说明。 pip install huaweicloudsdklts API Explore提供Python调用API的示例代码，以下示例仅供参考： # coding: utf-8 import os from huaweicloudsdkcore.auth.credentials import BasicCredentials from huaweicloudsdklts.v2.region.lts_region import LtsRegion from huaweicloudsdkcore.exceptions import exceptions from huaweicloudsdklts.v2 import * if __name__ == "__main__": # The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security. # In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment /* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全; ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak, sk) client = LtsClient.new_builder() \ .with_credentials(credentials) \ .with_region(LtsRegion.value_of("xx")) \ .build() try: request = ListTransfersRequest() response = client.list_transfers(request) print(response) except exceptions.ClientRequestException as e: print(e.status_code) print(e.request_id) print(e.error_code) print(e.error_msg)

日志转储至DLI 登录云日志服务控制台，在左侧导航栏中选择“日志转储 ”。 在“日志转储”页面中，单击右上角“配置转储”。 在“配置转储”页面中，选择转储对象“DLI集群”，并配置各参数信息。 表1 配置转储参数说明 参数名称 说明 示例 是否开启转储 选择是否开启转储。 开启 转储对象 选择转储的云服务。 DLI集群 日志组名称 选择已创建的日志组。 - 企业项目 选择已创建的企业项目。 如果当前账号未开通企业项目则不显示该参数。 如果当前账号已开通企业项目，则存在以下情况： 当转储当前账号日志时，下拉框显示当前账号的全部企业项目。 当转储其他账号日志时，若委托账号未开通企业项目，则默认显示“default”。 当转储其他账号日志时，若委托账号已开通企业项目，则显示委托账号的全部企业项目。 default 日志流名称 选择已创建的日志流。 已配置过DLI集群转储的日志流不能重复配置。 - DLI-数据库 需要转储的目标DLI数据库名称。更多信息请参见DLI库表管理。 test DLI-数据表 需要转储的目标DLI数据库表名称。更多信息请参见DLI库表管理。 - 表普通列映射 将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。转储类型支持转储所有字段和自定义转储字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。 选择“转储所有字段”是转储日志下所有的日志流标签字段。 选择“自定义转储字段”是手动配置用户日志字段。 单击“自动配置”，云日志服务会根据采集时预览数据中的第一条日志字段、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。 单击“添加”，在日志字段和表字段的下拉框中，选择您需要转储的字段。 单击操作列下的，删除不需要转储的字段。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。 内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName 单击，在分区字段和表字段的下拉框中，选择您需要转储的字段。能添加一个表字段。 单击操作列下的，删除不需要的转储字段。 - 完成后单击“确定”。 创建转储任务成功后，支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储，请谨慎操作。 删除转储任务后，之前已经转储日志将会继续保存在DLI。

方法2：配置定时任务 登录 DataArts Studio 服务控制台，确保已创建SQ L实例 。 选择实例，单击进入控制台。 在概览页签，单击工作空间下方的数据开发，进入数据开发详情页面。 在作业开发页面，单击新建作业，按照提示填写参数后，单击“确定”。详细操作请参考新建作业。 在已创建成功的作业页面，将DLI SQL拖动到空白区域。 在空白区域，单击DLI SQL图标，在DLI SQL页面，填写SQL语句“MSCK REPAIR TABLE table_name”，table_name为有分区表的表名称，数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后，单击空白处，单击“调度配置”，设置定时操作时间，详细操作请参考调度作业。 设置完成后，先单击提交版本，然后单击，作业执行调度触发成功。