云日志服务 LTS-使用KAFKA协议上报日志:配置方式

时间:2024-05-22 14:28:08

配置方式

  • 使用Kafka协议上报日志时,需要使用到的通用参数如下。
    表1 通用参数

    参数名称

    描述

    类型

    projectId

    用户账号的项目ID(project id)

    String

    logGroupId

    LTS的日志组ID

    String

    logStreamId

    LTS的日志流ID

    String

    regionName

    云日志服务的区域

    String

    accessKey

    用户账号的AK

    String

    accessSecret

    用户账号的SK

    String

  • 使用Kafka协议上报日志时,需要配置以下参数。
    表2 配置参数

    参数名称

    说明

    连接类型

    当前支持SASL_PLAINTEXT

    hosts

    Kafka的IP和PORT地址,格式为 lts-kafka.${regionName}.myhuaweicloud.com:9095

    其中IP根据局点进行配置,PORT固定为9095。例如北京四局点对应hosts为 lts-kafka.cn-north-4.myhuaweicloud.com:9095。

    topic

    Kafka的topic名称,格式为 ${日志组ID}_${日志流ID},即LTS的日志组ID和日志流ID通过下划线连接,作为topic的名称。

    username

    Kafka访问用户名,配置为用户账号的项目ID。

    password

    Kafka访问密码,格式为${accessKey}#${accessSecret},即用户账号的AK和SK通过#连接,作为Kafka的访问密码。

    headers

    当您希望设置自定义label字段时,需要配置headers。headers的参数配置分为以下两种情况:

    • 不配置headers,对上报的日志格式没有要求。
    • headers中添加header,key为LTS_LOG_TYPE,value为FORMAT,用户需要上报符合要求的规范化日志。
  • ${message}日志格式

    仅当headers中添加了key为LTS_LOG_TYPE,value为FORMAT的header时,日志需要符合该格式规范。

    表3 日志参数

    参数名称

    是否必选

    参数类型

    描述

    tenant_project_id

    String

    用户账号的项目ID。

    tenant_group_id

    String

    LTS的日志组ID。

    tenant_stream_id

    String

    LTS的日志流ID。

    log_time_ns

    Long

    日志数据采集时间,UTC时间(纳秒)。

    说明:

    采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。

    contents

    Array of String

    日志内容

    labels

    Object

    用户自定义label。

    说明:

    请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。

support.huaweicloud.com/usermanual-lts/lts_04_1130.html