步骤三：创建日志采集配置 在“日志接入”页面，选择左侧导航栏的“日志采集配置”。 单击“创建日志采集配置”。 配置日志采集参数，配置完成后，单击“确定”。 新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。 表4 日志采集配置参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目，相同服务的不同日志使用同一个日志项目。 日志空间 选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。 配置名称 自定义日志采集配置名称。 配置类型 选择日志采集配置类型，建议选择“FILEBEAT”。 日志类型 输入采集日志类型。 日志路径 填写实际日志路径，可使用通配符进行匹配。 接入容器日志需要根据通配符匹配完成。 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。 日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。 如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。 如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。 日志模式 选择日志采集模式，是单行模式还是多行模式。 是否支持软连接 当填写的日志路径为链接路径时，需要开启支持软连接。 首行正则表达式 日志模式选择多行模式时，需要输入首行正则表达式。 日志提取规则 根据填写的配置参数会自动生成提取规则。

步骤四：创建任务 在“日志接入”页面，选择左侧导航栏的“任务管理”。 单击页面右上角的“新建任务”。 配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。 表5 任务参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目。 任务名称 自定义任务名称。 任务类型 选择任务类型。 配置类型 选择日志采集配置类型。 配置列表 选择需要下发的配置。 用户名称 选择已规划并拥有日志读取权限的业务账号。 选择主机 选择需要下发配置的主机。 已选主机 显示已选主机。 在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”，如图1所示。 图1 执行任务 执行完成后，状态为成功即表示日志配置内容已下发成功，filebeat已成功安装，监控服务会按照配置将日志接入AppStage。 如需卸载filebeat，请参考如何卸载虚拟机上安装的filebeat。

步骤二：创建日志空间 在“日志接入”页面，选择左侧导航栏的“日志空间”。 单击“申请实时日志空间”。 根据界面提示填写日志空间参数。 配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。 表2 实时日志空间信息参数说明 参数名称 参数说明 空间名称 自定义日志空间名称，建议包含日志类型语义。 空间描述 输入日志空间描述，非必填项。 区域 选择需要接入日志的区域，可选区域为已完成初始化的区域。 日志类型 选择需接入的日志类型，该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下： 访问日志：AC CES S_ LOG 接口日志：INTERFACE_LOG 错误日志：ERROR_LOG 异常日志：EXCEPTION_LOG 安全日志：SAFE_LOG 资源日志：RESOURCE_LOG 运行日志：RUN_LOG 话单日志：CDR_LOG 指标日志：METRI CS _LOG GC日志：GC_LOG HCW日志：HCW_LOG 日志大小 预计一天的日志量，默认为1GB。 开启日志检索 如果需要使用日志检索功能，可以打开该开关，并创建导流任务，创建导流任务后可以在“日志检索”页面查看日志。 如果创建时没有打开日志检索开关，后续编辑打开该开关，需要手动创建或绑定检索空间表。 单击该空间所在行“操作”列的，选择“日志空间表管理”并切换至“检索空间表”页签，单击右上角的“创建新空间表”或“选择已有空间表”，手动为该日志空间创建或绑定检索空间表，然后单击列表“操作”列的“上线”。 检索空间类型 选择ClickHouse。 原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。 表3 实时日志字段信息参数说明 参数名称 参数说明 自定义字段 必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。 清洗规则 选择日志清洗规则。 请优先使用算子清洗模式采样，通过配置解析脚本将原始日志清洗为业务需要的日志字段，算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样，不需要清洗的场景。 如果创建时选择“无清洗”，后续编辑选择对日志进行清洗，需要手动创建或绑定异常存储空间表。 单击该空间所在行“操作”列的，选择“日志空间表管理”并切换至“异常存储空间表”页签，单击右上角的“创建新空间表”或“选择已有空间表”，手动为该日志空间创建或绑定异常存储空间表，然后单击列表“操作”列的“上线”。 日志样例 输入日志样例。 解析脚本 配置解析脚本，将日志样例清洗为字段显示，具体算子功能及使用样例请参见算子清洗功能介绍。 配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。 清洗字段 配置解析脚本后单击“测试解析脚本”，自动生成清洗字段，查看字段是否符合预期。 日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。 其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。 申请日志空间共享，如果需要其他服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

DIS有哪些特点和优势？ 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。 并行处理：DIS可让您用多个应用程序同时处理同一个数据通道。例如，您可以让一个应用程序运行实时分析，让其他应用程序从同一个DIS数据通道中将数据发送至 对象存储服务 （Object Storage Service，简称OBS）。 安全可靠：DIS可将数据保留24~72小时，以防数据在应用程序故障、个别机器故障或设施故障时丢失。 父主题： 一般性问题

数据存储在DIS和转储其他资源有什么区别？ 开通DIS通道时需要选择“转储服务类型”。具体区别如表1所示。 选择“OBS”表示存储在DIS中，并周期性导入对象存储服务（Object Storage Service，简称OBS）。 表1 DIS和转储其他资源区别 DIS存储 OBS存储 DIS服务自带。 需要另外申请。 无需另外付费。 需要根据OBS收费标准另外付费。 临时存储（最长保留72小时）。 数据可长期存储在OBS中，具体保存时长根据用户购买的OBS服务时长决定。 只存储在DIS中。 存储在DIS中，并周期性导入OBS。 父主题： 一般性问题

修改源数据Schema 已创建了源数据Schema的通道，若该通道下存在转储任务，则不允许修改已有的源数据Schema。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框，单击，修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任务，修改源数据Schema可能导致通道内未转储完成的数据无法被成功转储。 修改完成后，单击“提交”，保存修改结果。单击“放弃”，不对源数据Schema进行修改。

响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String 监控指标。 表6 DataPoint 参数 参数类型 描述 timestamp Long 时间戳。 value Long 时间戳对应的监控值。

URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 通道名称。 partition_id 是 String 分区编号。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 分区监控指标。（label与label_list必须二选一，label_list与label同时存在时，以label_list为准） total_put_bytes_per_partition：分区总输入流量（Byte） total_get_bytes_per_partition：分区总输出流量（Byte） total_put_records_per_partition：分区总输入记录数（个） total_get_records_per_partition：分区总输出记录数（个） label_list 否 String 使用label用逗号拼接组成，用于批量查询多个label的指标。（label与label_list必须二选一，label_list与label同时存在时，以label_list为准） start_time 是 Long 监控开始时间点，10位时间戳。 end_time 是 Long 监控结束时间点，10位时间戳。

请求示例 批量添加资源标签 POST https://{Endpoint}/v2/{project_id}/stream/{stream_id}/tags/action { "action" : "create", "tags" : [ { "key" : "key1", "value" : "value1" }, { "key" : "key2", "value" : "value3" } ] }

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用 IAM 服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 action 是 String 操作标识：仅限于create create：批量创建 tags 是 Array of Tag objects 标签列表。 表4 Tag 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 对于同一资源键值唯一。 字符集：A-Z，a-z ， 0-9，‘-’，‘_’，UNICODE字符（\u4E00-\u9FFF）。 value 否 String 值。 长度不超过43个字符。 字符集：A-Z，a-z ， 0-9，‘.’，‘-’，‘_’，UNICODE字符（\u4E00-\u9FFF）。 只能包含数字、字母、中划线“-”、下划线“_”。

请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_name 是 String 需要变更分区数量的通道名称。 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容，小于当前分区数量表示缩容。 注意： 每个通道在一小时内扩容和缩容总次数最多5次，且一小时内扩容或缩容操作有一次成功则最近一小时内不允许再次进行扩容或缩容操作。

URI GET /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 partition-cursor 是 String 数据游标，需要先通过获取数据游标的接口获取。 取值范围：1~512个字符。 说明： 数据游标有效期为5分钟。 max_fetch_bytes 否 Integer 每个请求获取记录的最大字节数。 注意： 该值如果小于分区中单条记录的大小，会导致一直无法获取到记录。

响应示例 状态码：200 正常返回 { "records" : [ { "partition_key" : "0", "sequence_number" : "485", "data" : "MTExMTExMTExMTExMTExMTExMTExMTExMTExMTExMTEx", "timestamp" : 1527577402541, "timestamp_type" : "CreateTime" } ], "next_partition_cursor" : "eyJpdGVyR2VuVGltZSI6MTQ5MDk1MDE1Nzc0NywiU3RyZWFtTmFtZSI6IjY2MCIsIlNoYXJkSWQiOiIwIiwiU2hhcmRJdGVyYXRvclR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJTdGFydGluZ1NlcXVlbmNlTnVtYmVyIjoiMjIiLCJUaW1lU3RhbXAiOjB9" }

响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明： 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key String 用户上传数据时设置的partition_key。说明：上传数据时，如果传了partition_key参数，则下载数据时可返回此参数。如果上传数据时，未传partition_key参数，而是传入partition_id，则不返回partition_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如下载数据接口返回的数据是“ZGF0YQ==”，“ZGF0YQ==”经过Base64解码之后是“data”。 timestamp Long 记录写入DIS的时间戳。 timestamp_type String 时间戳类型。 CreateTime：创建时间。

响应示例 状态码：200 正常返回 { "stream_id" : "RdMFID6edQdf8eDzc9e", "stream_name" : "newstream", "task_name" : "newtask", "task_id" : "As805BudhcH1lDs6gbn", "destination_type" : "OBS", "state" : "RUNNING", "create_time" : 1606554932552, "last_transfer_timestamp" : 1606984428612, "obs_destination_description" : { "agency_name" : "dis_admin_agency", "file_prefix\"" : "", "partition_format" : "yyyy/MM/dd", "obs_bucket_path" : "obsbucket", "deliver_time_interval" : 60, "consumer_strategy" : "LATEST", "retry_duration" : 0, "destination_file_type" : "text", "record_delimiter" : "\n\n" }, "partitions" : [ { "partitionId" : "shardId-0000000000", "discard" : 0, "state" : "RUNNING", "last_transfer_timestamp" : 1606984428612, "last_transfer_offset" : 289897 } ] }