-
DIS有哪些特点和优势？ 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松地将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。 并行处理：DIS可让您用多个应用程序同时处理同一个数据通道。例如，您可以让一个应用程序运行实时分析，让其他应用程序从同一个DIS数据通道中将数据发送至
对象存储服务 （Object Storage Service，简称OBS）。 安全可靠：DIS可将数据保留24~72小时，以防数据在应用程序故障、个别机器故障或设施故障时丢失。 父主题： 一般性问题
-
数据存储在DIS和转储其他资源有什么区别？ 开通DIS通道时需要选择“转储服务类型”。具体区别如表1所示。 选择“OBS”表示存储在DIS中，并周期性导入对象存储服务（Object Storage Service，简称OBS）。 表1 DIS和转储其他资源区别 DIS存储 OBS存储 DIS服务自带。 需要另外申请。 无需另外付费。 需要根据OBS收费标准另外付费。 临时存储（最长保留72小时）。 数据可长期存储在OBS中，具体保存时长根据用户购买的OBS服务时长决定。 只存储在DIS中。 存储在DIS中，并周期性导入OBS。 父主题： 一般性问题
-
修改源数据Schema 已创建了源数据Schema的通道，若该通道下存在转储任务，则不允许修改已有的源数据Schema。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框，单击，修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任务，修改源数据Schema可能导致通道内未转储完成的数据无法被成功转储。 修改完成后，单击“提交”，保存修改结果。单击“放弃”，不对源数据Schema进行修改。
-
URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 通道名称。 partition_id 是 String 分区编号。可定义为如下两种样式：- shardId-0000000000- 0比如一个通道有三个分区，那么分区标识符分别为0, 1, 2，或者shardId-0000000000, shardId-0000000001, shardId-0000000002 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 分区监控指标。（label与label_list必须二选一，label_list与label同时存在时，以label_list为准） total_put_bytes_per_partition：分区总输入流量（Byte） total_get_bytes_per_partition：分区总输出流量（Byte） total_put_records_per_partition：分区总输入记录数（个） total_get_records_per_partition：分区总输出记录数（个） label_list 否 String 使用label用逗号拼接组成，用于批量查询多个label的指标。（label与label_list必须二选一，label_list与label同时存在时，以label_list为准） start_time 是 Long 监控开始时间点，10位时间戳。 end_time 是 Long 监控结束时间点，10位时间戳。
-
响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 metrics Metrics object 数据对象。 表5 Metrics 参数 参数类型 描述 dataPoints Array of DataPoint objects 监控数据。 label String 监控指标。 表6 DataPoint 参数 参数类型 描述 timestamp Long 时间戳。 value Long 时间戳对应的监控值。
-
请求示例 批量添加资源标签 POST https://{Endpoint}/v2/{project_id}/stream/{stream_id}/tags/action
{
"action" : "create",
"tags" : [ {
"key" : "key1",
"value" : "value1"
}, {
"key" : "key2",
"value" : "value3"
} ]
}
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用
IAM 服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 action 是 String 操作标识：仅限于create create：批量创建 tags 是 Array of Tag objects 标签列表。 表4 Tag 参数 是否必选 参数类型 描述 key 否 String 键。 不能为空。 对于同一资源键值唯一。 字符集：A-Z，a-z ， 0-9，‘-’，‘_’，UNICODE字符（\u4E00-\u9FFF）。 value 否 String 值。 长度不超过43个字符。 字符集：A-Z，a-z ， 0-9，‘.’，‘-’，‘_’，UNICODE字符（\u4E00-\u9FFF）。 只能包含数字、字母、中划线“-”、下划线“_”。
-
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_name 是 String 需要变更分区数量的通道名称。 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容，小于当前分区数量表示缩容。 注意： 每个通道在一小时内扩容和缩容总次数最多5次，且一小时内扩容或缩容操作有一次成功则最近一小时内不允许再次进行扩容或缩容操作。
-
响应参数 状态码：200 表4 响应Body参数 参数 参数类型 描述 records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明： 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key String 用户上传数据时设置的partition_key。说明：上传数据时，如果传了partition_key参数，则下载数据时可返回此参数。如果上传数据时，未传partition_key参数，而是传入partition_id，则不返回partition_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据（Base64编码后的字符串）。 比如下载数据接口返回的数据是“ZGF0YQ==”，“ZGF0YQ==”经过Base64解码之后是“data”。 timestamp Long 记录写入DIS的时间戳。 timestamp_type String 时间戳类型。 CreateTime：创建时间。
-
响应示例 状态码：200 正常返回 {
"records" : [ {
"partition_key" : "0",
"sequence_number" : "485",
"data" : "MTExMTExMTExMTExMTExMTExMTExMTExMTExMTExMTEx",
"timestamp" : 1527577402541,
"timestamp_type" : "CreateTime"
} ],
"next_partition_cursor" : "eyJpdGVyR2VuVGltZSI6MTQ5MDk1MDE1Nzc0NywiU3RyZWFtTmFtZSI6IjY2MCIsIlNoYXJkSWQiOiIwIiwiU2hhcmRJdGVyYXRvclR5cGUiOiJBVF9TRVFVRU5DRV9OVU1CRVIiLCJTdGFydGluZ1NlcXVlbmNlTnVtYmVyIjoiMjIiLCJUaW1lU3RhbXAiOjB9"
}
-
URI GET /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 partition-cursor 是 String 数据游标，需要先通过获取数据游标的接口获取。 取值范围：1~512个字符。 说明： 数据游标有效期为5分钟。 max_fetch_bytes 否 Integer 每个请求获取记录的最大字节数。 注意： 该值如果小于分区中单条记录的大小，会导致一直无法获取到记录。
-
响应示例 状态码：200 正常返回 {
"stream_id" : "RdMFID6edQdf8eDzc9e",
"stream_name" : "newstream",
"task_name" : "newtask",
"task_id" : "As805BudhcH1lDs6gbn",
"destination_type" : "OBS",
"state" : "RUNNING",
"create_time" : 1606554932552,
"last_transfer_timestamp" : 1606984428612,
"obs_destination_description" : {
"agency_name" : "dis_admin_agency",
"file_prefix\"" : "",
"partition_format" : "yyyy/MM/dd",
"obs_bucket_path" : "obsbucket",
"deliver_time_interval" : 60,
"consumer_strategy" : "LATEST",
"retry_duration" : 0,
"destination_file_type" : "text",
"record_delimiter" : "\n\n"
},
"partitions" : [ {
"partitionId" : "shardId-0000000000",
"discard" : 0,
"state" : "RUNNING",
"last_transfer_timestamp" : 1606984428612,
"last_transfer_offset" : 289897
} ]
}
-
请求示例 添加OBS转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks
{
"destination_type" : "OBS",
"obs_destination_descriptor" : {
"task_name" : "newtask",
"consumer_strategy" : "LATEST",
"agency_name" : "dis_admin_agency",
"destination_file_type" : "text",
"obs_bucket_path" : "obsbucket",
"file_prefix" : "",
"partition_format" : "yyyy/MM/dd/HH/mm",
"record_delimiter" : "|",
"deliver_time_interval" : 30
}
} 添加OBS转储任务（转储文件格式是parquet） POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks
{
"destination_type" : "OBS",
"obs_destination_descriptor" : {
"task_name" : "newtask",
"consumer_strategy" : "LATEST",
"agency_name" : "dis_admin_agency",
"destination_file_type" : "parquet",
"obs_bucket_path" : "obsbucket",
"file_prefix" : "",
"partition_format" : "yyyy/MM/dd/HH/mm",
"record_delimiter" : "|",
"deliver_time_interval" : 30
}
}
-
关键能力 无限扩展：DIS数据通道的吞吐量每小时可从数MB扩展到数TB，PUT记录每秒钟可从数千次扩展到数百万。 易于使用：您可以在几秒钟内创建DIS数据通道，轻松的将数据放入通道中，并构建用于数据处理的应用程序。 成本低廉：DIS没有前期成本，您只需要为实际使用的资源付费即可。 并行处理：DIS可让您用多个应用程序同时处理同一个数据通道。 安全可靠：DIS可将数据保留24~72小时，以防数据在应用程序故障、个别机器故障或设施故障时丢失。
-
主要模块 DIS分为4个功能模块，各模块功能如下： 服务控制面 完成服务的开通、删除、配置操作，并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求，对已鉴权的数据接收并存储。 接收用户获取数据的请求，在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置，将用户数据存储到对象存储服务（Object Storage Service，简称OBS）。 服务维护 负责服务的安装、升级。 负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口，供用户上传与下载数据。 提供
数据加密 功能。
