数据接入-华为云

数据接入服务 DIS-使用限制

使用限制使用DIS前，您需要认真阅读并了解以下使用限制。建议使用支持的浏览器登录DIS。 Google Chrome：48.0及更高版本 Mozilla FireFox：43.0及更高版本 Internet Explorer：9.0及更高版本当使用Internet Explorer 9.0时可能无法登录DIS管理控制台，原因是某些Windows系统例如Win7旗舰版，默认禁止Administrator用户，Internet Explorer在安装时自动选择其他用户如System用户安装，从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本（建议），或尝试使用管理员身份运行Internet Explorer 9.0。用户使用接入通道上传数据的时候，如果数据涉及敏感信息，请使用DIS SDK提供的加密配置进行加密或者自行加密。用户使用接入通道上传数据时，普通通道单分区单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小），高级通道单分区单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小）。

数据接入服务 DIS

数据接入服务 DIS-步骤1：开通DIS通道:操作步骤

操作步骤使用注册账户登录DIS控制台。单击管理控制台左上角的，选择区域和项目。单击“购买接入通道”配置相关参数。表1 接入通道参数说明参数参数解释参数示例计费模式按需计费按需计费区域指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。华北-北京1 基本信息通道名称用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 dis-Tido 通道类型普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） - 分区数量分区是DIS数据通道的基本吞吐量单位。 5 分区计算用户可以根据实际需求通过系统计算得到一个建议的分区数量值。单击“分区计算”，弹出“计算所需分区数量”对话框。根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量”选项框中将显示所需的分区数量，此值不可修改。说明：所需分区计算公式：按流量计算所需写分区数：（所得数值需向上取整后作为分区数）普通通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（1*1024KB）高级通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（5*1024KB）按消费程序数量计算读分区数：（消费程序数量/2后的数值需要保留两位小数，然后乘以“按流量计算所需写分区数”，最终取值需向上取整）（消费程序数量/2）*按流量计算所需的写分区数获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时）存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 “源数据类型”选择“CSV”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”、“DWS”。 JSON 自动扩缩容创建通道的同时是否开启自动扩缩容功能。通过单击通过单击或来关闭或开启自动扩缩容开关。说明：用户可在创建通道时定义是否自动扩缩容，也可对已创建的通道修改自动扩缩容属性。自动缩容最小分区数设置自动缩容的分区下限，自动缩容的目标分区数不小于下限值。 - 自动扩容最大分区数设置自动扩容的分区上限，自动扩容的目标分区数不超过上限值。 - 源数据分隔符源数据为CSV格式时的数据分隔符。 - Schema开关创建通道的同时是否为其创建数据Schema。源数据类型为JSON或CSV时可配置该参数。通过单击或来关闭或开启Schema配置开关。说明：若创建通道时，没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema，详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。在右侧文本框中单击，可删除已生成的Avro schema。在右侧文本框中单击，可修改已生成的Avro schema。仅当“Schema配置开关”配置为“开启”：时需要配置此参数。企业项目配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目，请登录企业管理控制台进行创建，详细操作请参考《企业管理用户指南》。 - 现在配置单击“现在配置”，呈现添加标签。添加标签具体请参考管理通道标签。 - 暂不配置暂不配置任何信息。 - 标签标签是通道的标识。为通道添加标签，可以方便用户识别和管理拥有的通道资源。 - 单击“立即购买”，弹出“规格确认”页面。单击“提交”，完成通道接入。

数据接入服务 DIS

应用平台 APPSTAGE-虚拟机日志接入:步骤三：创建日志采集配置

步骤三：创建日志采集配置在“虚拟机日志接入”页面，选择左侧导航栏的“日志采集配置”。单击“创建日志采集配置”。配置日志采集参数，配置完成后，单击“确定”。新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。表4 日志采集配置参数说明参数名称参数说明日志项目选择已创建的日志项目，相同服务的不同日志使用同一个日志项目日志空间选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。配置名称自定义日志采集配置名称。配置类型选择日志采集配置类型，建议选择“FILEBEAT”。日志类型输入采集日志类型。日志路径填写实际日志路径，可使用通配符进行匹配。说明：接入容器日志需要根据通配符匹配完成。注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。日志模式选择日志采集模式，是单行模式还是多行模式。是否支持软连接当填写的日志路径为链接路径时，需要开启支持软连接。首行正则表达式日志模式选择多行模式时，需要输入首行正则表达式。日志提取规则根据填写的配置参数会自动生成提取规则。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤四：创建日志配置下发任务

步骤四：创建日志配置下发任务在“虚拟机日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。表5 日志配置下发任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”。执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤二：创建日志空间

步骤二：创建日志空间在“虚拟机日志接入”页面，选择左侧导航栏的“日志空间”。单击“申请实时日志空间”。根据界面提示填写日志空间参数。配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。表2 实时日志空间信息参数说明参数名称参数说明空间名称自定义日志空间名称，建议包含日志类型语义。空间描述输入日志空间描述，非必填项。日志类型选择需接入的日志类型。日志大小预计一天的日志量，默认为1GB。开启日志检索如果需要使用日志检索功能，可以打开该开关。检索空间类型选择ClickHouse。原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 TTL 日志索引的生命周期，即可以检索的日志时间范围。配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。表3 实时日志字段信息参数说明参数名称参数说明自定义字段必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。新增自定义环境变量如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。清洗规则选择日志清洗规则。请优先使用算子清洗模式采样，原始日志采样清洗只适用于单纯采样，不需要清洗的场景。日志样例输入日志样例。解析脚本配置解析脚本，将日志样例清洗为字段显示。说明：配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。清洗字段配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。开启汇聚选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。开启后需要配置汇集相关参数。汇聚粒度开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。输出原始日志选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。申请日志空间共享，如果需要其他自有服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

应用平台 APPSTAGE 数据接入

数据接入服务 DIS-通道列表简介

通道列表简介通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括：名称/ID：用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。状态：通道的运行状态。通道类型：普通和高级。普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小）分区数量：分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输，以提升效率。源数据类型：BLOB、JSON、CSV。生命周期（小时）：存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。单位：小时。创建时间：显示通道创建的时间。格式为：yyyy/MM/dd HH:mm:ss GMT。其中，yyyy表示年份，MM表示月份，dd表示日期，HH表示小时，mm表示分钟，ss表示秒，GMT表示时区。例如：2017/05/09 08:00:00 GMT+08:00。计费模式：目前仅支持按需付费方式。操作：当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。父主题：管理通道

数据接入服务 DIS 管理通道

数据接入服务 DIS-步骤1：开通DIS通道:操作步骤

操作步骤使用注册账户登录DIS控制台。单击管理控制台左上角的，选择区域和项目。单击“购买接入通道”配置相关参数。表1 接入通道参数说明参数参数解释参数示例计费模式按需计费按需计费区域指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。华北-北京1 基本信息通道名称用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 dis-Tido 通道类型普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） - 分区数量分区是DIS数据通道的基本吞吐量单位。 5 分区计算用户可以根据实际需求通过系统计算得到一个建议的分区数量值。单击“分区计算”，弹出“计算所需分区数量”对话框。根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量”选项框中将显示所需的分区数量，此值不可修改。说明：所需分区计算公式：按流量计算所需写分区数：（所得数值需向上取整后作为分区数）普通通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（1*1024KB）高级通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（5*1024KB）按消费程序数量计算读分区数：（消费程序数量/2后的数值需要保留两位小数，然后乘以“按流量计算所需写分区数”，最终取值需向上取整）（消费程序数量/2）*按流量计算所需的写分区数获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时）存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 “源数据类型”选择“CSV”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”、“DWS”。 JSON 自动扩缩容创建通道的同时是否开启自动扩缩容功能。通过单击通过单击或来关闭或开启自动扩缩容开关。说明：用户可在创建通道时定义是否自动扩缩容，也可对已创建的通道修改自动扩缩容属性。自动缩容最小分区数设置自动缩容的分区下限，自动缩容的目标分区数不小于下限值。 - 自动扩容最大分区数设置自动扩容的分区上限，自动扩容的目标分区数不超过上限值。 - 源数据分隔符源数据为CSV格式时的数据分隔符。 - Schema开关创建通道的同时是否为其创建数据Schema。源数据类型为JSON或CSV时可配置该参数。通过单击或来关闭或开启Schema配置开关。说明：若创建通道时，没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema，详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。在右侧文本框中单击，可删除已生成的Avro schema。在右侧文本框中单击，可修改已生成的Avro schema。仅当“Schema配置开关”配置为“开启”：时需要配置此参数。企业项目配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目，请登录企业管理控制台进行创建，详细操作请参考《企业管理用户指南》。 - 现在配置单击“现在配置”，呈现添加标签。添加标签具体请参考管理通道标签。 - 暂不配置暂不配置任何信息。 - 标签标签是通道的标识。为通道添加标签，可以方便用户识别和管理拥有的通道资源。 - 单击“立即购买”，弹出“规格确认”页面。单击“提交”，完成通道接入。

数据接入服务 DIS 入门

应用平台 APPSTAGE-虚拟机日志接入:步骤四：创建日志配置下发任务

步骤四：创建日志配置下发任务在“虚拟机日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。表5 日志配置下发任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”。执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤二：创建日志空间

步骤二：创建日志空间在“虚拟机日志接入”页面，选择左侧导航栏的“日志空间”。单击“申请实时日志空间”。根据界面提示填写日志空间参数。配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。表2 实时日志空间信息参数说明参数名称参数说明空间名称自定义日志空间名称，建议包含日志类型语义。空间描述输入日志空间描述，非必填项。日志类型选择需接入的日志类型。日志大小预计一天的日志量，默认为1GB。开启日志检索如果需要使用日志检索功能，可以打开该开关。检索空间类型选择ClickHouse。原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 TTL 日志索引的生命周期，即可以检索的日志时间范围。配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。表3 实时日志字段信息参数说明参数名称参数说明自定义字段必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。新增自定义环境变量如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。清洗规则选择日志清洗规则。请优先使用算子清洗模式采样，原始日志采样清洗只适用于单纯采样，不需要清洗的场景。日志样例输入日志样例。解析脚本配置解析脚本，将日志样例清洗为字段显示。说明：配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。清洗字段配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。开启汇聚选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。开启后需要配置汇集相关参数。汇聚粒度开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。输出原始日志选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。申请日志空间共享，如果需要其他自有服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤三：创建日志采集配置

步骤三：创建日志采集配置在“虚拟机日志接入”页面，选择左侧导航栏的“日志采集配置”。单击“创建日志采集配置”。配置日志采集参数，配置完成后，单击“确定”。新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。表4 日志采集配置参数说明参数名称参数说明日志项目选择已创建的日志项目，相同服务的不同日志使用同一个日志项目日志空间选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。配置名称自定义日志采集配置名称。配置类型选择日志采集配置类型，建议选择“FILEBEAT”。日志类型输入采集日志类型。日志路径填写实际日志路径，可使用通配符进行匹配。说明：接入容器日志需要根据通配符匹配完成。注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。日志模式选择日志采集模式，是单行模式还是多行模式。是否支持软连接当填写的日志路径为链接路径时，需要开启支持软连接。首行正则表达式日志模式选择多行模式时，需要输入首行正则表达式。日志提取规则根据填写的配置参数会自动生成提取规则。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-CES指标接入:查看监控指标数据

查看监控指标数据以采集弹性云服务器的监控指标为例，查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。在支持监控的服务列表页面查看对应的监控指标参考文档。在参考文档中查看命名空间，弹性云服务器对应的命名空间为“SYS.ECS”。查看监控指标的指标ID和测量对象（维度），例如监控指标CPU使用率的指标ID为“cpu_util”，测量对象为“云服务器”。查看维度的Key和Value，云服务器维度的Key和Value分别为instance_id和云服务器ID。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤四：创建日志配置下发任务

步骤四：创建日志配置下发任务在“虚拟机日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。表5 日志配置下发任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”。执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤三：创建日志采集配置

步骤三：创建日志采集配置在“虚拟机日志接入”页面，选择左侧导航栏的“日志采集配置”。单击“创建日志采集配置”。配置日志采集参数，配置完成后，单击“确定”。新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。表4 日志采集配置参数说明参数名称参数说明日志项目选择已创建的日志项目，相同服务的不同日志使用同一个日志项目日志空间选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。配置名称自定义日志采集配置名称。配置类型选择日志采集配置类型，建议选择“FILEBEAT”。日志类型输入采集日志类型。日志路径填写实际日志路径，可使用通配符进行匹配。说明：接入容器日志需要根据通配符匹配完成。注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。日志模式选择日志采集模式，是单行模式还是多行模式。是否支持软连接当填写的日志路径为链接路径时，需要开启支持软连接。首行正则表达式日志模式选择多行模式时，需要输入首行正则表达式。日志提取规则根据填写的配置参数会自动生成提取规则。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤二：创建日志空间

步骤二：创建日志空间在“虚拟机日志接入”页面，选择左侧导航栏的“日志空间”。单击“申请实时日志空间”。根据界面提示填写日志空间参数。配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。表2 实时日志空间信息参数说明参数名称参数说明空间名称自定义日志空间名称，建议包含日志类型语义。空间描述输入日志空间描述，非必填项。日志类型选择需接入的日志类型。日志大小预计一天的日志量，默认为1GB。开启日志检索如果需要使用日志检索功能，可以打开该开关。检索空间类型选择ClickHouse。原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 TTL 日志索引的生命周期，即可以检索的日志时间范围。配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。表3 实时日志字段信息参数说明参数名称参数说明自定义字段勾选需要接入的日志字段，包括通用字段、容器字段和虚机字段。新增自定义环境变量如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。清洗规则选择日志清洗规则。请优先使用算子清洗模式采样，原始日志采样清洗只适用于单纯采样，不需要清洗的场景。日志样例输入日志样例。解析脚本配置解析脚本，将日志样例清洗为字段显示。说明：配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。清洗字段配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。开启汇聚选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。开启后需要配置汇集相关参数。汇聚粒度开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。输出原始日志选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。申请日志空间共享，如果需要其他自有服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-CES指标接入:查看监控指标数据

查看监控指标数据以采集弹性云服务器的监控指标为例，查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。在支持监控的服务列表页面查看对应的监控指标参考文档。在参考文档中查看命名空间，弹性云服务器对应的命名空间为“SYS.ECS”。查看监控指标的指标ID和测量对象（维度），例如监控指标CPU使用率的指标ID为“cpu_util”，测量对象为“云服务器”。查看维度的Key和Value，云服务器维度的Key和Value分别为instance_id和云服务器ID。

应用平台 APPSTAGE 数据接入

云服务器内容精选

数据接入

7*24

备案

专业服务

退订

建议反馈

售前咨询热线