基于运维数仓的数据开发与应用-华为云

应用平台 APPSTAGE-方案概述:背景信息

背景信息随着业务数量增多，业务的数据开发需求也逐渐增多，数据开发人员不能快速支撑业务的开发需求，了解业务的人员设计和开发业务的数据资产可以使数据发挥最大价值，因此需要业务人员来主导业务的数据治理开发工作。数据治理的核心就是管理好业务的数据资产，随着业务特性和业务复杂度快速增长，面临的不再是无数据的时代，面临的问题是如何在数据世界中获取到准确且有价值的信息，例如同一个指标在不同的应用场景，哪个才是准确的？这么多数据我的业务监控是否都覆盖了？以及是否有无价值和未合理使用的数据等，因此如何有效管理数据资产成了当前重点关注的问题。

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

应用平台 APPSTAGE-方案概述:解决方案

解决方案本章节介绍如何通过AppStage运维中心完成对业务实时数据的接入、处理、开发与应用。图1 数据开发与应用流程数据接入 AppStage运维中心支持接入虚拟机日志和容器日志，您可以根据日志类型选择日志接入方式。虚拟机日志接入：通过日志配置下发任务部署filebeat，并根据日志采集配置设置，通过filebeat采集虚拟机上的业务日志。容器日志接入：安装daemonset插件，通过daemonset实现容器日志接入。数据处理数据清洗：采集日志时，可以使用清洗算子的方式得到JSON格式数据数据汇聚：当日志量较大且不需要关注原始日志时可以对实时日志进行日志汇聚。数据开发可以使用存入数据库中的数据进行报表开发、实时监控或者异常告警等应用，可以直接写SQL，但是不同数据源写SQL的方式有差异，且有一定难度，AppStage支持使用运维数仓的方式，会自动根据不同数据源生成对应的SQL。创建逻辑主体：使用运维数仓时首先需要创建逻辑主体。创建指标：逻辑主体创建成功后，需要创建数据指标。创建视图：为需要计算的指标创建查询视图，也可以在查询视图的基础上创建持久化视图或长期存储视图。数据应用使用报表对业务进行实时监控：使用运维数仓中的指标或视图创建业务报表，实时监控业务数据。通过日志检索进行问题定位：对已接入的实时日志进行检索定位业务异常问题。数据异常告警：支持通过异常检测上报告警和配置虚拟机异常告警，根据业务需要进行配置。

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

应用平台 APPSTAGE-数据接入:步骤二：创建日志空间

步骤二：创建日志空间在“虚拟机日志接入”页面，选择左侧导航栏的“日志空间”。单击“申请实时日志空间”。根据界面提示填写日志空间参数。配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。表2 实时日志空间信息参数说明参数名称参数说明空间名称自定义日志空间名称，建议包含日志类型语义。空间描述输入日志空间描述，非必填项。日志类型选择需接入的日志类型。日志大小预计一天的日志量，默认为1GB。开启日志检索如果需要使用日志检索功能，可以打开该开关。检索空间类型选择ClickHouse。原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 TTL 日志索引的生命周期，即可以检索的日志时间范围。配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。表3 实时日志字段信息参数说明参数名称参数说明自定义字段勾选需要接入的日志字段，包括通用字段、容器字段和虚机字段。新增自定义环境变量如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。清洗规则选择日志清洗规则。请优先使用算子清洗模式采样，原始日志采样清洗只适用于单纯采样，不需要清洗的场景。日志样例输入日志样例。解析脚本配置解析脚本，将日志样例清洗为字段显示。说明：配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。清洗字段配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。开启汇聚选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。开启后需要配置汇集相关参数。汇聚粒度开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。输出原始日志选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击单击“下一步”。其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。申请日志空间共享，如果需要其他自有服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

应用平台 APPSTAGE-数据接入:步骤四：创建日志配置下发任务

步骤四：创建日志配置下发任务在“虚拟机日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。表5 日志配置下发任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”。执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

应用平台 APPSTAGE-数据接入:步骤三：创建日志采集配置

步骤三：创建日志采集配置在“虚拟机日志接入”页面，选择左侧导航栏的“日志采集配置”。单击“创建日志采集配置”。配置日志采集参数，配置完成后，单击“确定”。新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。表4 日志采集配置参数说明参数名称参数说明日志项目选择已创建的日志项目，相同服务的不同日志使用同一个日志项目日志空间选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。配置名称自定义日志采集配置名称。配置类型选择日志采集配置类型，建议选择“FILEBEAT”。日志类型输入采集日志类型。日志路径填写实际日志路径，可使用通配符进行匹配。说明：接入容器日志需要根据通配符匹配完成。注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。日志模式选择日志采集模式，是单行模式还是多行模式。是否支持软连接当填写的日志路径为链接路径时，需要开启支持软连接。首行正则表达式日志模式选择多行模式时，需要输入首行正则表达式。日志提取规则根据填写的配置参数会自动生成提取规则。

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

应用平台 APPSTAGE-数据接入:步骤四：创建日志配置下发任务

步骤四：创建日志配置下发任务在“虚拟机日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。表5 日志配置下发任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”。执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 基于运维数仓的数据开发与应用

云服务器内容精选

基于运维数仓的数据开发与应用

7*24

备案

专业服务

退订

建议反馈

售前咨询热线