-
操作场景 该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。 本章节适用于
MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Server：Spooldir Source+File Channel+HBase Sink。
-
可能原因八：磁盘未做分区 安装isap-agent过程中，界面提示“The directory space of /opt is too small”。 图16 磁盘未做分区 解决方法： 在安装界面中执行以下命令： sh /opt/cloud/isap-agent/action/agent_controller_linux.sh partition 更多详细操作请参见磁盘分区。 重新安装isap-agent。 详细操作请参见安装组件控制器。
-
可能原因七：工作空间不存在或账号权限有误 安装isap-agent过程中，界面提示如下信息： install isap-agent failure
Tip：Please check the workspace status and reinstall 图15 工作空间不存在或账号权限有误报错提示 解决方法： 检查当前工作空间是否存在。 检查
安全云脑 最小权限账户（机机账户）是否配置正确。 详细操作请参见创建非管理员
IAM 账户。
-
可能原因一：待安装isap-agent的E
CS 服务器与存储Agent的OBS桶之间网络不通 图1 ECS主机与OBS网络不通 解决方法： （可选）方法一：将ECS主机与OBS的网络连通。 （可选）方法二：手动将安装脚本以及安装包下载到本地后，再将安装包上传到主机的“/opt/cloud”路径下。 登录OBS管理控制台。 在左侧导航栏选择“桶列表”，并单击目标桶名称，进入桶对象管理页面。 单击目标桶对象名称，进入桶对象详情页面后，下载安装脚本和安装包。 通过远程管理工具（如：SecureFX、WinSCP）远程登录目标云服务器。 将安装包上传到主机的“/opt/cloud”路径下。
-
可能原因三：调用IAMToken请求，获取IAMToken失败 当日志出现如下图所示信息时，则表示调用IAMToken请求，获取IAMToken失败。 图3 获取iamtoken失败 排查步骤和解决方法： 确认执行命令中的IAM账号或用户名是否有误。 图4 IAM用户名和密码 有误，修改命令中的IAM账号或用户名后再次执行安装命令。 无误，继续执行2。 执行vim /etc/salt/iam_token.txt命令，查看“/etc/salt/iam_token.txt”文件检查是否存在。 当出现如下图信息时，则表示存在，继续执行3。 图5 检查文件 如果提示文件不存在，请联系技术支持进行处理。 执行ping命令，检查主机是否可以连通网络地址，如果不通，用户需要打通网络。 图6 检查网络
-
查看任务执行记录 采集任务执行完成之后支持查看任务执行记录，便于用户查看采集任务的执行情况。任务执行记录包括调度开始时间、调度结束时间、耗时等，同时，可通过下载日志查看执行采集任务的日志详情。 在采集任务列表单击任务操作列的“执行记录”。 在“执行记录”页面查看任务执行详情，包含状态、调度开始时间、调度结束时间、耗时等。 单击列表前面的，查看任务子流程的执行情况。 图2 查看任务子流程详情 单击“下载日志”，查看执行采集任务的日志详情。 系统仅保留日志的时间为7天，超过7天后“下载日志”按钮置灰，不可下载，请及时下载日志。
-
更多操作 采集任务创建完成后，您还可以执行如表2的操作。 表2 相关操作 操作 说明 查看采集任务详情 在任务列表中，单击采集任务名称，可查看采集任务的名称、数据连接、执行状态、描述、开始时间、调度周期等信息。 停止采集任务 在任务列表中找到需要立即停止的任务，单击“操作”栏中的“停止”即可立即停止此采集任务。 编辑采集任务 在任务列表中找到需要编辑的任务，单击“操作”栏中的“编辑”修改采集任务。置灰项不可修改且处于调度中的任务不可编辑。 终止采集任务 在任务列表中找到需要终止的任务，单击“操作”栏中的“终止”，将执行中的任务终止。 删除采集任务 在任务列表中找到需要删除的任务，单击“操作”栏中的“删除”可删除此任务。
-
新增采集通道 在采集通道管理页面的分组列表右侧，单击“新增”，进入新增采集通道页面。 在“基础配置”页面中，配置基础信息。 表1 基础配置参数说明 参数名称 参数说明 基础信息 名称 自定义采集通道名称。 通道分组 选择采集通道所属分组。 （可选）描述 输入采集通道描述信息。 来源配置 源名称 选择采集通道来源名称。 选择后系统将自动生成已选择来源的相关信息。 目的配置 目的名称 选择采集通道目的名称。 选择后系统将自动生成已选择目的相关信息。 基础配置完成后，单击页面右下角“下一步”，进入“解析器配置”页面。 在“解析器配置”页面中，选择解析器，选择后，系统将显示已选择解析器的相关信息。 如果无可选解析器或需新增解析器，可以单击“新建”，新建解析器。新增解析器详细操作请参见创建解析器。 解析器配置完成后，单击页面右下角“下一步”，进入“运行节点选择”页面。 在“运行节点选择”页面中，单击“新增”，并在弹出的添加节点框中选择节点后，单击“确认”。 运行参数：节点添加后，如果需要在已添加节点中配置运行参数，请参照以下步骤进行处理： 在节点列表中，单击目标节点所在行“操作”列的“运行参数”按钮。 单击“添加配置”，设置运行键和运行值。 如果用户需要对采集通道的运行参数做优化，此处提供了pipeline.batch.size、pipeline.workers、pipeline.batch.delay三个可选优化参数，用户可以根据自身业务情况进行优化。如果无需优化，直接删除相关的配置即可。 表2 参数配置说明 参数 类型 说明 pipeline.batch.size int 配置每个worker线程每次收集event的数量，配置越大越有效率，但同理，内存开销也会增大，可以在jvm.options中配置增加堆空间。 pipeline.workers int pipeline中的worker线程数配置，默认是CPU的核数。 pipeline.batch.delay int 设置当前pipe提交延迟时间，设置此时间可以提升消息提交次数，提升系统消耗。 移除节点：节点添加后，如需移除，请在节点列表中，单击目标节点所在行“操作”列的“移除”按钮，已添加节点将被移除。 运行节点选择完成后，单击页面右下角“下一步”，进入“通道详情预览”页面。 在“通道详情预览”页面确认配置无误后，单击“保存并执行”。 当采集通道状态为“正常”，表示当前采集通道下发已经全部成功。采集通道状态代表的含义如下表所示： 表3 采集通道状态 监控状态 说明 健康 采集通道下发成功。 异常 采集通道下发部分成功，部分异常。 故障 采集通道下发尚未成功。此状态为心跳上报状态，存在一定延迟，一般下发成功后，30秒之后会恢复监控状态。
-
含义 采集器：定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器（isap-agent）。 节点：安装了组件控制器（isap-agent），并成功通过IAM鉴权后，并被安全云脑纳管的云服务器叫做节点。节点纳管成功后，即可在组件管理中下发采集引擎Logstash。 组件：为了很好地完成业务而定制的软件，目前提供汇聚式收集引擎Logstash用于租户日志收发安全云脑业务。 连接器：Logstash配置的基础概念，主要包括input、output两部分，分别对应源连接器、目的连接器，用于定义采集器Logstash接受数据方式和规范。其中，安全云脑管道pipe连接器可以对接安全云脑，实现租户数据上报安全云脑，安全云脑数据转储到租户的能力。 解析器：Logstash配置的基础概念，主要为Logstash的filter部分，安全云脑解析器是对其filter部分的无码化封装和定制，用户只需在页面上配置解析器规则即可生成原生的filter配置脚本，从而轻松实现将原始日志转化为目标格式。 采集通道：采集通道等价于Logstash的pipeline，在Logstash可以配置多个pipeline，每个pipeline包括input、filter、output部分，每个pipeline为单独的作业，互不影响。在安全云脑租户采集上，可将相同的pipeline部署在多个节点上，并且配置相同的pipeline视为一个采集通道。
-
数据采集流程 图3 数据采集流程 表2 数据采集流程说明 序号 步骤 说明 1 纳管节点 选择或
购买云服务器 ，在云服务器上安装组件控制器，完成节点纳管。 2 安装组件 节点纳管完成之后可以通过管理下发安装引擎Logstash，完成组件安装。 3 配置连接器 配置源和目的连接器，根据需要选择连接器并完成参数配置。 4 （可选）配置解析器 根据需要在页面上进行无码化解析器配置。 5 配置采集通道 配置连接通道，并与节点进行关联，下发Logstash的pipeline配置，完成整个数据采集的配置。 6 采集结果验证 配置完成采集通道之后，验证数据是否采集。 如果是日志接入到安全云脑管道，可以在安全云脑“安全分析”页面查询结果。
-
采集器规格 采集管理中，选作为节点的云服务器规格说明如下表所示： 表1 采集器规格 CPU内核数 内存大小 系统盘 数据盘 参考处理能力 4U 8GB 50GB 100GB 2000 EPS @ 1KB 4000 EPS @ 500B 8U 16GB 50GB 100GB 5000 EPS @ 1KB 10000 EPS @ 500B 16U 32GB 50GB 100GB 10000 EPS @ 1KB 20000 EPS @ 500B 32U 64GB 50GB 100GB 20000 EPS @ 1KB 40000 EPS @ 500B 64U 128GB 50GB 100GB 40000 EPS @ 1KB 80000 EPS @ 500B 说明： 云服务器规格最少为2U4G，目录磁盘至少挂载100G磁盘。 日志量应当与机器规格成比例放大，总体来说，建议按表中规格比例进行放大。如果机器压力较大，建议部署多台采集器，通过采集通道来统一管理，分摊单机日志中转压力。 安装组件控制器前，建议先挂载磁盘，然后使用分盘脚本对磁盘进行分配，确保目录磁盘下有超过100GB的剩余空间，保证采集器Logstash的正常安装和运行。
-
数据采集移除流程 图4 数据采集移除流程 表3 数据采集移除流程说明 序号 步骤 说明 1 删除采集通道 请在采集通道管理页面中，停止并删除Logstash的pipeline配置。 注：相关节点上的所有采集通道都需要进行停止并删除，才可以完整移除组件、注销节点。 2 （可选）删除解析器 如果配置了解析器，请在解析器管理页面中，删除配置的无码化解析器。 3 （可选）删除数据连接 如果新增了数据连接，请在连接管理页面中，删除源和目的连接器。 4 移除组件 删除节点上安装的采集引擎Logstash，移除组件。 5 注销节点 移除组件控制器，完成节点注销。 注：注销节点不会删除ECS和endpointinterface资源，后续如果不再使用数据采集功能，需要手动释放，详细操作请参见如何释放ECS和
VPC终端节点 资源？、删除终端节点。
-
PERF04-04 资源性能数据收集 风险等级 中 关键策略 每个华为云提供的云服务都有一组特定于资源功能的指标，用于呈现有关资源的使用情况。通过收集资源性能数据，可以深入了解工作负载的运行状况和行为。 指标作用： 帮助你了解资源的运行状况和性能， 在
云监控 平台上配置对应的告警策略和配置指标看板。 通过跟踪分析网络路径上的流量来优化网络性能。 相关云服务和工具
云监控服务 CES 父主题： 性能数据采集
-
场景说明 开发应用驱动集成ModuleSDK进行OT数采。（此示例以采集OPCUA为示例） 在节点部署集成了ModuleSDK应用驱动。 配置好数据源模板（可自定义）。 在平台进行数据源配置，以及点位配置下发。 集成ModuleSDK应用驱动对平台下发的配置进行处理。 通过下发信息获取数据源连接，以及点位信息进行数据周期采集。 最后运用ModuleSDK的客户端进行点位数据周期上报。 父主题： 集成ModuleSDK进行数据采集
-
请求参数 参数 必选/可选 类型 位置 描述 app_key 必选 String header 访问
物联网平台 的应用ID，在物联网平台创建应用时由平台分配获得。 Authorization 必选 String header 访问物联网平台的认证信息，值为“Bearer {accessToken}”，其中{accessToken}为调用鉴权接口返回的accessToken。 appId 可选 String query 设备所属的应用ID，当查询授权应用下设备的历史数据时才需要填写。 deviceId 必选 String query 设备ID，用于唯一标识一个设备，在注册设备时由物联网平台分配获得。 gatewayId 必选 String query 网关ID，用于标识一个网关设备。当设备是直连设备时，gatewayId与设备的deviceId一致。当设备是非直连设备时，gatewayId为设备所关联的直连设备（即网关）的deviceId。 pageNo 可选 Integer query 分页查询参数，查询结果分页显示时指定要查看的页信息，默认0，查询第一页，建议通过设置pageNo和pageSize做分页查询。 pageSize 可选 Integer query 分页查询参数，查询结果分页显示时每页显示的记录数，默认1，最大值2000，建议根据设备上报数据的平均大小来设置，保证单次查询返回的包大小不超过16Mb，同时根据单次查询返回的包大小以及网络带宽设置合理的超时时间。 startTime 可选 String query 查询产生时间在startTime之后的历史数据。需要填写UTC时间，格式：yyyyMMdd'T'HHmmss'Z'，如 20151212T121212Z。 您需要根据本地所在时区自己进行时间转换。 endTime 可选 String query 查询产生时间在endTime之前的历史数据。需要填写UTC时间，格式：yyyyMMdd'T'HHmmss'Z'，如 20151212T121212Z。 您需要根据本地所在时区自己进行时间转换。
