检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和Avro Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties
Flume业务模型配置说明 业务模型配置指导 本章节适用于MRS 3.x及之后版本。 本任务旨在提供Flume常用模块的性能差异,用于指导用户进行合理的Flume业务配置,避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。
概述 “数据导入”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS。
概述 “数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具,支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式: 从HDFS/OBS中导出数据到SFTP服务器
本章节适用于MRS 3.x及后续版本。 前提条件 获取登录“Loader WebUI”的账户和密码。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。
Loader不兼容旧版本客户端,如果重新安装集群或Loader服务,请重新下载并安装客户端,然后正常使用客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 完成Loader客户端的安装。使用非root用户安装Loader客户端时,如果其他用户也需要使用该客户端,则需要
本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业
主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响 切换业务后,写入备集群的数据默认不会同步到主集群。主集群故障修复后,备集群新增的数据需要通过备份恢复的方式同
MRS提供集群内并发修改文件和目录的权限及访问控制的工具,可以通过该工具多并发设置目录中所有文件的副本数、属主、权限、ACL信息等。 约束与限制 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已
管理Loader作业 操作场景 Loader页面支持创建、查看、编辑和删除作业。 本章节适用于MRS 3.x之前版本。 前提条件 已访问Loader页面,参见Loader页面介绍。 创建作业 访问Loader页面,单击“新建作业”。 在“基本信息”填写参数。 在“名称”填写一个作业的名称。
际安装目录修改。 访问Presto的WebUI 方法一(适用于MRS 3.x及之后版本): 登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 ”。
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装集群客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载k
ataNode个数大于或等于该参数值,副本数为该参数值。 10 3~256 loader.fault.tolerance.rate 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3,推荐在作业数据量大的场景下使用。 0 0~1.0 loader
修改集群服务配置参数 MRS 3.x之前版本,用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 默认显示“基础配置”,如果需要修改更多参数,请选择“全部
当您调用API时,收到返回的错误信息,可参照本文使用指数退避方法对请求错误进行重试。 对接KMS时,必须有重试,包括不限于504、502、500、429等错误码,且推荐重试3~5次。针对502和504错误码,推荐超时时间5~8秒。不建议配置过长超时时间,否则会造成客户侧无法响应。 应用原理 当服务侧出现连续错误响
_depth指定嵌套物化视图的最大深度,为了刷新性能上的考虑,当前最大深度为10,默认值为3。 使用约束 1. 不支持预聚合物化视图嵌套。 2. 不支持基于物化视图创建预聚合物化视图。 3. 不支持非定时刷新物化视图指定或者修改刷新方式。 4. 嵌套物化视图最大深度为10,暂不支持更深的嵌套层数。
r,id等于1、3、6的为重复数据,id为2、5的也是重复数据,删除多余的数据的同时需要保留其中的一条。 方法一:使用聚合函数min(expr) 使用聚合函数通过子查询取出id最小的不重复行,然后通过NOT IN删除重复数据。 查询id最小的不重复行: 1 2 3 4 5 6 7
户改密、AD域同步、系统维护(升级和还原)、生成视频、账户同步、账户验证、配置备份、自动运维、导入动态令牌、安装Agent。 任务状态共有3种,分别包括“进行中”、“已完成”、“已停止”。 操作步骤 登录堡垒机系统。 单击右上角,展开任务中心小窗口。 可查看最新三条“执行中”任务。
GPU加速型规格p3 physical.p3.large - - EulerOS 2.3 表3 裸金属服务器兼容性列表(V6) 类型 CentOS Ubuntu EulerOS 通用型规格s6/c6 physical.s6.xlarge physical.c6s.3xlarge physical