检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"mrs:cluster:resize" ] } ] } 示例3:授权用户创建集群、创建并执行作业、删除单个作业,但不允许用户删除集群的权限。 { "Version": "1.1", "Statement":
'obs://mrs-word001/table/'; 执行如下命令查询所有表,返回结果中存在表test,即表示访问OBS成功。 show tables; 图3 Spark2x验证返回已创建的表名 使用“Ctrl + C”退出spark beeline。 使用spark sql对接OBS 使用安装客户端用户登录客户端安装节点。
在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
集群内置的远端集群的NameService名称:haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4;也可输入其他已配置的远端集群NameService名称。 IP 模式 目标IP的IP地址模式。系统会根据集群网络类
如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 是,执行9。 否,执行3。 图1 HBase的WebUI 负载均衡 以root用户登录HBase客户端所在节点。 集群节点登录可参考登录MRS集群节点。 进入客户端安装目录。
start CDL同步任务支持的数据类型及映射关系 主要介绍CDL同步任务支持的数据类型,以及源端数据库数据类型跟Spark数据类型的映射关系。 表3 PgSQL和Spark数据类型映射关系 PostgreSQL数据类型 Spark(Hudi)数据类型 int2 int int4 int int8
创建Hive表并载入数据。 在Linux系统Hive客户端使用命令beeline。 在Hive beeline交互窗口创建数据表person,该表有3个字段:name/gender/stayTime,使用命令CREATE TABLE person(name STRING, gender STRING
资源池YARN组件可用虚拟CPU核心数百分比。是可用虚拟CPU核心数与总虚拟CPU核心数比值。 取值范围为[0~100]。 在添加资源计划时,可以参考表3配置相应的参数。 表3 资源计划配置项说明 配置项 示例 说明 生效日期 周一 资源计划的生效日期。默认是每日生效,也可以选择周一至周日任意一天或几天生效。
集群内置的远端集群的NameService名称:haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4;也可输入其他已配置的远端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网
数据分设”和“管控分设”,具体详情请参考MRS集群部署类型说明选择。 管控合设 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启
0-M15.jar:/opt/client/HDFS/hadoop/share/hadoop/common/lib/commons-math3-3.1.1.jar:/opt/client/HDFS/hadoop/share/hadoop/common/lib/jackson-xc-1
BUCKETS 100 PROPERTIES ( "replication_allocation" = "tag.location.default: 3" ); LOAD LABEL brokerload_test_label001 ( DATA INFILE("obs://并行文件系统名称/test/test_data
混合集群:既可以用来做离线数据分析,又可以用来做流处理任务,提供Hadoop体系的组件和流式处理组件。 自定义:根据业务需求,可以灵活搭配所需组件(MRS 3.x及后续版本)。 MRS集群节点类型包括Master节点、Core节点和Task节点。 Master节点:集群中的管理节点。分布式系统的M
tition可以视为是逻辑上最小的管理单元。数据的导入与删除,只能针对一个Partition进行。 数据模型 Doris的数据模型主要分为3类:Aggregate、Unique、Duplicate。 Aggregate模型 导入数据时,对于Key列相同的行会聚合成一行,而Valu
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 HDFS的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
rows) Query 20230228_064136_00023_9kpap@default@HetuEngine, FINISHED, 3 nodes Splits: 36 total, 36 done (100.00%) 0:02 [2 rows, 35B] [0 rows/s
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4
默认值)。 tls_minimum_protocol_version:SSL/TLS的最小协议版本。 接受的值是: 'ssl2'、'ssl3'、'tls1.0'、'tls1.1'、'tls1.2'(默认值)。 tls_require_cert:SSL/TLS对端证书校验行为。 接