检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ite.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 Colocation客户端Shell命令 表3 Colocation客户端Shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup -groupId
PgSQL数据库访问用户。 user Password PgSQL数据库访问密码。 user用户密码 Description 描述信息。 xxx 表3 Kafka数据连接配置参数 参数名称 描述 示例 Link Type 连接类型。 kafka Name 连接配置名称。 kafkalink
选择“租户资源”,单击,打开添加租户的配置页面,参见表1为租户配置属性。 表1 租户参数一览 参数名 描述 集群 选择要创建租户的集群。 名称 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型
选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图3 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean
要使用的HBase表: create 'HBaseSourceExampleTable','rowkey','cf1','cf2','cf3','cf4','cf5','cf6','cf7', 'cf8' 开发思路 创建RDD。 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中。
eam。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。 表3 Spark Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel)
eam。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。 表3 Spark Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel)
getInt( "log.time.threshold", 120); } } 样例3:main()方法创建一个job,指定参数,提交作业到hadoop集群。 public static void main(String[]
输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。 表3 Spark Streaming方法 方法 说明 JavaReceiverInputDStream<java.lang.String> socketStream(java
eam。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。 表3 Spark Streaming常用接口介绍 方法 说明 socketTextStream(hostname, port, storageLevel)
请参考HBase配置Phoenix。 在Windows中运行并调测程序 搭建Windows开发环境及修改样例程序的公共配置,详情请参见1-3。 修改样例工程。 1.修改样例工程“src/main/resources”目录下的“jaas.conf”文件,keyTab、princip
failed! | kafka.authorizer.logger (SimpleAclAuthorizer.scala:170) 解决方法参考3。 解决办法 配置自定义配置“allow.everyone.if.no.acl.found”参数为“true”,重启Kafka服务。 采用具有权限用户登录。
ite.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 Colocation客户端Shell命令 表3 Colocation客户端Shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup -groupId
LanguageManual+Authorization。 Hive在安全模式下需要进行权限管理,在普通模式下无需进行权限管理。 MRS 3.x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。
int); 查看表Location信息: desc formatted d; 如下图则表示表“d”的Location已经在指定的OBS路径下。 图3 查看表d的Location 进入spark-beeline: spark-beeline 创建表: create table e(a int);
在FusionInsight Manager的告警列表中,查看1中的告警实例是否有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。
若当前集群中有隔离的故障节点,则更换CA证书会跳过该节点。后续隔离节点取消隔离后,需要重装主机,以保证隔离节点和集群使用相同的CA证书。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 更换过程中MRS系统需要重启,此时系统无法访问且无法提供服务。 更换证书以后,所有组件和Manager的模块使用的证书将自动更新。
目的端集群HDFS基础配置“dfs.namenode.rpc.port”参数值。 MRS 3.2.0及之后版本需要配置该参数。 源端路径 参考3中获取的“备份路径”,填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 最大map数 执行
设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar包保存在Loader服
tgres数据库进行说明。 约束与限制 当外置元数据到MySQL后,Hive仅表名、字段名、表描述支持中文,其余暂不支持。 适用于MRS 3.x及以后版本。 步骤一:安装数据库并上传驱动包 安装开源MySQL或Postgres数据库。 数据库安装节点需与集群处于同一网段,能互相访问。