检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。
其中“<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>”是Zookeeper的URL,多个URL以逗号隔开。例如“192.168.81.37:2181,192.168.195
String job = row.getString(2); String name = row.getString(3); Row returnRow = RowFactory.create(age, id, job, name);
“添加入方向规则”窗口配置Windows的IP和21007、21730TCP、21731TCP/UDP、21732TCP/UDP端口。 图3 添加入方向规则 在Manager界面选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索“kafka.config.exp
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job。 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送。 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出。 父主题: Flink Job Pipeline样例程序
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job。 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送。 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出。 父主题: Flink Job Pipeline样例程序
grants 将哪些权限赋给创建表的owner,建议设置为“ALL”。 ALL MetaStore服务的core-site.xml配置文件 表3 参数说明 (3) 参数 描述 默认值 hadoop.proxyuser.spark.hosts 允许Spark用户伪装成来自哪些host的用户,需设为“*”,代表所有节点。
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。 日志聚合功能
Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 问题 添加HBase的Ranger访问权限策略时,在策略中使用通配符搜索已存在的HBase表时,搜索不到已存在的表,并且在/var/log/Bigdata/ranger/rangeradmin/
SQL”区域的“Hive” 在“Masking”页签单击“Add New Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表3 Hive数据脱敏参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions
备NameNode节点长时间未启动,导致启动失败 HDFS的DataNode一直显示退服中 DataNode偶现CPU占用接近100%导致节点无法连接 由于HDFS块丢失导致DataNode退服失败 dfs.datanode.data.dir中定义的磁盘数量等于dfs.datanode
parameters doesn't work if the value is false. zookeeper.sasl.client=true[3] [1] zookeeper.sasl.clientconfig:指定使用jaas.conf文件中的对应配置访问FusionInsight
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。 图1 页面显示异常 回答 Flink中用了foreignObject元素来代理绘制svg矢量图,但是IE 1
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/B
HBase数据读写示例安全认证(单集群场景) 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。HBase应用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为“jaas
nonSecurityModeUrl as parameter. test.test(securityModeUrl);[3] [1]userdir获取的是编译后资源路径下conf目录的路径。 [2]修改restHostName为待访问的RestServer实例所
通过ThriftServer实例操作HBase表 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,进行根据指定namespace获取tablename以及创建表、删除表的操作。
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息。 回答 问题原因: 在IBM JDK下建立的Hive connection时间超过登