网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于Kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致应用程序在
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
JDBC客户端代码 在网络拥塞的情况下,这个特性可以避免客户端由于无限等待服务端的返回而挂起。
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站。 http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下: org.apache.hadoop.mapreduce.Job
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。
将各服务端节点的“original-spark-examples_2.12-3.1.1-xxx.jar”包删除。
使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 回答 问题原因: 在IBM JDK下建立的JDBC connection时间超过登录用户的认证超时时间
如果要卸载HBase服务,卸载前请将此参数值改回“false”)。 创建HBase表,构造数据,列需要包含key,modify_time,valid。
Spark同步HBase数据到CarbonData(Java) 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 问题 IntelliJ IDEA中远程提交拓扑,执行Main方法时IntelliJ IDEA报如下错 : Command line is too long. Shorten
方式二:将Kafka的阈值调大,建议在FusionInsight Manager中的Kafka服务进行参数设置,将socket.request.max.bytes参数值根据应用场景,适当调整。 父主题: Spark应用开发常见问题
方式二:将Kafka的阈值调大,建议在FusionInsight Manager中的Kafka服务进行参数设置,将socket.request.max.bytes参数值根据应用场景,适当调整。 父主题: Spark应用开发常见问题
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。
未安装客户端时编译并运行HBase应用 HBase应用程序支持在未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。 当
MapReduce Java API接口介绍 MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。