将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
/kafka-console-consumer.sh --bootstrap-server {ip:port} --topic output --consumer.config ..
/kafka-console-consumer.sh --bootstrap-server {ip:port} --topic output --consumer.config ..
[root@10-10-144-2 client]# kafka-console-consumer.sh --topic topic_acl --bootstrap-server 10.5.144.2:21007 --consumer.config /opt/client/Kafka
/mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置。 是 日志信息丢失。 /tenant 添加租户时创建 配置租户在HDFS中的存储目录,系统默认将自动在“/tenant”目录中以租户名称创建文件夹。
hetuserver-client-logging.properties -jar /opt/client/HetuEngine/hetuserver/jars/hetu-cli-*-executable.jar --catalog hive --deployment-mode on_yarn --server
搜索配置项“ipc.server.read.threadpool.size”,查看其值。 如果值小于5,则设置为5。 单击“保存”,单击“确定”保存相关配置。
路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。
表1 Oozie日志列表 日志类型 日志文件名 描述 运行日志 jetty.log Oozie内置jetty服务器日志,处理OozieServlet的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志
表1 Oozie日志列表 日志类型 日志文件名 描述 运行日志 jetty.log Oozie内置jetty服务器日志,处理OozieServlet的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志
服务器登录:选择“用户名和密码”并填写相应的用户名及密码。 单击“新建数据集”,在弹出的页面参考下图修改保存路径及文件名称,单击“确定”保存修改路径及文件名称。
同时,并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行步骤 6。 服务或实例重启过程中,Loader不再对外提供服务,无法提交作业,对正在运行的作业没有影响。
每个集群的两个安全组,需分别添加对端集群的两个安全组入方向规则,允许安全组中所有弹性云服务器全部协议全部端口的访问请求。 启用MRS集群间拷贝功能 登录其中一个集群的Manager界面。 登录集群Manager界面请参考访问MRS集群Manager。