在linux中调测程序-华为云

MAPREDUCE服务 MRS-调测OpenTSDB应用:操作步骤

操作步骤登录linux环境，创建运行OpenTSDB样例的工作目录，比如“/opt/opentsdb-example”,配置文件存放目录，比如“/opt/opentsdb-example/conf”,并编辑配置文件“/opt/opentsdb-example/conf/opentsdb.properties”使其对应于实际环境中的信息。 mkdir -p /opt/opentsdb-example/conf [root@node-master1rLqO ~]# cat /opt/opentsdb-example/conf/opentsdb.properties tsd_hostname = node-ana-corejnWt tsd_port = 4242 tsd_protocol = https 执行mvn package生成jar包，在工程目录target目录下获取，比如:opentsdb-examples-mrs-xxx-jar-with-dependencies.jar，其中mrs-xxx表示MRS的版本号，将获取的包上传到“/opt/opentsdb-example”目录下。执行Jar包。加载环境变量。 source /opt/client/bigdata_env 认证集群用户（未启用kerberos的集群可跳过此步骤）。人机用户：kinit kerberos用户机机用户： kinit -kt 认证文件路径 kerberos用户运行opentsdb样例程序。 java -cp /opt/opentsdb-example/conf:/opt/opentsdb-example/opentsdb-examples-mrs-xxx-jar-with-dependencies.jar com.huawei.bigdata.opentsdb.examples.OpentsdbExample

MAPREDUCE服务 MRS 在Linux中调测程序

MAPREDUCE服务 MRS-未安装客户端时编译并运行程序:操作步骤

操作步骤进入工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}" clean package 上述打包命令中的{maven_setting_path}为本地Maven的“settings.xml”文件路径。打包成功之后，在工程根目录的target子目录下获取打好的jar包。将导出的Jar包上传至Linux运行环境的任意目录下，例如“/opt/client”。将工程中的“lib”文件夹和“conf”文件夹上传至和Jar包相同的Linux运行环境目录下（其中“lib”目录汇总包含了工程中依赖的所有的Jar包，“conf”目录包含运行jar包所需的集群相关配置文件，请参考准备运行环境）。执行如下命令运行Jar包。 java -cp HDFSTest-XXX.jar:conf/:lib/* com.huawei.bigdata.hdfs.examples.HdfsExample java -cp HDFSTest-XXX.jar:conf/:lib/* com.huawei.bigdata.hdfs.examples.ColocationExample 在运行“com.huawei.bigdata.hdfs.examples.ColocationExample”时，HDFS的配置项“fs.defaultFS”不能配置为“viewfs://ClusterX”。

MAPREDUCE服务 MRS 在Linux中调测程序

MAPREDUCE服务 MRS-编包并运行程序:操作场景

操作场景在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than that in driver %s."。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓

MAPREDUCE服务 MRS 在linux中调测程序

MAPREDUCE服务 MRS-查看Linux调测结果:操作步骤

操作步骤通过运行日志可查看应用提交后的执行详情，例如，hbase-example样例运行成功后，显示信息如下： 2020-07-13 14:36:12,736 INFO [main] basic.CreateTableSample: Create table sampleNameSpace:sampleTable successful! 2020-07-13 14:36:15,426 INFO [main] basic.ModifyTableSample: Modify table sampleNameSpace:sampleTable successfully. 2020-07-13 14:36:16,708 INFO [main] basic.MultiSplitSample: Mmulti split table sampleNameSpace:sampleTable successfully. 2020-07-13 14:36:17,299 INFO [main] basic.PutDataSample: Successfully put 9 items data into sampleNameSpace:sampleTable. 2020-07-13 14:36:18,992 INFO [main] basic.ScanSample: Scan data successfully. 2020-07-13 14:36:20,532 INFO [main] basic.DeletaDataSample: Successfully delete data from table sampleNameSpace:sampleTable. 2020-07-13 14:36:21,006 INFO [main] acl.AclSample: Grant ACL for table sampleNameSpace:sampleTable successfully. 2020-07-13 14:36:27,836 INFO [main] index.CreateIndexSample: Successfully add index for table sampleNameSpace:sampleTable. HBase/Phoenix对接SpringBoot运行结果：在浏览器上访问链接“http://样例运行节点IP地址:8080/hbase/HBaseDemo”和“http://样例运行节点IP地址:8080/hbase/PhoenixDemo”，IDEA正常打印日志，请求返回“finish HBase”和“finish Phoenix"，如下图所示：图1 返回“finish HBase” 图2 返回“finish Phoenix"

MAPREDUCE服务 MRS 在Linux中调测程序

云服务器内容精选

在linux中调测程序

7*24

备案

专业服务

退订

建议反馈

售前咨询热线