调测程序-华为云

MAPREDUCE服务 MRS-在Linux中调测Hive JDBC样例程序:操作步骤

操作步骤编译JDBC样例程序：在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“-with-dependencies”字段的jar包。运行JDBC样例程序：在Linux上创建一个目录作为运行目录，如“/opt/jdbc_example”，将1中生成的“target”目录下包名中含有“-with-dependencies”字段的Jar包放进该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。执行以下命令运行Jar包： chmod +x /opt/jdbc_example -R cd /opt/jdbc_example java -jar hive-jdbc-example-1.0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。在命令行终端查看样例代码中的HQL所查询出的结果，运行成功会显示如下信息： Create table success! _c0 0 Delete table success!

MAPREDUCE服务 MRS 调测程序

MAPREDUCE服务 MRS-编包并运行程序:操作场景

操作场景在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。使用Python开发的Spark应用程序无需打包成jar，只需将样例工程拷贝到编译机器上即可。用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different version %s than that in driver %s."。用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓

MAPREDUCE服务 MRS 在linux中调测程序

MAPREDUCE服务 MRS-在Linux中调测程序

在Linux中调测程序在运行调测环境上创建一个目录作为运行目录，如“/opt/impala_examples”，并在该目录下创建子目录“conf”。执行mvn package，在样例工程target目录下获取jar包，比如: impala-examples-mrs-2.1-jar-with-dependencies.jar ，拷贝到“/opt/impala_examples”下。开启Kerberos认证的安全集群下把从准备MRS应用开发用户获取的“user.keytab”和“krb5.conf”拷贝到“/opt/impala_examples/conf”下。在Linux环境下执行如下命令运行样例程序。 chmod +x /opt/impala_examples -R cd /opt/impala_examples java -cp impala-examples-mrs-2.1-jar-with-dependencies.jar com.huawei.bigdata.impala.example.ExampleMain 在命令行终端查看样例代码中的Impala SQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table success! 父主题：调测程序

MAPREDUCE服务 MRS 调测程序

MAPREDUCE服务 MRS-编包并运行程序:操作步骤

操作步骤获取样例代码。下载样例工程的Maven工程源码和配置文件，请参见获取代码样例工程。将样例代码导入IDEA中。获取配置文件。从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。在HDFS中上传数据。在Liunx中新建文本文件data，将如下数据内容保存到data文件中。 Miranda,32 Karlie,23 Candice,27 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。在Linux系统HDFS客户端使用命令hadoop fs -put data /data，上传数据文件。在样例代码中配置相关参数。将加载数据的sql语句改为“LOAD DATA INPATH 'hdfs:/data/data' INTO TABLE CHILD”。在程序运行时添加运行参数，分别为hive-site.xml与spark-defaults.conf文件的路径。运行程序。

MAPREDUCE服务 MRS 在Windows中调测程序

MAPREDUCE服务 MRS-查看调测结果:操作步骤

操作步骤运行结果会有如下成功信息： ... 2020-01-09 10:43:49,338 INFO [main] examples.HBaseExample: Entering dropTable. 2020-01-09 10:43:49,341 INFO [main] client.HBaseAdmin: Started disable of hbase_sample_table 2020-01-09 10:43:50,080 INFO [main] client.HBaseAdmin: Operation: DISABLE, Table Name: default:hbase_sample_table, procId: 41 completed 2020-01-09 10:43:50,550 INFO [main] client.HBaseAdmin: Operation: DELETE, Table Name: default:hbase_sample_table, procId: 43 completed 2020-01-09 10:43:50,550 INFO [main] examples.HBaseExample: Drop table successfully. 2020-01-09 10:43:50,550 INFO [main] examples.HBaseExample: Exiting dropTable. 2020-01-09 10:43:50,550 INFO [main] client.ConnectionImplementation: Closing master protocol: MasterService 2020-01-09 10:43:50,556 INFO [main] examples.TestMain: -----------finish to test HBase API------------------- 在Windows环境运行样例代码时会出现下面的异常，但是不影响业务： java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 日志说明日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATAL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO #log4j.logger.org.apache.hadoop.fs.FSNamesystem=DEBUG log4j.logger.org.apache.hadoop.hbase=INFO # Make these two classes DEBUG-level. Make them DEBUG to see more zk debug. log4j.logger.org.apache.hadoop.hbase.zookeeper.ZKUtil=INFO log4j.logger.org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher=INFO

MAPREDUCE服务 MRS 在Windows中调测程序

MAPREDUCE服务 MRS-查看Windows调测结果:操作步骤

MAPREDUCE服务 MRS 在Windows下调测程序

MAPREDUCE服务 MRS-查看Linux调测结果

MAPREDUCE服务 MRS 在Linux下调测程序

MAPREDUCE服务 MRS-查看Windows调测结果:操作步骤

操作步骤运行结果会有如下成功信息： 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample: Create table sampleNameSpace:sampleTable successful! 2016-07-13 14:36:15,426 INFO [main] basic.ModifyTableSample: Modify table sampleNameSpace:sampleTable successfully. 2016-07-13 14:36:16,708 INFO [main] basic.MultiSplitSample: Mmulti split table sampleNameSpace:sampleTable successfully. 2016-07-13 14:36:17,299 INFO [main] basic.PutDataSample: Successfully put 9 items data into sampleNameSpace:sampleTable. 2016-07-13 14:36:18,992 INFO [main] basic.ScanSample: Scan data successfully. 2016-07-13 14:36:20,532 INFO [main] basic.DeletaDataSample: Successfully delete data from table sampleNameSpace:sampleTable. 2016-07-13 14:36:21,006 INFO [main] acl.AclSample: Grant ACL for table sampleNameSpace:sampleTable successfully. 2016-07-13 14:36:27,836 INFO [main] index.CreateIndexSample: Successfully add index for table sampleNameSpace:sampleTable. 在Windows环境运行样例代码时会出现下面的异常，但是不影响业务： java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. HBase/Phoenix对接SpringBoot运行结果：在浏览器上访问链接“http://样例运行节点IP地址:8080/hbase/HBaseDemo”和“http://样例运行节点IP地址:8080/hbase/PhoenixDemo”，IDEA正常打印日志，请求返回“finish HBase”和“finish Phoenix"，如下图所示：图1 返回“finish HBase” 图2 返回“finish Phoenix" 日志说明日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO,console ... log4j.logger.org.apache.zookeeper=INFO #log4j.logger.org.apache.hadoop.fs.FSNamesystem=DEBUG log4j.logger.org.apache.hadoop.hbase=INFO # Make these two classes DEBUG-level. Make them DEBUG to see more zk debug. log4j.logger.org.apache.hadoop.hbase.zookeeper.ZKUtil=INFO log4j.logger.org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher=INFO ...

MAPREDUCE服务 MRS 在Windows中调测程序

MAPREDUCE服务 MRS-查看Linux调测结果:操作步骤

操作步骤通过运行日志可查看应用提交后的执行详情，例如，hbase-example样例运行成功后，显示信息如下： 2020-07-13 14:36:12,736 INFO [main] basic.CreateTableSample: Create table sampleNameSpace:sampleTable successful! 2020-07-13 14:36:15,426 INFO [main] basic.ModifyTableSample: Modify table sampleNameSpace:sampleTable successfully. 2020-07-13 14:36:16,708 INFO [main] basic.MultiSplitSample: Mmulti split table sampleNameSpace:sampleTable successfully. 2020-07-13 14:36:17,299 INFO [main] basic.PutDataSample: Successfully put 9 items data into sampleNameSpace:sampleTable. 2020-07-13 14:36:18,992 INFO [main] basic.ScanSample: Scan data successfully. 2020-07-13 14:36:20,532 INFO [main] basic.DeletaDataSample: Successfully delete data from table sampleNameSpace:sampleTable. 2020-07-13 14:36:21,006 INFO [main] acl.AclSample: Grant ACL for table sampleNameSpace:sampleTable successfully. 2020-07-13 14:36:27,836 INFO [main] index.CreateIndexSample: Successfully add index for table sampleNameSpace:sampleTable. HBase/Phoenix对接SpringBoot运行结果：在浏览器上访问链接“http://样例运行节点IP地址:8080/hbase/HBaseDemo”和“http://样例运行节点IP地址:8080/hbase/PhoenixDemo”，IDEA正常打印日志，请求返回“finish HBase”和“finish Phoenix"，如下图所示：图1 返回“finish HBase” 图2 返回“finish Phoenix"

MAPREDUCE服务 MRS 在Linux中调测程序

MAPREDUCE服务 MRS-调测Producer样例:在Windows中调测程序

在Windows中调测程序确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。通过IntelliJ IDEA可直接运行Producer.java，如图1所示：图1 运行Producer.java运行运行后弹出控制台窗口，可以看到，Producer正在向默认topic（example-metric1）发送消息，每发送10条，打印一条日志。图2 Producer运行窗口

MAPREDUCE服务 MRS 调测程序

MapReduce服务 MRS-查看调测结果:操作步骤

操作步骤查看Flink应用运行结果数据。当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。当执行结果输出到文件或者其他由Flink应用程序指定途径，您可以通过指定文件或其他途径获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例：查看Checkpoint结果和文件结果在flink的“taskmanager.out”文件中，用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。有两种方式查看Checkpoint文件。若将checkpoint的快照信息保存到HDFS，则通过执行hdfs dfs -ls hdfs://hacluster/flink-checkpoint/命令查看。若将checkpoint的快照信息保存到本地文件，则可直接登录到各个节点查看。查看Stream SQL Join结果结果在flink的“taskmanager.out”文件中，用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入Flink Web页面。查看程序执行的打印结果：找到对应的Task Manager，查看对应的Stdout标签日志信息。查看Flink日志获取应用运行情况有两种方式获取Flink日志，分别为通过Flink Web页面或者Yarn的日志 Flink Web页面可以查看Task Managers、Job Manager部分的日志。 Yarn页面主要包括了Job Manager日志以及GC日志等。页面入口：在YARN的Web UI界面，查找到对应的Flink应用程序。单击应用信息的第一列ID，然后选择Logs列点击进去即可打开。

MapReduce服务 MRS 调测程序

MapReduce服务 MRS-JDBC客户端运行及结果查看

JDBC客户端运行及结果查看执行mvn package 打出jar包，在工程目录target目录下获取，比如:hive-examples-1.0.jar。在运行调测环境上创建一个目录作为运行目录，如“/opt/hive_examples”(Linux环境)，并在该目录下创建子目录“conf”。将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_examples/conf下，未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。复制${HIVE_HOME}/../config/hiveclient.properties文件到/opt/hive_examples/conf目录下。 cd /opt/hive_examples/confcp /opt/client/Hive/config/hiveclient.properties . 准备样例程序相关依赖jar包。在调测环境上创建一个目录作为存放依赖jar包的目录，如"/opt/hive_examples/lib"(Linux环境)，将${HIVE_HOME}/lib/下面的包全部复制到该目录下，然后删除里面的derby-10.10.2.0.jar(jar包版本号以实际为准)。 mkdir /opt/hive_examples/libcp ${HIVE_HOME}/lib/* /opt/hive_examples/librm -f /opt/hive_examples/lib/derby-10.10.2.0.jar 在Linux环境下执行如下命令运行样例程序。 chmod +x /opt/hive_examples -R cd /opt/hive_examples source /opt/client/bigdata_envjava -cp .:hive-examples-1.0.jar:/opt/hive_examples/conf:/opt/hive_examples/lib/*:/opt/client/HDFS/hadoop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success!_c00Delete table success! 父主题：在Linux中调测程序

MapReduce服务 MRS 在Linux中调测程序

云服务器内容精选

调测程序

7*24

备案

专业服务

退订

建议反馈

售前咨询热线