MAPREDUCE服务 MRS-开源sqoop-shell工具使用指导:sqoop1对接MRS服务

时间:2023-11-30 14:23:53

sqoop1对接MRS服务

  1. 下载开源Sqoop,http://www.apache.org/dyn/closer.lua/sqoo:p/1.4.7
  2. 将下载好的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 包放入MRS集群master节点的/opt/sqoop目录下并解压。

    tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

  3. 进入解压完成的目录,修改配置。

    cd /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/conf

    cp sqoop-env-template.sh sqoop-env.sh

    vi sqoop-env.sh

    添加配置:

    export HADOOP_COMMON_HOME=/opt/client/HDFS/hadoop

    export HADOOP_MAPRED_HOME=/opt/client/HDFS/hadoop

    export HIVE_HOME=/opt/Bigdata/MRS_1.9.X/install/FusionInsight-Hive-3.1.0/hive(请按照实际路径填写)

    export HIVE_CONF_DIR=/opt/client/Hive/config

    export HCAT_HOME=/opt/client/Hive/HCatalog

  1. 添加系统变量,将“SQOOP_HOME”添加到PATH中。

    vi /etc/profile

    添加以下信息:

    export SQOOP_HOME=/opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0

    export PATH=$PATH:$SQOOP_HOME/bin

  2. 执行以下命令复制jline-2.12.jar文件到lib文件下。

    cp /opt/share/jline-2.12/jline-2.12.jar /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib

  3. 执行以下命令,在文件中添加下列配置。

    vim $JAVA_HOME/jre/lib/security/java.policy

    permission javax.management.MBeanTrustPermission "register";

  4. 执行以下命令,实现sqoop1对接MRS服务。

    source /etc/profile

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1162.html