MapReduce服务 MRS-安装Python3

时间:2023-11-01 16:25:03

安装Python3

  1. 使用root用户,登录集群外客户端节点,执行如下命令,检查是否安装Python3。

    python3 --version

    • 是,执行配置MRS客户端
    • 否,执行2

  2. 安装Python,此处以Python3.6.6为例。

    1. 执行如下命令,安装依赖:

      yum install zlib zlib-devel zip -y

      yum install gcc-c++

      yum install openssl-devel

      yum install sqlite-devel -y

      如果pandas库需要额外安装如下依赖:

      yum install -y xz-devel

      yum install bzip2-devel

    2. 下载对应Python版本源码:wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
    3. 执行如下命令,解压python源码压缩包,例如下载在“opt”目录下:

      cd /opt

      tar –xvf Python-3.6.6.tgz

    4. 创建Python的安装目录,此处以“/opt/python36”为例:

      mkdir /opt/python36

    5. 编译Python。

      cd /opt/python-3.6.6

      ./configure --prefix=/opt/python36

      执行成功,显示结果如下:

      执行命令:make -j8,执行成功,显示结果如下:

      执行命令:make install,执行成功,显示结果如下:

    6. 执行如下命令,配置python环境。

      export PYTHON_HOME=/opt/python36

      export PATH=$PYTHON_HOME/bin:$PATH

    7. 执行命令python3 --version,显示结果如下,表示Python已经安装完成。

  3. 验证Python3。

    pip3 install helloword

    python3

    import helloworld

    helloworld.say_hello("test")

  4. 测试安装第三方Python库(如pandas, sklearn)。

    pip3 install pandas

    pip3 install backports.lzma

    pip3 install sklearn

  5. 执行命令python3 -m pip list,查看安装结果。

  6. 打包Python.zip

    cd /opt/python36/

    zip -r python36.zip ./*

  7. 创建并上传到HDFS指定目录作为后续使用。

    hdfs dfs -mkdir /user/python

    hdfs dfs -put python36.zip /user/python

support.huaweicloud.com/usermanual-mrs/mrs_01_24554.html