华为云用户手册

  • 引擎版本一:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64 镜像地址: swr.{region_id}.myhuaweicloud.com/atelier/tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220715093657-9446c6a 镜像构建时间:20220715093657(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:euleros 2.8.3 cann:5.1.0 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-1.15.0/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-1.15.0/lib/python3.7/site-packages 部分pip安装包列表: Cython 0.29.14Flask 2.0.1grpcio 1.26.0grpcio-tools 1.26.0gunicorn 20.1.0h5py 2.10.0hccl 0.1.0huaweicloud-sdk-python-modelarts-dataset 0.1.5idna 2.10image 1.5.28imageio 2.9.0ipykernel 6.7.0Jinja2 3.0.1Keras 2.3.1matplotlib 3.5.1mmcv 0.2.14modelarts-mindspore-model-server 1.0.4moxing-framework 2.0.1.rc0.ffd1c0c8moxing-tensorflow 2.0.0.rc2.65f98f7dnumpy 1.17.5opencv-python 4.2.0.34pandas 0.24.2Pillow 9.2.0pip 22.1.2protobuf 3.11.3psutil 5.7.0ptyprocess 0.7.0pycocotools 2.0.0PyYAML 5.3.1requests 2.27.1scikit-image 0.17.2scikit-learn 0.20.0scipy 1.3.3setuptools 63.1.0tensorboard 1.15.0tensorflow 1.15.0tensorflow-estimator 1.15.1tensorflow-probability 0.10.1tqdm 4.46.1wheel 0.37.1zipp 3.8.1... 部分apt安装包列表: ca-certificates.noarch cmake.aarch64compat-openssl10.aarch64curl.aarch64dos2unix.aarch64gcc.aarch64gcc-c++.aarch64gdb.aarch64gzip.aarch64iproute.aarch64iptables.aarch64iptables-libs.aarch64iputils.aarch64libXext.aarch64libXrender.aarch64 libbabeltrace.aarch64 libblkid.aarch64 libcap.aarch64 libcap-ng.aarch64 libgcc.aarch64 libssh.aarch64 make.aarch64 net-tools.aarch64 nettle.aarch64 nginx.aarch64 openssl.aarch64 openssl-libs.aarch64 openssl-pkcs11.aarch64 seccomponent.aarch64 security-tool.aarch64 tar.aarch64 unzip.aarch64 vim-minimal.aarch64 wget.aarch64 zip.aarch64 zlib.aarch64 zlib-devel.aarch64 ...
  • 引擎版本三:tensorflow_2.6.0-cuda_11.2-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region_id}.myhuaweicloud.com/aip/tensorflow_2_6:tensorflow_2.6.0-cuda_11.2-py_3.7-ubuntu_18.04-x86_64-20220524162601-50d6a18 镜像构建时间:20220524162601(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:11.2.0 cudnn:8.1.1.33 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-2.6.0/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-2.6.0/lib/python3.7/site-packages 部分pip安装包列表: Cython 0.29.21requests 2.27.1easydict 1.9tensorboardX 2.0tensorflow 2.6.0Flask 2.0.1grpcio 1.46.1gunicorn 20.1.0idna 3.3tensorflow-estimator 2.9.0pandas 1.1.5Pillow 9.0.1lxml 4.8.0matplotlib 3.5.1scikit-learn 0.22.1psutil 5.8.0PyYAML 5.1numpy 1.17.0opencv-python 4.1.2.30protobuf 3.20.1pip 21.2.2...
  • 引擎版本一:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region_id}.myhuaweicloud.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221118143845-d65d817 镜像构建时间:20220713110657 (yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:10.2.89 cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/PyTorch-1.8/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/PyTorch-1.8/lib/python3.7/site-packages 部分pip安装包列表: Cython 0.27.3easydict 1.9Flask 2.0.1fonttools 4.34.4gunicorn 20.1.0ipykernel 6.7.0Jinja2 3.0.1lxml 4.9.1matplotlib 3.5.1mmcv 1.2.7moxing-framework 2.1.0.5d9c87c8numpy 1.19.5opencv-python 4.1.2.30pandas 1.1.5Pillow 9.2.0pip 22.1.2protobuf 3.20.1psutil 5.8.0PyYAML 5.1requests 2.27.1scikit-learn 0.22.1scipy 1.5.2sklearn 0.0tensorboard 2.1.1tensorboardX 2.0torch 1.8.0torchtext 0.5.0torchvision 0.9.0tornado 6.2tqdm 4.64.0traitlets 5.3.0typing_extensions 4.3.0urllib3 1.26.10watchdog 2.0.0wcwidth 0.2.5Werkzeug 2.1.2wheel 0.37.1yapf 0.32.0zipp 3.8.0... 部分apt安装包列表: aptca-certificatescmakecudacurlethtoolfdiskffmpegg++gccgitgpggraphvizlibsm6libxext6libopencv-devlibxrender-devlibatlas3-baselibnuma-devlibcap-devlibssl-devliblz-devlibbz2-devliblzma-devlibboost-graph-devlibsndfile1libcurl4-openssl-devlibopenblas-baseliblapack3libopenblas-devlibprotobuf-devlibleveldb-devlibsnappy-devlibhdf5-serial-devliblapacke-devlibgflags-devlibgoogle-glog-devliblmdb-devlibatlas-base-devlibrdmacm1libcap2-binlibpq-devmysql-commonnet-toolsnginxopenslide-toolsopenssh-clientopenssh-serveropenssh-sftp-serveropensslprotobuf-compilerredis-serverredis-toolsrpmtartofrodosunzipvimwgetzipzlib1g-dev...
  • 引擎版本一:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region_id}.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20221121111529-d65d817 镜像构建时间:20220713110657(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:10.1.243 cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-2.1/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-2.1/lib/python3.7/site-packages 部分pip安装包列表: Cython 0.29.21easydict 1.9Flask 2.0.1grpcio 1.47.0gunicorn 20.1.0h5py 3.7.0ipykernel 6.7.0Jinja2 3.0.1lxml 4.9.1matplotlib 3.5.1moxing-framework 2.1.0.5d9c87c8numpy 1.19.5opencv-python 4.1.2.30pandas 1.1.5Pillow 9.2.0pip 22.1.2protobuf 3.20.1psutil 5.8.0PyYAML 5.1requests 2.27.1scikit-learn 0.22.1scipy 1.5.2sklearn 0.0tensorboard 2.1.1tensorboardX 2.0tensorflow 2.1.0tensorflow-estimator 2.1.0wheel 0.37.1zipp 3.8.0... 部分apt安装包列表: aptca-certificatescmakecudacurlethtoolfdiskffmpegg++gccgitgpggraphvizlibsm6libxext6libopencv-devlibxrender-devlibatlas3-baselibnuma-devlibcap-devlibssl-devliblz-devlibbz2-devliblzma-devlibboost-graph-devlibsndfile1libcurl4-openssl-devlibopenblas-baseliblapack3libopenblas-devlibprotobuf-devlibleveldb-devlibsnappy-devlibhdf5-serial-devliblapacke-devlibgflags-devlibgoogle-glog-devliblmdb-devlibatlas-base-devlibrdmacm1libcap2-binlibpq-devmysql-commonnet-toolsnginxopenslide-toolsopenssh-clientopenssh-serveropenssh-sftp-serveropensslprotobuf-compilerredis-serverredis-toolsrpmtartofrodosunzipvimwgetzipzlib1g-dev...
  • 引擎版本二: tensorflow_1.15.5-cuda_11.4-py_3.8-ubuntu_20.04-x86_64 镜像地址:swr.{region_id}.myhuaweicloud.com/aip/tensorflow_1_15:tensorflow_1.15.5-cuda_11.4-py_3.8-ubuntu_20.04-x86_64-20220524162601-50d6a18 镜像构建时间:20220524162601(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 20.04.4 LTS cuda:11.4.3 cudnn:8.2.4.15 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-1.15.5/bin/python, python 3.8.13 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-1.15.5/lib/python3.8/site-packages 部分pip安装包列表: Cython 0.29.21psutil 5.9.0matplotlib 3.5.1protobuf 3.20.1tensorflow 1.15.5+nvFlask 2.0.1grpcio 1.46.1gunicorn 20.1.0Pillow 9.0.1tensorboard 1.15.0PyYAML 6.0pip 22.0.4lxml 4.7.1numpy 1.18.5tensorflow-estimator 1.15.1...
  • 引擎版本二:pytorch_1.8.2-cuda_11.1-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region_id}.myhuaweicloud.com/aip/pytorch_1_8:pytorch_1.8.2-cuda_11.1-py_3.7-ubuntu_18.04-x86_64-20220524162601-50d6a18 镜像构建时间:20220524162601(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:11.1.1 cudnn:8.0.5.39 Python解释器路径及版本:/home/ma-user/anaconda3/envs/PyTorch-1.8.2/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/PyTorch-1.8.2/lib/python3.7/site-packages 部分pip安装包列表: Cython 0.27.3mmcv 1.2.7easydict 1.9tensorboardX 2.0torch 1.8.2+cu111Flask 2.0.1pandas 1.1.5gunicorn 20.1.0PyYAML 5.1torchaudio 0.8.2Pillow 9.0.1psutil 5.8.0lxml 4.8.0matplotlib 3.5.1torchvision 0.9.2+cu111pip 21.2.2protobuf 3.20.1numpy 1.17.0opencv-python 4.1.2.30scikit-learn 0.22.1... 部分apt安装包列表: aptca-certificatescmakecudacurlethtoolfdiskffmpegg++gccgitgpggraphvizlibsm6libxext6libopencv-devlibxrender-devlibatlas3-baselibnuma-devlibcap-devlibssl-devliblz-devlibbz2-devliblzma-devlibboost-graph-devlibsndfile1libcurl4-openssl-devlibopenblas-baseliblapack3libopenblas-devlibprotobuf-devlibleveldb-devlibsnappy-devlibhdf5-serial-devliblapacke-devlibgflags-devlibgoogle-glog-devliblmdb-devlibatlas-base-devlibrdmacm1libcap2-binlibpq-devmysql-commonnet-toolsnginxopenslide-toolsopenssh-clientopenssh-serveropenssh-sftp-serveropensslprotobuf-compilerredis-serverredis-toolsrpmtartofrodosunzipvimwgetzipzlib1g-dev...
  • 引擎版本二:mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64 镜像地址:swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220715093657-9446c6a 镜像构建时间:20220715093657(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:euleros 2.8.3 cann:5.1.0 Python解释器路径及版本:/home/ma-user/anaconda3/envs/MindSpore/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/MindSpore/lib/python3.7/site-packages 部分三方包版本信息列表: Cython 0.29.14dask 2.18.1hccl 0.1.0mmcv 0.2.14npu-bridge 1.15.0Flask 2.0.1grpcio 1.47.0gunicorn 20.1.0idna 2.10PyYAML 5.3.1imageio 2.9.0imgaug 0.2.6lxml 4.4.2matplotlib 3.5.1psutil 5.7.0scikit-image 0.17.2numba 0.47.0numpy 1.21.2opencv-python 4.2.0.34requests 2.27.1pandas 1.1.3Pillow 9.2.0pip 22.1.2protobuf 4.21.2scikit-learn 0.20.0npu-device 0.1mindinsight 1.7.0mindspore-ascend 1.7.0... 历史版本:无
  • 引擎版本一:tensorflow_1.15.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64 镜像地址: swr.cn-north-4.myhuaweicloud.com/atelier/tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220715093657-9446c6a 镜像构建时间:20220715093657(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:euleros 2.8.3 cann:5.1.0 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-1.15.0/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-1.15.0/lib/python3.7/site-packages 部分三方包版本信息列表: Cython 0.29.14dask 2.18.1hccl 0.1.0tensorflow 1.15.0tensorboard 1.15.0Flask 2.0.1grpcio 1.26.0gunicorn 20.1.0idna 2.10PyYAML 5.3.1imageio 2.9.0imgaug 0.2.6lxml 4.4.2matplotlib 3.5.1psutil 5.7.0scikit-image 0.17.2numba 0.47.0numpy 1.17.5opencv-python 4.2.0.34requests 2.27.1pandas 0.24.2Pillow 9.2.0pip 22.1.2protobuf 3.11.3scikit-learn 0.20.0... 历史版本:无
  • 场景说明 针对ModelArts目前不支持的AI引擎,您可以通过 自定义镜像 的方式将编写的模型导入ModelArts,创建为AI应用。 本文详细介绍如何在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像,并完成AI应用的创建,部署为在线服务。本案例仅适用于华为云北京四和上海一站点。 操作流程如下: Step1 在Notebook中构建一个新镜像:在ModelArts的开发环境Notebook中制作自定义镜像,镜像规范可参考创建AI应用的自定义镜像规范。 Step2 构建成功的镜像注册到镜像管理模块:将构建成功的自定义镜像注册到ModelArts的镜像管理模块中,方便下一步调试。 Step3 在Notebook中变更镜像并调试:在Notebook中调试镜像。 Step4 使用调试成功的镜像用于推理部署:将调试完成的镜像导入ModelArts的AI应用管理中,并部署上线。 父主题: 在开发环境中构建并调试推理镜像
  • 引擎版本:mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64 镜像地址:swr.{region}.myhuaweicloud.com/aip/mindspore_1_3_0:train-mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-roma-20211104202338-f258e59 镜像构建时间:20211104202338(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:10.1.243 cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/MindSpore-1.3.0-gpu/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/MindSpore-1.3.0-gpu/lib/python3.7/site-packages 部分三方包版本信息列表: requests 2.26.0dask 2021.9.0easydict 1.9enum34 1.1.10mindspore-gpu 1.3.0Flask 1.1.1grpcio 1.41.1gunicorn 20.1.0idna 3.3PyYAML 5.1imageio 2.10.1imgaug 0.4.0lxml 4.6.4matplotlib 3.4.2psutil 5.8.0scikit-image 0.18.3numba 0.47.0numpy 1.17.0opencv-python 4.5.2.54tifffile 2021.11.2pandas 1.1.5Pillow 8.4.0pip 21.0.1protobuf 3.17.3scikit-learn 0.22.1... 历史版本:无
  • 引擎版本:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region}.myhuaweicloud.com/aip/tensorflow_2_1:train-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20210912152543-1e0838d 镜像构建时间:20210912152543(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:10.1.243 cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-2.1/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-2.1/lib/python3.7/site-packages 部分三方包版本信息列表: Cython 0.29.21dask 2021.9.0easydict 1.9enum34 1.1.10tensorflow 2.1.0Flask 1.1.1grpcio 1.40.0gunicorn 20.1.0idna 3.2tensorflow-estimator 2.1.0imageio 2.9.0imgaug 0.4.0lxml 4.6.3matplotlib 3.4.3termcolor 1.1.0scikit-image 0.18.3numba 0.47.0numpy 1.17.0opencv-python 4.1.2.30tifffile 2021.8.30pandas 1.1.5Pillow 6.2.0pip 21.0.1protobuf 3.17.3scikit-learn 0.22.1psutil 5.8.0PyYAML 5.1requests 2.26.0...
  • 引擎版本二: horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region}.myhuaweicloud.com/aip/horovod_pytorch:train-horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20210912152543-1e0838d 镜像构建时间:20210912152543(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:11.1.1 cudnn:8.0.5.39 Python解释器路径及版本:/home/ma-user/anaconda3/envs/horovod-0.22.1-pytorch-1.8.0/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/horovod-0.22.1-pytorch-1.8.0/lib/python3.7/site-packages 部分三方包版本信息列表: Cython 0.27.3dask 2021.9.0easydict 1.9enum34 1.1.10horovod 0.22.1Flask 1.1.1grpcio 1.40.0gunicorn 20.1.0idna 3.2mmcv 1.2.7imageio 2.9.0imgaug 0.4.0lxml 4.6.3matplotlib 3.4.3torch 1.8.0tensorboardX 2.0numba 0.47.0numpy 1.17.0opencv-python 4.1.2.30torchtext 0.5.0pandas 1.1.5Pillow 6.2.0pip 21.0.1protobuf 3.17.3scikit-learn 0.22.1psutil 5.8.0PyYAML 5.1requests 2.26.0scikit-image 0.18.3torchvision 0.9.0...
  • 引擎版本一:horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 镜像地址:swr.{region}.myhuaweicloud.com/aip/horovod_tensorflow:train-horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20210912152543-1e0838d 镜像构建时间:20210912152543(yyyy-mm-dd-hh-mm-ss) 镜像系统版本:Ubuntu 18.04.4 LTS cuda:10.1.243 cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/horovod_0.20.0-tensorflow_2.1.0/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/horovod_0.20.0-tensorflow_2.1.0/lib/python3.7/site-packages 部分三方包版本信息列表: Cython 0.29.21dask 2021.9.0easydict 1.9enum34 1.1.10horovod 0.20.0Flask 1.1.1grpcio 1.40.0gunicorn 20.1.0idna 3.2tensorboard 2.1.1imageio 2.9.0imgaug 0.4.0lxml 4.6.3matplotlib 3.4.3tensorflow-gpu 2.1.0tensorboardX 2.0numba 0.47.0numpy 1.17.0opencv-python 4.1.2.30toml 0.10.2pandas 1.1.5Pillow 6.2.0pip 21.0.1protobuf 3.17.3scikit-learn 0.22.1psutil 5.8.0PyYAML 5.1requests 2.26.0scikit-image 0.18.3...
  • 步骤3:创建迁移任务 登录分布式缓存服务控制台。 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 单击右上角的“创建备份导入任务”,进入创建备份导入任务页面。 设置迁移任务名称和描述。 “数据来源”选择“Redis实例”。 在“源Redis实例”中选择步骤1:获取源Redis实例名称中的Redis实例。 在“备份记录”中选择需要迁移的备份文件。 选择步骤2:准备目标Redis实例中创建的目标Redis。 输入目标实例的密码,单击“测试连接”,测试密码是否符合要求。 单击“立即创建”。 确认迁移信息,然后单击“提交”,开始创建迁移任务。 可返回迁移任务列表中,观察对应的迁移任务的状态,迁移成功后,任务状态显示“成功”。
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”。 在“缓存管理”页面,单击需要升级为多可用区的D CS 缓存实例的名称。 在缓存实例的“网络信息”栏中单击“可用区”后的“升级实例支持多可用区”。 在弹出的“迁移可用区”窗口,选择“备可用区”。 选择“变更时间”为“立即变更”或“可维护时间窗内进行变更”。 单击“确定”提交变更。 当变更状态显示为“成功”时,变更完成。
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入实例信息页面。 “缓存管理”支持通过筛选来查询对应的缓存实例。支持的筛选条件有“名称”、“规格”、“ID”、“IP地址”、“可用区”、“状态”、“实例类型”、“缓存类型”等。 在需要备份的DCS缓存实例左侧,单击实例名称,进入实例的基本信息页面。 单击“备份与恢复”页签,进入备份恢复管理页面。 单击“自动备份”右侧的,打开自动备份开关,显示备份策略信息。 表1 备份策略参数说明 参数 说明 备份周期 自动备份频率。 可设置为每周的某一天或者某几天,按实际需要适当增加备份频率。 保留天数 备份数据保存期限。 保存天数可选1~7,超过期限后,备份数据将被永久删除,无法用来恢复实例。 开始时间 自动备份任务执行时间。时间格式:00:00~23:00间的任意整点时间。 每小时检查一次备份策略,如果符合备份策略设置的开始时间,则执行备份操作。 说明: 实例备份大约耗时5~30分钟,备份期间发生的数据新增或修改记录,将不会保存到备份数据中。为了尽量减少备份对业务的影响,备份开始时间建议设置在业务交易较少的时间段。 实例只有处于“运行中”状态时,系统才对其执行数据备份。 设置好备份参数,单击“确定”,完成备份策略设置。 实例将在设置的备份时间自动执行备份,并在该页面查看备份记录。 备份完成后,单击备份记录后的“下载”,“恢复”,或“删除”,即可执行相关操作。
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入实例信息页面。 “缓存管理”支持通过筛选来查询对应的缓存实例。支持的筛选条件有“名称”、“规格”、“ID”、“IP地址”、“可用区”、“状态”、“实例类型”、“缓存类型”等。 在需要备份的DCS缓存实例左侧,单击实例名称,进入实例的基本信息页面。 单击“备份与恢复”页签,进入备份恢复管理页面。 页面下方显示历史备份数据列表。 选择需要恢复的历史备份数据,单击右侧的“恢复”,弹出实例恢复窗口。 单击“确定”,开始执行实例恢复任务。 备注说明最长不能超过128个字节。 您可以在“恢复记录”页签查询当前实例恢复任务执行结果,该页签会展示实例的所有恢复记录,不支持删除恢复记录。 实例恢复需耗时1~30分钟。 恢复过程中,实例会有一段时间不能处理客户端的数据操作请求,当前数据将被删除,待恢复完成后存储原有备份数据。
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入实例信息页面。 “缓存管理”支持通过筛选来查询对应的缓存实例。支持的筛选条件有“名称”、“规格”、“ID”、“IP地址”、“可用区”、“状态”、“实例类型”、“缓存类型”等。 在需要查看的DCS缓存实例左侧,单击该实例的名称,进入该实例的基本信息页面。 单击“后台任务”页签,进入后台任务管理页面。 界面显示任务列表。 单击,选择“开始日期”和“结束日期”,单击“确认”,界面显示相应时间段内启动的任务。 单击,刷新任务状态。 单击“操作”栏下的“删除”,清理任务信息。 您只能在任务已经执行完成,即任务状态为成功或者失败时,才能执行删除操作。
  • 操作步骤 客户端服务器为Ubuntu(debian系列) 查看并获取待连接Redis实例的IP地址/域名和端口。 具体步骤请参见查看实例信息。 登录弹性云服务器。 安装Node.js。 apt install nodejs-legacy 如果以上命令安装不了,备选方式如下: wget https://nodejs.org/dist/v0.12.4/node-v0.12.4.tar.gz --no-check-certificate tar -xvf node-v4.28.5.tar.gz cd node-v4.28.5 ./configure make make install 安装完成后,可执行node --version查看Node.js的版本号,确认Node.js已安装成功。 安装js包管理工具npm。 apt install npm 安装NodeJs redis客户端ioredis。 npm install ioredis 编辑连接Redis实例的示例脚本。 编辑连接示例脚本ioredisdemo.js。示例脚本中增加以下内容,包括连接以及数据读取。 var Redis = require('ioredis');var redis = new Redis({ port: 6379, // Redis port host: '192.168.0.196', // Redis host family: 4, // 4 (IPv4) or 6 (IPv6) password: '******', db: 0}); redis.set('foo', 'bar');redis.get('foo', function (err, result) { console.log(result);}); // Or using a promise if the last argument isn't a functionredis.get('foo').then(function (result) { console.log(result);});// Arguments to commands are flattened, so the following are the same:redis.sadd('set', 1, 3, 5, 7);redis.sadd('set', [1, 3, 5, 7]);// All arguments are passed directly to the redis server:redis.set('key', 100, 'EX', 10); 其中,host为Redis实例的IP地址/域名,port为Redis实例的端口。IP地址/域名和端口获取见1,请按实际情况修改后执行。******为创建Redis实例时自定义的密码,请按实际情况修改后执行。 运行示例脚本,连接Redis实例。 node ioredisdemo.js 客户端服务器为centos(redhat系列) 查看并获取待连接Redis实例的IP地址/域名和端口。 具体步骤请参见查看实例信息。 登录弹性云服务器。 安装Node.js。 yum install nodejs 如果以上命令安装不了,备选方式如下: wget https://nodejs.org/dist/v0.12.4/node-v0.12.4.tar.gz --no-check-certificate tar -xvf node-v0.12.4.tar.gz cd node-v0.12.4 ./configure make make install 安装完成后,可执行node -v查看Node.js的版本号,确认Node.js已安装成功。 安装js包管理工具npm。 yum install npm 安装Node.js redis客户端ioredis。 npm install ioredis 编辑连接Redis实例的示例脚本。 编辑连接示例脚本ioredisdemo.js。示例脚本中增加以下内容,包括连接以及数据读取。 var Redis = require('ioredis');var redis = new Redis({ port: 6379, // Redis port host: '192.168.0.196', // Redis host family: 4, // 4 (IPv4) or 6 (IPv6) password: '******', db: 0});redis.set('foo', 'bar');redis.get('foo', function (err, result) { console.log(result);});// Or using a promise if the last argument isn't a functionredis.get('foo').then(function (result) { console.log(result);}); // Arguments to commands are flattened, so the following are the same:redis.sadd('set', 1, 3, 5, 7);redis.sadd('set', [1, 3, 5, 7]); // All arguments are passed directly to the redis server:redis.set('key', 100, 'EX', 10); 其中,host为Redis实例的IP地址/域名,port为Redis实例的端口。IP地址/域名和端口获取见1,请按实际情况修改后执行。******为创建Redis实例时自定义的密码,请按实际情况修改后执行。 运行示例脚本,连接Redis实例。 node ioredisdemo.js
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”。 单击需要修改的DCS缓存实例名称。 在打开的DCS缓存实例基本信息页面,单击“安全组”后的。 下拉选择新的安全组。单击保存修改,单击取消修改。 此处只能下拉选择已创建的安全组,若需要重新配置安全组,可参考如何选择和配置安全组。 修改操作立即生效,可在实例对应的“概览”页面查看修改结果。
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择区域。 此处请选择与您的应用服务相同的区域。 单击左侧菜单栏的“缓存管理”。 单击对应Redis实例的名称,进入该实例的基本信息页面。 单击“公网访问”右侧的,弹出“修改公网访问”页面。 单击,打开公网访问开关。 从“弹性IP地址”下拉列表中选择一个弹性IP。 如果没有弹性IP,可单击右侧的“查看弹性IP”,系统会跳转到网络控制台的弹性公网IP页面,创建弹性公网IP。创建完之后,单击“弹性IP地址”右侧的刷新按钮,即可选择新建的公网IP。 (可选)根据需要选择是否开启SSL加密功能。 建议使用SSL加密Redis客户端与DCS实例之间的传输通道,确保数据传输安全。 单击“确定”,开启公网访问功能。 开启公网访问功能大约需要1~2分钟,请耐心等待。 当前页面会自动跳转到“后台任务”页签,并显示当前任务的操作进度。任务状态为“成功”,表示开启公网访问成功。
  • 配置管理说明 一般情况下,缓存实例的创建、配置运行参数、重启、修改缓存实例密码、重置缓存实例密码、备份恢复、扩容等管理操作均不支持同时进行。即当实例正在进行其中一个操作时,如果您执行其他操作,界面会提示缓存实例正在进行相应操作,请稍后进行重试操作。 在如下场景下,您需要尽快执行后续的管理操作,以恢复业务,则支持同时进行: 在备份缓存实例过程中,支持重启缓存实例,此时备份操作会强制中断,备份任务的执行结果可能为成功或者失败。 当实例的部分节点出现故障时: 由于DCS服务的高可用性,您可以正常读写实例,缓存实例状态仍然处于“运行中”。 DCS服务内部会自动修复故障,或者由服务运维人员手工修复故障。 故障修复期间,管理域的部分操作暂不支持,包括修改配置参数、修改密码、重置密码、备份恢复、扩容等,您可以等故障节点恢复之后进行重试操作或联系客服。 父主题: 实例配置管理
  • 前提条件 已成功申请Memcached实例,且状态为“运行中”。 已创建弹性云服务器,并已安装好客户端。创建弹性云服务器的方法,请参见《弹性云服务器用户指南》。 您创建的弹性云服务器必须与Memcached实例属于同一个VPC,并配置相同的安全组,以确保弹性云服务器与缓存实例的网络是连通的。 如果弹性云服务器与Memcached实例不在相同VPC中,可以通过建立VPC对等连接方式连通网络,具体请参考常见问题:缓存实例是否支持跨VPC访问? 如果弹性云服务器与Memcached实例配置了不同的安全组,可以通过设置安全组规则连通网络,具体请参考常见问题:如何选择和配置安全组?
  • 使用DCS迁移介绍 DCS控制台界面支持在线迁移和离线迁移(备份文件导入)两种方式,其中,在线迁移支持增量数据迁移。 离线迁移,适用于源Redis和目标Redis网络不连通、源Redis不支持SYNC/PSYNC命令的场景。需要将数据备份文件导入到OBS,DCS从OBS桶中读取数据,将数据迁移到华为云Redis中;或直接将备份文件导入到DCS实例中。 在线迁移,涉及到SYNC/PSYNC命令,适用于源Redis放通了SYNC/PSYNC命令的场景。支持将源Redis中的数据全量迁移或增量迁移到目标Redis中。 进行在线迁移时,迁移执行机会向源端地址发送PSYNC命令,其原理可参考Replication介绍,该命令会引起源端执行fork系统调用,对时延产生影响,其影响范围可参考Redis官网。 当前数据迁移功能为公测免费,开始收费时间会另行通知。 更多迁移工具和方案介绍,请参考迁移方案概览。 表1 DCS支持的迁移能力 迁移类型 源端 目标端:DCS服务 单机/主备 Proxy集群 Cluster集群 备份文件导入 AOF文件 √ √ √ RDB文件 √ √ √ 在线迁移 DCS Redis:单机/主备 √ √ √ DCS Redis:Proxy集群 说明: Redis 3.0 proxy不支持作为源端迁移,4.0/5.0 proxy支持作为源端迁移。 √ √ √ DCS Redis:Cluster集群 √ √ √ 自建Redis:单机/主备 √ √ √ 自建Redis:Proxy集群 √ √ √ 自建Redis:Cluster集群 √ √ √ 其他云Redis服务:单机/主备 × × × 其他云Redis服务:Proxy集群 × × × 其他云Redis服务:Cluster集群 × × × DCS Redis,指的是分布式缓存服务的Redis。 自建Redis,指的是在云上、其他云厂商、本地数据中心自行搭建Redis。 其他云Redis服务,指的是其他云厂商的Redis服务。 √表示支持,×表示不支持。 源端其他云Redis在满足和目标DCS Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提下,使用在线迁移的方式,可以将源Redis中的数据全量迁移或增量迁移到目标Redis中,但其他云厂商的部分实例可能存在无法在线迁移的问题,可以采用离线或其它迁移方案。迁移方案概览 父主题: 实例数据迁移
  • 操作步骤 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入实例信息页面。 “缓存管理”页面支持通过在搜索栏筛选对应的缓存实例。 实例类型选择Redis集群实例,单击该实例的名称,进入该实例的基本信息页面。 单击“节点管理”页签。 界面显示集群实例中各个节点的数据量信息。 当集群的节点数据存储容量满时,需要对实例进行扩容,具体扩容操作,请参考变更规格。
  • 使用场景 Redis实例的访问方式支持免密访问和密码访问两种模式,同时在实例创建之后支持修改,主要使用场景如下: 当Redis 3.0需要开启公网访问时,必须要先将实例访问方式由免密访问修改为密码访问模式,然后再开启公网访问。 当您需要通过免密访问模式连接Redis实例,可通过开启Redis实例的免密访问功能,清空Redis实例的密码。 只有处于“运行中”状态的Redis实例支持修改访问方式。 免密模式存在安全风险,之后您可以通过重置密码进行密码设置。 为保护Redis实例的网络安全性,已开启公网访问的Redis实例不支持同时开启免密访问。
  • 前提条件 在迁移之前,请先阅读迁移方案概览,选择正确的迁移方案,了解当前DCS支持的在线迁移能力,选择适当的目标实例。 如果是单机/主备实例迁移到Proxy集群实例,Proxy集群默认不开启多DB,仅有一个DB0,请先确保单机/主备实例DB0以外的DB是否有数据,如果有,请先参考开启多DB操作开启Proxy集群多DB设置。 如果是单机/主备实例迁移到Cluster集群实例,Cluster集群不支持多DB,仅有一个DB0,请先确保单机/主备实例DB0以外的DB是否有数据,如果有,请将数据转存到DB0,否则会出现迁移失败,将数据转存到DB0的操作请参考使用Rump在线迁移。
  • 场景描述 在满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提下,使用在线迁移的方式,将源Redis中的数据全量迁移或增量迁移到目标Redis中。 如果源Redis禁用了SYNC和PSYNC命令,请务必放通后再执行在线迁移,否则迁移失败,选择华为云Redis实例进行在线迁移时,会自动放开SYNC命令。 在线迁移不支持公网方式直接迁移。 进行在线迁移时,建议将源端实例的参数repl-timeout配置为300秒,client-output-buffer-limit配置为实例最大内存的20%。 在线迁移过程中,在源端执行FLUSHDB、FLUSHALL命令不会同步到目标端。
  • 步骤4:创建在线迁移任务 登录分布式缓存服务控制台。 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 单击右上角的“创建在线迁移任务”。 设置迁移任务名称和描述。 配置在线迁移任务虚拟机资源的VPC、子网和安全组。 创建在线迁移任务时,需要选择迁移虚拟机资源的VPC和安全组,并确保迁移资源能访问源Redis和目标Redis实例。 创建迁移任务会占用一个租户侧IP,即控制台上迁移任务对应的“迁移IP”。如果源端Redis或目标端Redis配置了白名单,需确保配置了迁移IP或关闭白名单限制。 迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口(安全组默认情况下为全部放通,则无需单独放通),以便迁移任务的虚拟机资源能访问源Redis和目标Redis。
  • 步骤5:配置在线迁移任务 创建完在线迁移任务之后,在“在线迁移”的列表 ,单击“操作”列的“配置”,配置在线迁移的源Redis、目标Redis等信息。 选择迁移方法。 支持“全量迁移”和“全量迁移+增量迁移”两种,“全量迁移”和“全量迁移+增量迁移”的功能及限制如表1所示。 表1 在线迁移方法说明 迁移方法 描述 全量迁移 该模式为Redis的一次性迁移,适用于可中断业务的迁移场景。全量迁移过程中,如果源Redis有数据更新,这部分更新数据不会被迁移到目标Redis。 全量迁移+增量迁移 该模式为Redis的持续性迁移,适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术, 持续保持源Redis和目标端Redis的数据一致。 增量迁移,迁移任务会在迁移开始后,一直保持迁移中状态,不会自动停止。需要您在合适时间,在“操作”列单击“停止”,手动停止迁移。停止后,源端数据不会造成丢失,只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延,具体的时延情况依赖于网络链路的传输质量。 图1 选择迁移方法 当迁移方法选择“全量迁移+增量迁移”时,支持选择是否启用“带宽限制”。 启用带宽限制功能,当数据同步速度达到带宽限制时,将限制同步速度的继续增长。 选择是否“自动重连”。 如开启自动重连模式,迁移过程中在遇到网络等异常情况时,会无限自动重连。 分别选择源Redis和目标Redis。 “源Redis”,支持“云服务Redis”和“自建Redis”,需要根据迁移场景选择数据来源。 云服务Redis:华为云Redis实例,需要选择与迁移任务处于相同VPC的华为云Redis服务。 自建Redis:华为云、其他云厂商、本地数据中心自行搭建的Redis,需要输入Redis的连接地址。 如果是密码访问模式实例,在输入连接实例密码后,您可以单击密码右侧的“测试连接”,检查实例密码是否正确、网络是否连通。 在“目标Redis实例”中,选择步骤2:准备目标Redis实例中创建的目标实例。 如果是密码访问模式实例,在输入连接实例密码后,您可以单击密码右侧的“测试连接”,检查实例密码是否符合要求。 当源Redis和目标Redis属于华为云不同Region,则打通网路后,目标Redis实例无论是自建Redis或华为云Redis实例,在“目标Redis实例”区域,只能选中自建Redis,输入实例相关信息。 单击“下一步”。 确认迁移信息,然后单击“提交”,开始创建迁移任务。 可返回迁移任务列表中,观察对应的迁移任务的状态,迁移成功后,任务状态显示“成功”。 如果是增量迁移,会一直保持迁移中的状态。 如需手动停止迁移,请选中需要停止的迁移任务,单击“停止”。 如果出现迁移失败,可以单击迁移任务名称,进入迁移任务详情页面,查看“迁移日志”。
共100000条