华为云用户手册

注意事项 表必须已经存在。 用户应属于数据加载组以执行数据加载操作。默认情况下，数据加载组被命名为“ficommon”。 CarbonData表不支持Overwrite。 源表和目标表的数据类型应该相同，否则源表中的数据将被视为Bad Records。 INSERT INTO命令不支持部分成功（partial success），如果存在Bad Records，该命令会失败。 在从源表插入数据到目标表的过程中，无法在源表中加载或更新数据。 若要在INSERT操作期间启用数据加载或更新，请将以下参数配置为“true”。 “carbon.insert.persist.enable”=“true” 默认上述参数配置为“false”。 启用该参数将降低INSERT操作的性能。

参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 el操作之后生成的字段 配置EL表达式： 名称：表达式输出结果的名称。 el表达式：表达式，格式为：表达式名称（输入字段名,是否用小写字母表示输出结果）。例如，md5sum(fieldname,true)。 md5sum：生成md5校验值。 sha1sum：生成sha1校验值。 sha256sum：生成sha256校验值。 sha512sum：生成sha512校验值。 类型：表达式输出结果类型，建议选择“VARCHAR”。 时间格式：表达式输出结果格式。 长度：表达式输出结果长度。 map 是 无

操作场景 此功能在 MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。 开启此功能后，仅有Hive管理员可以创建库和在default库中建表，其他用户需通过Hive管理员授权才可使用库。 开启本功能之后，会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景，再决定是否做出调整。 因为对执行用户做了限制，使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。

hdfs-connector 表5 hdfs-connector目的连接属性 参数 说明 写入目录 最终数据在HDFS保存时的具体目录。必须指定一个目录。 文件格式 Loader支持HDFS中存储数据的文件格式，默认支持以下两种： CS V_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 压缩格式 文件在HDFS保存时的压缩行为。支持NONE、DEFLATE、GZIP、BZIP2、LZ4和SNAPPY。 是否覆盖 文件在导入HDFS时对写入目录中原有文件的处理行为，支持以下两种： True：默认清空目录中的文件并导入新文件。 False：不清空文件。如果写入目录中有文件，则作业运行失败。 换行符 最终数据的每行结束标识字符。 说明： hdfs作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 最终数据的每个字段分割标识字符。 说明： hdfs作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效。

obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。 文件格式 Loader支持OBS中存储数据的文件格式，默认支持以下两种： CSV_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 最终数据的每行结束标识字符。 字段分割符 最终数据的每个字段分割标识字符。 编码类型 最终数据的文本编码类型。只对文本类型文件有效。

hbase-connector 表4 hbase-connector目的连接属性 参数 说明 表名 保存最终数据的HBase表名称，支持通过界面查询并选择。 导入方式 支持BULKLOAD、PUTLIST两种方式导入数据到HBase表。 导入前清空数据 标识是否需要清空目标HBase表中的数据，支持以下两种类型： True：清空表中的数据。 False：不清空表中的数据，选择False时如果表中存在数据，则作业运行会报错。

ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector目的连接属性 参数 说明 写入目录 最终数据在文件服务器保存时的具体目录。必须指定一个目录。 文件格式 Loader支持文件服务器中存储数据的文件格式，默认支持以下两种： CSV_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 最终数据的每行结束标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 最终数据的每个字段分割标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效 编码类型 最终数据的文本编码类型。只对文本类型文件有效。

ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector数据源连接属性 参数 说明 源目录或文件 源数据实际存储的形态，可能是文件服务器包含一个目录中的全部数据文件，或者是单个数据文件。 文件格式 Loader支持文件服务器中存储数据的文件格式，默认支持以下两种： CSV_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 源数据的每行结束标识字符。 说明： ftp或sftp作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 源数据的每个字段分割标识字符。 说明： ftp或sftp作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效 编码类型 源数据的文本编码类型。只对文本类型文件有效。 文件分割方式 支持以下两种： File：按总文件个数分配map任务处理的文件数量，计算规则为“文件总个数/抽取并发数”。 Size：按文件总大小分配map任务处理的文件大小，计算规则为“文件总大小/抽取并发数”。

hdfs-connector 表5 hdfs-connector数据源连接属性 参数 说明 源目录或文件 源数据实际存储的形态，可能是HDFS包含一个目录中的全部数据文件，或者是单个数据文件。 文件格式 Loader支持HDFS中存储数据的文件格式，默认支持以下两种： CSV_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 源数据的每行结束标识字符。 说明： hdfs作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 源数据的每个字段分割标识字符。 说明： hdfs作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效。 文件分割方式 支持以下两种： File：按总文件个数分配map任务处理的文件数量，计算规则为“文件总个数/抽取并发数”。 Size：按文件总大小分配map任务处理的文件大小，计算规则为“文件总大小/抽取并发数”。

obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态，可能是文件系统包含一个目录中的全部数据文件，或者是文件系统包含的单个数据文件。 文件格式 Loader支持OBS中存储数据的文件格式，默认支持以下两种： CSV_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 源数据的每行结束标识字符。 字段分割符 源数据的每个字段分割标识字符。 编码类型 源数据的文本编码类型。只对文本类型文件有效。 文件分割方式 支持以下两种： File：按总文件个数分配map任务处理的文件数量，计算规则为“文件总个数/抽取并发数”。 Size：按文件总大小分配map任务处理的文件大小，计算规则为“文件总大小/抽取并发数”。

操作描述 有Minor合并、Major合并和Custom合并三种类型。 Minor合并： 在Minor合并中，用户可指定合并数据加载的数量。如果设置了参数“carbon.enable.auto.load.merge”，每次数据加载都可触发Minor合并。如果任意segment均可合并，那么合并将与数据加载时并行进行。 Minor合并有两个级别。 Level 1：合并未合并的segment。 Level 2：合并已合并的segment，以形成更大的segment。 Major合并： 在Major合并中，许多segment可以合并为一个大的segment。用户将指定合并尺寸，将对未达到该尺寸的segment进行合并。Major合并通常在非高峰时段进行。 Custom合并： 在Custom合并中，用户可以指定几个segment的id合并为一个大的segment。所有指定的segment的id必须存在并且有效，否则合并将会失败。Custom合并通常在非高峰时段进行。 具体的命令操作，请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值 应用类型 描述 carbon.enable.auto.load.merge false Minor 数据加载时启用合并。 “true”：数据加载时自动触发segment合并。 “false”：数据加载时不触发segment合并。 carbon.compaction.level.threshold 4,3 Minor 对于Minor合并，该属性参数决定合并segment的数量。 例如，如果该参数设置为“2,3”，在Level 1，每2个segment触发一次Minor合并。在Level2，每3个Level 1合并的segment将被再次合并为新的segment。 合并策略根据实际的数据大小和可用资源决定。 有效值为0-100。 carbon.major.compaction.size 1024mb Major 通过配置该参数可配置Major合并。低于该阈值的segment之和将被合并。 例如，如果该阈值是1024MB，且有5个大小依次为300MB，400MB，500MB，200MB，100MB的segment用于Major合并，那么只有相加的总数小于阈值的segment会被合并，也就是300+400+200+100 = 1000MB的segment会被合并，而500MB的segment将会被跳过。 carbon.numberof.preserve.segments 0 Minor/Major 如果用户希望从被合并的segment中保留一定数量的segment，可通过该属性参数进行设置。 例如，“carbon.numberof.preserve.segments”=“2”，那么最新的2个segment将不会包含在合并中。 默认不保留任何segment。 carbon.allowed.compaction.days 0 Minor/Major 合并将合并在指定的配置天数中加载的segment。 例如，如果配置为“2”，那么只有在2天的时间框架中被加载的segment可以被合并。在2天以外被加载的segment将不被合并。 默认为禁用。 carbon.number.of.cores.while.compacting 2 Minor/Major 在合并过程中写入数据时所用的核数。配置的核数越大合并性能越好。如果CPU资源充足可以增加此值。 carbon.merge.index.in.segment true SEGMENT_INDEX 如果设置为true，则一个segment中所有Carbon索引文件（.carbonindex）将合并为单个Carbon索引合并文件（.carbonindexmerge）。 这增强了首次查询性能。

操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行，所以，索引也只在每次加载时执行。这意味着，对于每次加载都会产生一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每个索引只在一次加载时工作，索引的性能被降低。CarbonData提供加载压缩。压缩过程通过合并排序各segment中的数据，将多个segment合并为一个大的segment。

操作步骤 MRS 3.x之前版本： 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21.jar”，具体MySQL jdbc驱动程序选择参见下表。 表1 版本信息 jdbc驱动程序版本 MySQL版本 Connector/J 5.1 MySQL 4.1、MySQL 5.0、MySQL 5.1、MySQL 6.0 alpha Connector/J 5.0 MySQL 4.1、MySQL 5.0 servers、distributed transaction (XA) Connector/J 3.1 MySQL 4.1、MySQL 5.0 servers、MySQL 5.0 except distributed transaction (XA) Connector/J 3.0 MySQL 3.x、MySQL 4.1 将“mysql-connector-java-5.1.21.jar”上传至MRS master 主备节点loader安装目录。 针对MRS 3.x之前版本，上传至“/opt/Bigdata/MRS_XXX/install/ FusionInsight -Sqoop-1.99.7/FusionInsight-Sqoop-1.99.7/server/jdbc/” 其中“XXX”为MRS版本号，请根据实际情况修改。 修改“mysql-connector-java-5.1.21.jar”包属主为“omm:wheel”。 修改配置文件“jdbc.properties”。 将“MYSQL”的键值修改为上传的jdbc驱动包名“mysql-connector-java-5.1.21.jar”，例如：MYSQL=mysql-connector-java-5.1.21.jar。 重启Loader服务。

参数说明 表1 参数说明 配置参数 说明 默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worker占用一个端口，且每个端口只运行一个worker。通过这项配置可以设置每台机器上运行的worker数量。端口的取值范围是1024到65535，不同端口使用逗号分隔。 6700,6701,6702,6703 WORKER_GC_OPTS supervisor启动worker时使用的jvm选项。需要根据业务中对内存等的使用来进行设置，例如是简单业务处理，建议1G，即“-Xmx1G”；如果有窗口缓存，根据窗口大小计算：每条记录大小*周期*2。 -Xms1G -Xmx1G -XX:+UseG1GC -XX:+PrintGCDetails -Xloggc:artifacts/gc.log -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=artifacts/heapdump default.schedule.mode 默认调度器的调度模式。目前支持两个值，具体值与含义如下： “AVERAGE”：使用按空闲Slot数目为优先级的调度机制 “RATE”：使用按空闲Slot比率为优先级的调度机制 AVERAGE nimbus.thrift.threads 设置主用Nimbus对外提供服务时的最大连接线程数。当Storm集群规模较大，Supervisor实例数量较多时，需要增加线程数。 512

回答 Spark SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力，但当缓存的表较大或者缓存表数量较多时，将不可避免地影响executor的稳定性。 此时的最佳实践是，当不需要将表cache来实现查询加速时，应及时将表进行uncache以释放内存。可以执行命令uncache table table_name来uncache表。 被cache的表也可以在Spark Driver UI的Storage标签里查看。

前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时，确保外部数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器 + 处理器。数据源为Kafka，接收器为Streaming中的Kafka数据源接收器，处理器为Streaming。 对Streaming调优，就必须使该三个部件的性能都合理化。 数据源调优 在实际的应用场景中，数据源为了保证数据的容错性，会将数据保存在本地磁盘中，而Streaming的计算结果全部在内存中完成，数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本，可以使用异步模式的新Producer接口。 配置多个Broker的目录，设置多个IO线程，配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分：http://kafka.apache.org/documentation.html。 接收器调优 Streaming中已有多种数据源的接收器，例如Kafka、Flume、MQTT、ZeroMQ等，其中Kafka的接收器类型最多，也是最成熟一套接收器。 Kafka包括三种模式的接收器API： KafkaReceiver：直接接收Kafka数据，进程异常后，可能出现数据丢失。 ReliableKafkaReceiver：通过ZooKeeper记录接收数据位移。 DirectKafka：直接通过RDD读取Kafka每个Partition中的数据，数据高可靠。 从实现上来看，DirectKafka的性能更好，实际测试上来看，DirectKafka也确实比其他两个API性能好了不少。因此推荐使用DirectKafka的API实现接收器。 数据接收器作为一个Kafka的消费者，对于它的配置优化，请参见Kafka开源文档：http://kafka.apache.org/documentation.html。 处理器调优 Spark Streaming的底层由Spark执行，因此大部分对于Spark的调优措施，都可以应用在Spark Streaming之中，例如： 数据序列化 配置内存 设置并行度 使用External Shuffle Service提升性能 在做Spark Streaming的性能优化时需注意一点，越追求性能上的优化，Spark Streaming整体的可靠性会越差。例如： “spark.streaming.receiver.writeAheadLog.enable”配置为“false”的时候，会明显减少磁盘的操作，提高性能，但由于缺少WAL机制，会出现异常恢复时，数据丢失。 因此，在调优Spark Streaming的时候，这些保证数据可靠性的配置项，在生产环境中是不能关闭的。 日志归档调优 参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建议增大此值，例如改为“1000”或更大值。

操作场景 此功能适用于Hive。 因为操作系统用户组个数限制，导致Hive不能创建超过32个角色，开启此功能后，Hive将支持创建超过32个角色。 开启本功能并对表库等授权后，对表库目录具有相同权限的角色将会用“|”合并。查询acl权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否做出调整。 MRS3.x及后续版本支持Ranger，如果当前组件使用了Ranger进行权限控制，需基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。 开启此功能后，包括owner在内默认最大可支持512个角色，由MetaStore自定义参数“hive.supports.roles.max”控制，可考虑实际应用场景进行修改。

create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景，MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展，以达到在创建作业时指定行、列分隔符及转换步骤的目的。 表2 create命令扩展属性 属性 说明 fields-terminated-by 默认的列分隔符。 lines-terminated-by 默认的行分隔符。 input-fields-terminated-by 输入步骤的列分隔符，当不指定时，默认等于fields-terminated-by的值。 input-lines-terminated-by 输入步骤的行分隔符，当不指定时，默认等于lines-terminated-by的值。 output-fields-terminated-by 输出步骤的列分隔符，当不指定时，默认等于fields-terminated-by的值。 output-lines-terminated-by 输出步骤的行分隔符，当不指定时，默认等于lines-terminated-by的值。 trans 指定转换步骤，值为转换步骤文件所在的路径。当指定文件的相对路径时，默认为“sqoop2-shell”脚本所在路径下的文件。当配置了该属性，其他扩展属性都被忽略。

sqoop1对接MRS服务 下载开源Sqoop，http://www.apache.org/dyn/closer.lua/sqoo:p/1.4.7。 将下载好的sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 包放入MRS集群master节点的/opt/sqoop目录下并解压。 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 进入解压完成的目录，修改配置。 cd /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/conf cp sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh 添加配置： export HADOOP_COMMON_HOME=/opt/client/HDFS/hadoop export HADOOP_MAPRED_HOME=/opt/client/HDFS/hadoop export HIVE_HOME=/opt/Bigdata/MRS_1.9.X/install/FusionInsight-Hive-3.1.0/hive(请按照实际路径填写) export HIVE_CONF_DIR=/opt/client/Hive/config export HCAT_HOME=/opt/client/Hive/HCatalog 添加系统变量，将“SQOOP_HOME”添加到PATH中。 vi /etc/profile 添加以下信息： export SQOOP_HOME=/opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:$SQOOP_HOME/bin 执行以下命令复制jline-2.12.jar文件到lib文件下。 cp /opt/share/jline-2.12/jline-2.12.jar /opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib 执行以下命令，在文件中添加下列配置。 vim $JAVA_HOME/jre/lib/security/java.policy permission javax.management.MBeanTrustPermission "register"; 执行以下命令，实现sqoop1对接MRS服务。 source /etc/profile

概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业 支持停止作业 支持查询作业状态 支持查询作业历史执行记录 支持复制连接器和作业 支持创建和更新转换步骤 支持指定行、列分隔符 sqoop-shell工具支持如下模式： 交互模式 通过执行不带参数的“sqoop2-shell”脚本，进入Loader特定的交互窗口，用户输入脚本后，工具会返回相应信息到交互窗口。 批量模式 通过执行“sqoop2-shell”脚本，带一个文件名作为参数，该文件中按行存储了多条命令，sqoop-shell工具将会按顺序执行文件中所有命令；或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令，一次只执行一条命令。 sqoop-shell通过表1的命令来实现Loader各种功能。 表1 命令一览表 命令 说明 exit 表示退出交互模式。 该命令仅支持交互模式。 history 查看执行过的命令。 该命令仅支持交互模式。 help 查看工具帮助信息。 set 设置服务端属性。 show 显示服务属性和Loader所有元数据信息。 create 创建连接器和作业。 update 更新连接器和作业。 delete 删除连接器和作业。 clone 复制连接器和作业。 start 启动作业。 stop 停止作业。 status 查询作业状态。

简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具，支持将数据或文件从关系型数据库或文件系统导入到MRS服务中。 Loader支持如下数据导入方式： 从关系型数据库导入数据到HDFS/OBS。 从关系型数据库导入数据到HBase。 从关系型数据库导入数据到Phoenix表。 从关系型数据库导入数据到Hive表。 从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。 从FTP服务器导入数据到Hive表。 从同一集群内HDFS/OBS导入数据到HBase。 MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器，用于配置不同类型数据源的连接参数： generic-jdbc-connector：关系型数据库连接器。 ftp-connector：FTP数据源连接器。 hdfs-connector：HDFS数据源连接器。 oracle-connector：Oracle数据库专用连接器，使用row_id作为分区列，相对generic-jdbc-connector来说，Map任务分区更均匀，并且不依赖分区列是否有创建索引。 mysql-fastpath-connector：MYSQL数据库专用连接器，使用MYSQL的mysqldump和mysqlimport工具进行数据的导入导出，相对generic-jdbc-connector来说，导入导出速度更快。 sftp-connector：SFTP数据源连接器。 oracle-partition-connector：支持Oracle分区特性的连接器，专门对Oracle分区表的导入导出进行优化。 使用FTP数据源连接器时不加密数据，可能存在安全风险，建议使用SFTP数据源连接器。 建议将SFTP服务器、FTP服务器和数据库服务器与Loader部署在独立的子网中，以保障数据安全地导入。 与关系数据库连接时，可以选择通用数据库连接器（generic-jdbc-connector）或者专用数据库连接器（oracle-connector、oracle-partition-connector、mysql-fastpath-connector），专用数据库连接器特别针对具体数据库类型进行优化，相对通用数据库连接器来说，导出、导入速度更快。 使用mysql-fastpath-connector时，要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令，并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容，如果没有这两个命令或版本不兼容，请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html，安装MySQL client applications and tools。 使用oracle-connector时，要求给连接用户赋予如下系统表或者视图的select权限： dba_tab_partitions、dba_constraints、dba_tables 、dba_segments 、v$version、dba_objects、v$instance、SYS_CONTEXT函数、dba_extents、 dba_tab_subpartitions。 使用oracle-partition-connector时，要求给连接用户赋予如下系统表的select权限：dba_objects、dba_extents。

创建作业 访问Loader页面，单击“新建作业”。 在“基本信息”填写参数。 在“名称”填写一个作业的名称。 在“源连接”和“目的连接”选择对应的连接。 选择某个类型的连接，表示从指定的源获取数据，并保存到目的位置。 如果没有需要的连接，可单击“添加新连接”。 在“自”填写源连接的作业配置。 具体请参见Loader作业源连接配置说明。 在“至”填写目的连接的作业配置。 具体请参见Loader作业目的连接配置说明。 在“目的连接”是否选择了数据库类型的连接。 数据库类型的连接包含以下几种： generic-jdbc-connector hbase-connector hive-connector “目的连接”选择数据库类型的连接时，还需要配置业务数据与数据库表字段的对应关系： 是，请执行6。 否，请执行7。 在“字段映射”填写字段对应关系。然后执行7。 “字段映射”的对应关系，表示用户数据中每一列与数据库的表字段的匹配关系。 表1 “字段映射”属性 参数 说明 列号 表示业务数据的字段顺序。 样本 表示业务数据的第一行值样例。 列族 “目的连接”为hbase-connector类型时，支持定义保存数据的具体列族。 目的字段 配置保存数据的具体字段。 类型 显示用户选择字段的类型。 行键 “目的连接”为hbase-connector类型时，需要勾选作为行键的“目的字段”。 如果From是sftp/ftp/obs/hdfs等文件类型连接器，Field Mapping 样值取自文件第一行数据，需要保证第一行数据是完整的，Loader作业不会抽取没有Mapping上的列。 在“任务配置”填写作业的运行参数。 表2 Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值，如果单个map任务的错误记录超过设置阈值则任务自动结束，已经获取的数据不回退。 说明： “generic-jdbc-connector”的“MYSQL”和“MPPDB”默认批量读写数据，每一批次数据最多只记录一次错误记录。 脏数据目录 设置一个脏数据目录，在出现脏数据的场景中在该目录保存脏数据。如果不设置则不保存。 单击“保存”。

约束与限制 只有“可用”或“锁定”状态的存储库才能进行资源迁移。 需要等待当前存储库和目标存储库都没有任务执行时才能进行资源迁移。 目标存储库剩余容量需大于待迁移资源的备份总容量。 暂不支持跨账号迁移存储库资源。 单AZ和多AZ的备份存储库不支持互相迁移资源。 当前存储库和目标存储库需要在同一个区域。 只有类型相同的存储库才能进行资源迁移。比如：云服务器备份存储库的资源可以迁移到另一个云服务器备份存储库里面，而不能迁移到另一个云硬盘备份存储库里面。 单AZ和多AZ的备份存储库属于不同类型的存储库，不能进行资源迁移。 云服务器备份中的数据库备份和普通云服务器备份视为同一种存储库类型的不同规格，可以互相迁移资源。 数据库服务器备份存储库中的资源迁移到普通云服务器备份存储库中后，数据备份和恢复将不再支持应用一致性的特性。 普通云服务器备份存储库中的资源迁移到数据库服务器备份存储库中后，需要确保服务器已安装Agent，否则会导致数据库备份失败，数据库备份失败后系统默认执行服务器备份。 更多详情请参见数据库服务器备份。

异步复制 表1 异步复制支持的操作系统版本 OS类型 OS版本 内核版本 位数 CentOS 7.2 3.10.0-327.el7.x86_64 3.10.0-1127.19.1.el7.x86_64 3.10.0-1160.6.1.el7.x86_64 64 7.3 3.10.0-514.el7.x86 64 64 7.4 3.10.0-693.el7.x86 64 64 7.5 3.10.0-862.el7.x86 64 64 7.6 3.10.0-957.el7.x86_64 3.10.0-1160.6.1.el7.x86_64 64 7.7 3.10.0-1062.el7.x86_64 64 7.9 3.10.0-1160.el7.x86_64 64 Redhat 7.4 3.10.0-693.el7.x86_64 64 7.9 3.10.0-1160.el7.x86_64 64 8.6 4.18.0-372.9.1.el8.x86_64 64 8.8 4.18.0-477.10.1.el8_8.x86_64 64 8.9 4.18.0-513.5.1.el8_9.x86_64 64 Windows windows server 2016 - 64 windows server 2019 - 64 windows server 2022 - 64 统信 V20 1050e 4.19.90-2201.4.0.0135.up1.uel20.aarch64 64 麒麟 V10 sp2 4.19.90-24.4.v2101.ky10.aarch64 64 HCE 2.0 5.10.0-182.0.0.95.r2220_160.hce2.x86_64 64 2.0 5.10.0-182.0.0.95.r2220_160.hce2.aarch64 64

VMware容灾约束与限制 支持容灾上云的VMware版本包括VMware vSphere 6.7和VMware vSphere 7.0。 当前仅支持对接ESXi实现VMware主机容灾上云，且暂不支持容灾回切。 为了获得更优的性能和操作体验，仅支持表2所列经过兼容性测试的操作系统执行容灾恢复。 暂时只支持系统盘组了单盘LVM的服务器云上恢复，暂不支持多盘LVM。 容灾带宽建议不低于100Mbits，VMware容灾上云的主机对应磁盘大小建议是整十数GB。 操作系统类型为Linux，需要设置虚拟机参数：disk.EnableUUID TRUE。 VMware的虚拟机磁盘只支持SCSI类型。 表2 支持的Vmware生产主机的操作系统 操作系统类型 版本范围 Windows Windows Server 2016 Windows Server 2019 CentOS CentOS 7.2 CentOS 7.6

同步复制 表3 同步复制支持的操作系统版本 OS类型 OS版本 位数 Windows Windows Server 2008 R2 64 Windows Server 2012 R2 64 Windows Server 2016 64 RedHat Red Hat Enterprise Linux 6.10 64 Red Hat Enterprise Linux 7.5 64 CentOS CentOS 6.5 64 CentOS 6.8 64 CentOS 6.9 64 CentOS 7.2 64 CentOS 7.3 64 CentOS 7.4 64 SUSE SUSE Enterprise 12 SP2 64 Ubuntu Ubuntu 16.04 server 64

数据保护技术 云数据库RDS通过多种数据保护手段和特性，保障存储在RDS中的数据安全可靠。 表1 RDS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（SSL） RDS for MySQ L实例 和RDS for MariaDB实例支持非SSL和SSL传输协议，为保证数据传输的安全性，推荐您使用更加安全的SSL协议。 RDS for PostgreSQL实例和RDS for SQL Server实例支持SSL传输协议，保证数据传输的安全性。 RDS for MySQL：设置SSL 数据加密 RDS for MariaDB：通过内网连接RDS for MariaDB实例 RDS for PostgreSQL：通过psql命令行内网连接实例 RDS for SQL Server：通过内网连接RDS for SQL Server实例 跨可用区部署 为了达到更高的可靠性，RDS支持选择多可用区部署主实例和备实例，可用区之间内网互通，不同可用区之间物理隔离，RDS会自动将主实例和备实例分布到不同的可用区，以提供故障切换能力和高可用性。 RDS for MySQL：购买实例选择跨可用区部署 RDS for MariaDB：购买实例选择跨可用区部署 RDS for PostgreSQL：购买实例选择跨可用区部署 RDS for SQL Server：购买实例选择跨可用区部署 删除保护 云数据库RDS支持将退订后的包年包月实例和删除的按需实例，加入回收站管理。通过数据库回收站中重建实例功能，可以恢复1~7天内删除的实例。 RDS for MySQL：回收站 RDS for PostgreSQL：回收站 RDS for SQL Server：回收站 跨区域备份 云数据库RDS支持将备份文件存放到另一个区域存储，某一区域的实例故障后，可以在异地区域使用备份文件在异地恢复到新的RDS实例，用来恢复业务。 RDS for MySQL：设置跨区域备份策略 RDS for PostgreSQL：设置跨区域备份策略 RDS for SQL Server：设置跨区域备份策略 父主题： 安全

请求示例 创建节点池。 POST https://{endpoint}/v2/{project_id}/pools/{pool_name}/nodepools { "kind" : "NodePool", "apiVersion" : "v2", "metadata" : { "name" : "nodepool-1", "annotations" : { } }, "spec" : { "resources" : { "nodePool" : "nodepool-1", "flavor" : "modelarts.vm.2u4g.dcc", "count" : 1, "maxCount" : 1, "network" : { "vpc" : "277e9abc-0e6b-431a-9232-cfd25d5fc566", "subnet" : "03796378-c356-4c14-826b-e4913aa9c8b9", "securityGroups" : [ "0a15b48d-06f1-41e4-b782-ade90087bf59" ] } } } }

响应示例 状态码：200 OK。 { "kind" : "NodePool", "apiVersion" : "v2", "metadata" : { "name" : "nodepool-1", "annotations" : { } }, "spec" : { "resources" : { "nodePool" : "nodepool-1", "flavor" : "modelarts.vm.2u4g.dcc", "count" : 1, "maxCount" : 1, "network" : { "vpc" : "277e9abc-0e6b-431a-9232-cfd25d5fc566", "subnet" : "03796378-c356-4c14-826b-e4913aa9c8b9", "securityGroups" : [ "0a15b48d-06f1-41e4-b782-ade90087bf59" ] } } } } 状态码：400 Bad request { "error_code" : "ModelArts.50004000", "error_msg" : "Bad request." }