云服务器内容精选
-
引用字符和转义字符使用示例 引用字符和转义字符使用说明： 引用字符：用于识别分割字段，默认值：英文双引号（"）。 转义字符：在导出结果中如果需要包含特殊字符，如引号本身，可以使用转义字符（反斜杠 \ ）来表示。默认值：英文反斜杠（\）。 假设两个quote_char之间的数据内容存在第三个quote_char，则在第三个quote_char前加上escape_char，从而避免字段内容被分割。 假设数据内容中原本就存在escape_char，则在这个原有的escape_char前再加一个escape_char，避免原来的那个字符起到转义作用。 应用示例： 在进行转储时，如果引用字符和转义字符不填，如下图所示。 下载的.csv用excel打开以后如下图所示，是分成两行的。 在转储时，如果引用字符和转义字符都填写，比如，引用字符和转义字符都填英文双引号（"），则下载以后查看结果如下图所示。
-
下载或转储脚本执行结果 脚本运行成功后，支持下载和转储SQL脚本执行结果。系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限，可参考配置数据导出策略进行配置。 脚本执行完成后在“执行结果”中，单击“下载”可以直接下载CSV格式的结果文件到本地。可以在下载中心查看下载记录。 脚本执行完成后在“执行结果”中，单击“转储”可以将脚本执行结果转储为CSV和JSON格式的结果文件到OBS中，详情请参见表3。 转储功能依赖于OBS服务，如无OBS服务，则不支持该功能。 当前仅支持转储SQL脚本查询类语句的结果。 表3 转储配置 参数 是否必选 说明 数据格式 是 目前支持导出CSV和JSON格式的结果文件。 资源队列 否 选择执行导出操作的DLI队列。当脚本为DLI SQL时，配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时，配置该参数。 none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后，您需要在选择的路径后方自定义一个文件夹名称，系统将在OBS路径下创建文件夹，用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址，配置好后在转储时会默认填写。 覆盖类型 否 如果“存储路径”中，您自定义的文件夹在OBS路径中已存在，选择覆盖类型。当脚本为DLI SQL时，配置该参数。 覆盖：删除OBS路径中已有的重名文件夹，重新创建自定义的文件夹。 存在即报错：系统返回错误信息，退出导出操作。 是否导出列名 否 是：导出列名 否：不导出列名 字符集 否 UTF-8：默认字符集。 GB2312：当导出数据中包含中文字符集时，推荐使用此字符集。 GBK：国家标准GB2312基础上扩容后兼容GB2312的标准。 引用字符 否 仅在数据格式为csv格式时支持配置引用字符。 引用字符在导出作业结果时用于标识文本字段的开始和结束，即用于分割字段。 仅支持设置一个字符。默认值是引文双引号（"）。 主要用于处理包含空格、特殊字符或与分隔符相同字符的数据。 关于“引用字符”和“转义字符”的使用示例请参考引用字符和转义字符使用示例。 转义字符 否 仅在数据格式为csv格式时支持配置转义字符。 在导出结果中如果需要包含特殊字符，如引号本身，可以使用转义字符（反斜杠 \ ）来表示。 仅支持设置一个字符。默认值是英文反斜杠（\）。 常用转义字符的场景： 假设两个引用字符之间的数据内容存在第三个引用字符，则在第三个引用字符前加上转义字符，从而避免字段内容被分割。 假设数据内容中原本就存在转义字符，则在这个原有的转义字符前再加一个转义字符，避免原来的那个字符起到转义作用。 关于“引用字符”和“转义字符”的使用示例请参考引用字符和转义字符使用示例。 相对于直接查看SQL脚本的执行结果，通过下载和转储能够支持获取更多的执行结果。各类SQL脚本查看、下载、转储支持的规格如表4所示。 表4 SQL脚本支持查看/下载/转储规格 SQL类型 在线查看最大结果条数 下载最大结果条数 转储最大结果条数 DLI 10000 1000 无限制 Hive 1000 1000 10000 DWS 1000 1000 10000 Spark 1000 1000 10000 RDS 1000 1000 不支持 Presto 1000 下载结果直接转储至OBS，条数无限制。 无限制 ClickHouse 1000 1000 10000 HetuEngine 1000 1000 10000 Impala 1000 1000 10000
-
配置Flink Jar作业 表1 配置属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。 系统支持Flink作业名称按照工作空间-作业名称格式自动填入。 作业名称只能包含英文字母、数字、中划线和下划线，且长度为1~64个字符，不能包含中文字符。 MRS集群名 是 选择MRS集群名称。 说明： 单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 运行程序参数 否 配置作业运行参数。 该参数为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 注意： 系统支持Flink Jar作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动。要使Flink Checkpoin生效，需要配置两个运行参数： 用来控制checkpoint间隔 -yD：execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD：state.checkpoints.num-retained=10 查询checkpoint列表时，配置-s参数，鼠标单击参数值输入框，checkpoint列表参数值会自动弹出。 说明： 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。 单击“选择模板”，选择已创建好的脚本模板，系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数，请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 否 配置Flink作业执行参数。 Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时，该参数为必填。 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Flink作业资源包 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径 否 设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 否 设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。 表2 配置高级参数 参数 是否必选 说明 作业状态轮询时间（秒） 是 设置轮询时间（30~60秒、120秒、180秒、240秒、300秒），每隔x秒查询一次作业是否执行完成。 作业运行过程中，根据设置的作业状态轮询时间查询作业运行状态。 最长等待时间 是 设置作业执行的超时时间，如果作业配置了重试，在超时时间内未执行完成，该作业将会再次重试。 说明： 如果作业一直处于启动中状态，没有成功开始运行，超时后作业会被置为失败。 失败重试 否 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。
-
新建脱敏策略 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据安全”模块，进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“脱敏策略”，进入脱敏策略页面，在页面上方单击“新建”，创建脱敏策略。 图2 创建脱敏策略 在弹出的新建脱敏页面中填写策略信息，参考表1完成配置。配置完成后单击“确定”即可。 图3 创建脱敏策略界面 表1 创建脱敏策略参数配置 参数 参数描述 *策略名称 用户自定义策略名称，只能包含英文字母、数字、“_”，且长度不能超过64个字符。 描述 为更好地识别脱敏策略，此处加以描述信息，长度不能超过255个字符。 *状态 开启状态表示该策略可供使用。关闭状态表示该策略不能被使用。 *识别规则和脱敏算法 选择敏感数据的识别规则，以及对应的脱敏算法。 *识别规则：选择已经定义的数据识别规则，详情请参考定义识别规则。 规则描述：增加相应规则描述。 *算法类型：下拉选择算法类型，详情请参考表2。 *脱敏算法：下拉选择脱敏算法类型关联的算法，详情请参考表2。 说明： 如下算法在使用前必须先在脱敏算法处配置密钥，才能正常使用。 哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制，请参考管理脱敏算法。
-
相关操作 编辑脱敏策略：在脱敏策略页面，单击对应策略操作栏中的“编辑”，即可修改脱敏策略各项参数。 编辑脱敏策略状态：新增的脱敏策略默认为启用状态。当脱敏策略为关闭状态时，表示该策略将不可被静态脱敏任务引用。 需要修改脱敏策略状态时，在脱敏策略页面单击对应脱敏策略中的或，即可启用或关闭脱敏策略。 被静态脱敏任务引用的脱敏策略不能关闭。 删除脱敏策略：在脱敏策略页面，单击对应策略操作栏中的“删除”，即可删除策略。当需要批量删除时，可以在勾选脱敏策略后，在列表上方单击“批量删除”。 注意，被静态脱敏任务引用的策略不能被删除。若要删除已引用的策略，需要先修改引用关系，再进行删除操作。 删除操作无法撤销，请谨慎操作。
-
创建数据水印嵌入任务 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据安全”模块，进入数据安全页面。 图2 选择数据安全 单击左侧导航树中的“数据水印嵌入”，进入数据水印嵌入页面，在页面上方单击“新建”。 图3 创建数据水印嵌入任务 在弹出的创建任务页面输入基本信息，参数配置请参考表1。 表1 基本信息参数配置 参数名 参数描述 *任务名称 嵌入水印任务的名称，只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1~64个字符。 为便于水印嵌入任务管理，建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务，此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 *纠错等级 等级越高，水印信息编码位数越长，溯源时误码率越低。需注意高纠错等级需要更大的数据量来保证信息的嵌入完整性。默认为1。 *水印版本 V1版本：嵌入水印时依赖主键列，嵌入速度快。若主键遭受强攻击，溯源一定概率失败。 V2版本：嵌入水印时不依赖主键，只与嵌入列相关，嵌入速度慢，鲁棒性增强。 图4 基本信息配置 单击“下一步”进行源、目标端配置，参数配置请参考表2。 表2 源、目标端参数配置 参数名 参数描述 源端配置 *数据源类型 目前只支持MapReduce服务（MRS Hive）。 *数据连接 选择已创建的数据连接。若未创建请参考新建数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”，设置待嵌入水印的数据库和数据表。 单击“清除”，可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列 下拉选择常见的字段类型作为嵌入列。如数值型、字符型。 注意：当选择水印版本为V1时，不支持选取主键列作为嵌入列。 *数据集范围 只有使用时间字段timestamp、Date 来确定增量范围时，才可以选择增量模式 一般而言，全量模式下数据水印嵌入任务使用单次调度，增量模式下使用周期调度。 *指定时间字段 增量模式下，选择时间字段timestamp、Date来确定增量范围。 目标端配置 *数据源类型 目前只支持MapReduce服务（MRS Hive）。 *数据连接 选择已创建的数据连接。若未创建请参考新建数据连接新建连接。 *数据库 下拉选择存放水印表的数据库。 *目标表名 用户手动输入，不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”，否则将无法进行下一步操作。 图5 源、目标端配置 单击“下一步”，进行调度信息配置。 数据集范围为全量模式时，仅支持单次调度。 数据集范围为增量模式时，支持单次调度和周期调度。 当选择为周期调度时，参数配置参考表3。 表3 配置周期调度参数 参数名 说明 *调度日期 调度任务的生效时间段。 *调度周期 选择调度任务的执行周期，并配置相关参数。 分：选择调度开始时间和结束时间，配置间隔的分钟时长。 小时：选择调度开始时间和结束时间，配置间隔的小时时长。 天：配置每日调度时间。 周：选择星期几启动调度，配置调度具体时间。 月：选择几号启动调度，配置调度具体时间。 例如：选择调度周期是周，选择具体时间为15:52，时间选择为星期二。则在调度日期范围内，每周二的15点52分会执行任务。 立即启动 勾选复选框，则表示立即启动此调度任务。 图6 调度信息配置 单击“确定”，完成数据水印嵌入任务创建。
-
相关操作 编辑算法：在脱敏算法页面，单击对应算法操作栏中的“编辑”，即可修改算法参数。 不同算法是否支持编辑和支持修改的参数因实际算法不同有所差异，请以操作界面为准。 测试算法：在脱敏算法页面，单击对应算法操作栏中的“测试”，即可测试该算法。 建议您在使用算法之前，使用算法测试功能，以保证自己选择了合适的算法。 不同算法是否支持测试因实际算法不同有所差异，请以操作界面为准。 删除算法：在脱敏算法页面，单击对应算法操作栏中的“删除”，即可删除算法。当需要批量删除时，可以在勾选算法后，在列表上方单击“批量删除”。 注意，内置算法不支持删除，已在脱敏策略或指定列脱敏中引用的自定义算法无法删除。若要删除已引用的自定义算法，需要先修改引用关系，再进行删除操作。 删除操作无法撤销，请谨慎操作。
-
内置脱敏算法介绍 隐私保护管理脱敏算法模块提供了如下算法类型。 表1 算法类型介绍 算法类型 算法简述 典型应用场景 应用举例 原始数据 脱敏后数据 哈希 使用加盐、密钥等哈希函数对数据进行转换。 结构化、非结构化数据的匿名化均适用。 HMAC-SHA256哈希 460031234567890 A34329AE133C48C 截断 舍弃属性值的后几位信息来保证数据的模糊性。 结构化、非结构化数据的匿名化均适用。 针对标识符、准标识符的匿名化。 截断后4位 18012345678 1801234 掩码 将属性值的部分字符替换为固定的特殊字符。（例如*） 结构化、非结构化数据的匿名化均适用针对标识符、准标识符的匿名化。 掩码后4位 18012345678 1801234**** 加密 调用DWS和Hive内置的加密算法对数据加密。 对加密的目标源有严格限制 AES加密 98 2bd806c97f0e00af1a1fc3328fa763a9269723c8db8fac4f93af71db186d6e 隐私保护管理脱敏算法模块提供了如下内置脱敏算法供您选择使用。建议您在选择算法之前，可以使用预先提供的内置算法配置和测试功能，以保证自己选择了合适的算法。 表2 内置算法介绍 算法类型 内置算法名称 算法描述 是否支持配置 哈希 HMAC-SHA256哈希 使用HMAC-SHA256算法进行哈希处理。 支持配置盐值和密钥。 说明： 算法使用前必须先配置密钥，此算法才能正常使用。 算法盐值由您自行配置，而非系统给出的安全随机数，请关注相应使用风险。 SHA-256哈希 使用SHA-256算法进行哈希处理。 支持配置盐值。 说明： 算法盐值由您自行配置，而非系统给出的安全随机数，请关注相应使用风险。 截断 数值类型截断 保留小数点前x位，将小数点前第1到x-1位、小数点后的位数全部截断并填补为0。 例如x=3时，1234截断为1200，999.999截断为900，10.7截断为0。 支持配置保留小数点前几位。 日期类型截断 截断日期指定位置。 支持配置日期格式和掩盖范围。 掩码 dws指定列全掩码 dws指定数据列全脱敏。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 不支持。 dws字符型掩码 从start到end的位置脱敏成指定的字符。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 dws数值型掩码 从start到end的位置脱敏成指定的数字。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 身份证号码掩码 掩码身份证号。 不支持。 银行卡号掩码 掩码银行卡号。 不支持。 Email掩码 掩码Email信息。 不支持。 移动设备标识掩码 对设备码进行掩码，支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。 不支持。 IPv4掩码 掩码IPv4地址。 不支持。 MAC地址掩码 掩码MAC地址。 不支持。 电话号码掩码 掩码电话号码。 不支持。 日期类型掩码 对指定日期格式进行掩码，支持ISO、EUR、USA格式。 支持配置日期格式和掩盖范围。 掩码自x至y 掩码字符串第x至y位字符。 支持配置x和y。 保留自x至y 保留字符串第x至y位字符。 支持配置x和y。 掩码前n后m 掩码字符串前n后m位字符。 支持配置n和m。 保留前n后m 保留字符串前n后m位字符。 支持配置n和m。 加密 dws列加密 调用GaussDB(DWS)提供的对称密码算法gs_encrypt_aes128(encryptstr,keystr)实现对DWS数据列的加密，此算法以keystr为密钥对encryptstr字符串进行加密，返回加密后的字符串。 算法注意事项如下： 仅当脱敏任务的目标源为DWS时，此算法才能正确生效。 加密后执行SQL解密时，必须当所有的数据都解密成功时，才能正确返回解密结果，否则解密失败。 支持配置密钥，长度范围为1~16字节。 说明： 算法使用前必须先配置密钥，此算法才能正常使用。 hive列加密 调用MRS提供的Hive列加密功能来实现对Hive数据列的加解密，支持AES和SMS4两种加密算法。 算法注意事项如下： 仅当脱敏任务的目标源为Hive时，此算法才能正确生效。 列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。 Hive列加密不支持视图以及Hive over HBase场景。 支持配置加密类型。
-
新建脱敏算法 在DataArts Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据安全”模块，进入数据安全页面。 图1 选择数据安全 在数据安全控制台左侧的导航树中单击“脱敏算法”，进入脱敏算法页面。 单击“新建”，新建脱敏算法。 图2 新建脱敏算法 新建脱敏算法参数配置请参考表3，参数配置完成单击“确定”即可。 图3 算法配置 脱敏算法参数说明表： 表3 配置脱敏算法参数说明 配置 说明 *算法名称 用户自定义算法名称，只能包含英文字母、数字、“_”、中文字符，且长度不能超过64个字符。 描述 对当前算法进行简单描述，长度不能超过255个字符。 *算法模板 算法模板基于已有内置算法模板，对算法进行自定义。可选的算法类型和算法请参考内置脱敏算法介绍。
-
前提条件 已完成敏感数据规则组定义，请参考定义识别规则分组。 已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）类型的数据连接，请参考新建数据连接。 DLI敏感数据发现时，需要提前准备DLI通用队列。 如需将识别的敏感数据自动同步到数据地图组件，则必须由DAYU Administrator、Tenant Administrator或者数据安全管理员用户创建、运行或调度任务。 敏感数据同步到数据地图组件时，如需将敏感数据的分类同步成功，需要同时满足如下前提： 已在数据目录组件，对数据表成功进行过元数据采集，详见元数据采集任务。 管理中心组件对应的数据连接，已开启“元数据实时同步”功能，详见新建数据连接。
-
DataArts Studio使用流程简介 使用DataArts Studio平台，通常包括以下步骤： 表1 DataArts Studio全流程开发 主流程 说明 子任务 操作指导 流程设计 在使用DataArts Studio前，建议您通过流程设计提前分析业务情况，明确业务诉求，并结合DataArts Studio服务的能力进行业务流程设计。 需求分析。分析业务情况，明确业务诉求，并提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。 业务调研。明确DataArts Studio服务的能力边界，并分析后续的业务负载情况。 流程设计。以实际业务情况结合DataArts Studio服务的业务能力，完成数据治理业务流程设计，后续的数据治理操作均基于所设计的业务流程完成。 需求分析 业务调研 流程设计 流程设计与实际业务强相关，您可以参考基于出租车出行数据的数据治理流程设计进行流程设计，或通过咨询了解。 准备工作 如果您是第一次使用DataArts Studio，需要先完成注册华为账号、购买DataArts Studio实例、创建工作空间、创建用户并授予DataArts Studio权限、添加工作空间成员和角色等一系列操作。 准备工作 准备工作 管理中心 根据自身的业务特点和源数据类型，进行数据存储与分析系统的选型，选取合适的云服务用于存储源数据并进行数据查询和分析。然后，创建该云服务相应的数据连接。 新建数据连接 新建数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务，支持自建和云上的文件系统，以及关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 新建连接 新建表/文件迁移作业 数据目录（元数据采集） 为了在DataArts Studio对迁移到云上的原始数据层进行管理和监控，先对其元数据进行采集并监控。 元数据采集 元数据采集 数据架构 数据架构以关系建模、维度建模理论支撑实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。 根据业务需求设计关系模型、维度模型，在数据架构模块中，一步一步建立模型中的对象，例如维度、事实表、指标、汇总表等。 添加审核人 添加审核人 管理配置中心 管理配置中心 流程设计 流程设计 主题设计 主题设计 码表管理 新建码表 制定数据标准 新建数据标准 关系建模 关系建模 维度建模 维度建模 业务指标 业务指标 技术指标 技术指标 数据集市建设 新建汇总表 数据开发 可管理多种大数据服务，提供一站式的大数据开发环境。 使用DataArts Studio数据开发，用户可进行数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 数据管理 数据管理流程 脚本开发 脚本开发流程 作业开发 作业开发流程 运维调度 运维概览 数据质量 对业务指标和数据指标进行监控。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化，能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 业务指标监控 新建指标 新建规则 新建业务场景 数据质量监控 新建规则模板 新建质量作业 新建对账作业 数据目录（数据地图与数据权限） 在DataArts Studio数据目录模块中，您可以查看数据地图，还可以进行数据权限管理。 数据地图 数据地图简介 数据权限 数据权限简介 数据安全 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。在数据安全模块，您可以进行访问权限管理、敏感数据识别、隐私保护管理等操作。 统一权限治理 使用流程 敏感数据治理 敏感数据简介 隐私保护管理 隐私保护简介 数据服务 统一管理对内对外的API服务，提供快速将数据表生成数据API的能力，同时支持将现有的API快速注册到数据服务平台以统一管理和发布。 开发API 准备工作 创建API 调试API 发布API 管理API 流量控制 调用API 调用API
-
数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER TYPES：TINYINT，SMALLINT，INT，BIGINT，NUMERIC/DECIMAL CHARACTER TYPES：CHAR，BPCHAR，VARCHAR，VARCHAR2，NVARCHAR2，TEXT DATA/TIME TYPES：DATE，TIME，TIMETZ，TIMESTAMP，TIMESTAMPTZ，INTERVAL，SMALLDATETIME 2.9.1.200及之前版本的集群，DWS源端暂不支持NVARCHAR2数据类型。 DWS字符类型字段认为空字符串（''）是空值，有非空约束的字段无法插入空字符串（''），这点与MySQL行为不一致，MySQL不认为空字符串（''）是空值。从MySQL迁移到DWS时，可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时，需要配置相关安全组或防火墙策略，允许DWS/LibrA的数据节点访问CDM IP地址的25000端口。 使用GDS模式导入数据到DWS时，CDM会自动创建外表（foreign table）用于数据导入，表名以UUID结尾（例如：cdmtest_aecf3f8n0z73dsl72d0d1dk4lcir8cd），作业失败正常会自动删除，极端情况下可能需要用户手工清理。
-
对象存储服务（OBS）数据源约束 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时，单个作业的源端目录下的文件数量或对象数量，根据CDM集群规格分别有如下限制：大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制，需要按照子目录来拆分成多个迁移作业。
-
Hive数据源约束 Hive中使用Parquet格式存储时间戳数据时，时间戳的精度为纳秒级别（即精确到毫微秒），即2023-03-27 00:00:00.000。当源端数据精度大于纳秒级别时，字段映射时会对数据进行截取。例如源端数据为2023-03-27 00:00:00.12345，目的端数据会被截取为2023-03-27 00:00:00.123。 Hive作为迁移的目的时，如果存储格式为Textfile，在Hive创建表的语句中需要显式指定分隔符。例如： CREATE TABLE csv_tbl( smallint_value smallint, tinyint_value tinyint, int_value int, bigint_value bigint, float_value float, double_value double, decimal_value decimal(9, 7), timestmamp_value timestamp, date_value date, varchar_value varchar(100), string_value string, char_value char(20), boolean_value boolean, binary_value binary, varchar_null varchar(100), string_null string, char_null char(20), int_null int ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ( "separatorChar" = "\t", "quoteChar" = "'", "escapeChar" = "\\" ) STORED AS TEXTFILE;
-
云搜索服务和Elasticsearch数据源约束 CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 索引下的字段类型创建后不能修改，只能创建新字段。 如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyy-MM-dd HH:mm:ss.SSS Z”，即“2018-08-08 08:08:08.888 +08:00”。 迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的字段转换功能转换为上述格式。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
