检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表4 现有数据量统计 大数据组件 待迁移数据的路径 数据量大小 文件个数或表个数 HDFS/OBS(或其他文件存储系统) /user/helloworld XXX 总共:XXX个文件 小于2 MB的文件数量:XXX个 Hive /user/hive/warehouse/ XXX 表个数
如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 扫描量计费 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 当前仅适用于在默认default队列中提交作业按扫描数据量计费。 CU是弹性资源池的计价单位。
jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar,描述为test,资源所在目录为/resource。
高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。
高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。
例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel
PG_EXTENSION_DATA_SOURCE PG_EXTENSION_DATA_SOURCE系统表存储外部数据源对象的信息。一个外部数据源对象(Data Source)包含了外部数据库的一些口令编码等信息,主要配合Extension Connector使用。当前特性是实验室特性
源数据库中是否存在非ASCII字符的对象名称 MySQL迁移时,源数据库中如果存在非ASCII字符的对象名称,可能会导致迁移失败。 不通过原因 源数据库对象名称中存在非ASCII码字符。 处理建议 修改源数据库中存在的非ASCII字符对象名称后,重新进行预检查。 父主题: 数据库参数检查
同步对象中是否存在包含longtext或longblob类型字段的表 MySQL为源同步场景 表1 同步对象中是否存在包含longtext或longblob类型字段的表 预检查项 同步对象中是否存在包含longtext或longblob类型字段的表。 描述 longtext、longblob
目标数据库schema及表对象一致性检查 GaussDB->GaussDB(DWS)同步场景 表1 目标数据库schema及表对象一致性检查 预检查项 目标数据库schema及表对象一致性检查 描述 检查目标数据库表结构对象是否与源库一致。 不通过提示及处理建议 不通过原因:已选择的表在目标数据库不存在
源数据库是否存在名称为cdc的schema或用户 Microsoft SQL Server为源场景 表1 源数据库是否存在名称为cdc的schema或用户 预检查项 源数据库是否存在名称为cdc的schema或用户。 描述 全量+增量模式下,源数据库中不能存在名称为cdc的schema
源数据表是否含有不可作为分布键的列类型 PostgreSQL->GaussDB(DWS)同步 表1 源数据表是否含有不可作为分布键的列类型 预检查项 源数据表是否含有不可作为分布键的列类型 描述 源数据表的列类型中含有不可作为分布键的列类型,会造成数据同步失败。 不通过提示及处理建议
在创建容器工作负载前,您需要配置访问SWR和OBS服务的VPC终端节点,详情请参见配置访问SWR和OBS服务的VPC终端节点。 若工作负载需要被外网访问,请为工作负载创建负载均衡类型的服务。 单个实例(Pod)内如果有多个容器,请确保容器使用的端口不冲突 ,否则部署会失败。
obs_bucket="your_obs_bucket_name", # Name of the OBS bucket authorized by the user to store job logs when log_enabled is set to true.
obs_bucket_name String OBS桶名称。
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST
附录 状态码 错误码 配置OBS访问权限 获取项目ID和名称 获取账号ID
事件列表 APIG网关事件 OBS事件 父主题: Serverless Framework
jobs Array of objects 任务信息列表。 详情请参见表5。 表5 jobs字段数据结构说明 参数 参数类型 描述 id String 任务ID。 name String 任务名称。 status String 任务状态。取值: CREATING:创建中。
/obs_01_0430.html 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Traceid 否 String 业务跟踪id(必须58位) Authorization 是 String 该字段存储的是Access Token。