数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题: 网络打通
任务性能调优 性能调优概述 作业任务参数调优 MRS Kafka到MRS Hudi参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 MySQL到Doris参数调优 DMS Kafka到OBS参数调优 Apache Kafka
实时集成作业使用教程 实时集成作业使用教程概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 MySQL同步到Elasticsearch作业配置(内测) MySQL
Open Gauss数据连接参数说明 表1 Open Gauss数据连接 参数 是否必选 说明 数据连接类型 是 Open Gauss连接固定选择为Open Gauss。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性
Apache Kafka数据连接参数说明 表1 Apache Kafka数据连接 参数 是否必选 说明 数据连接类型 是 Apache Kafka连接固定选择为Apache Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符
授权管理接口 查询API已授权的APP 查询APP已拥有授权的API 父主题: 数据服务API
申请管理接口 查询申请列表 审核申请 获取申请详情 父主题: 数据服务API
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询待发布包列表 待发布包发布 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题: 数据开发API
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 审核人管理接口 集群管理接口
目录接口 获取作业目录 父主题: 数据质量API
脚本开发API 创建脚本 修改脚本内容 查询脚本信息 查询脚本列表(待下线) 查询脚本实例执行结果 删除脚本 执行脚本 停止脚本实例的执行 父主题: 数据开发API(V1)
码表管理接口 查询码表列表 创建码表 删除码表 修改码表 查看码表详情 查看码表字段值 编辑码表字段值 码表逆向结果查询 码表逆向 父主题: 数据架构API
管理中心 DataArts Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache HDFS数据连接参数说明(内测) Apache Hive数据连接参数说明(内测) MRS Hudi数据连接参数说明(内测) MRS HBase
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
优化迁移性能 迁移作业原理 性能调优 参考:作业分片维度 参考:CDM性能实测数据 父主题: 数据集成(CDM作业)
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业 父主题: 数据集成(CDM作业)