华为云首页用户手册

数据管理与分析-数据服务开发:批量数据服务

数据管理与分析-数据服务开发:批量数据服务

时间：2024-04-26 09:42:16

数据管理与分析

批量数据服务

结构化
1. 在线作业服务开发
   对于在线开发，支持通过页面的方式，根据已经导入到平台中的作业模板配置映射关系，而不用通过studio进行模型开发即可完成批量数据处理工作。其整体过程为：选择模板选择区选择库批量表配置变量配置服务器配，平台在线开发基础模板包含以下几类：
  
  全量同步；
  
  HBase到文件同步
  
  全文对比同步、
  
  触发器同步
  
  时间戳同步
  
  数据库到文件同步
  
  全量同步
  
  文件到数据库同步
  
  MySQLtoHBASE数据脱敏
  
  CanalClientToHBase同步
  
  DBToHbase
  
  MongoDBToHBaseSingleTable
  
  MongoDBToHBase
  
  DBToDBDesensitization。
  
  图3 在线作业服务开发
1. 离线作业服务开发
   对于复杂的作业服务，提供独立的开发工具(DSP Studio)，使开发期和运行期分开，支持多种协议，可通过使用图形化界面进行快速开发，满足用户个性化的需求。功能上与平台具备从设计、开发、组装、调试、维护、部署、管理和发布一体的集成开发环境。同时，具有向导、视图和编辑器等工具供开发人员在开发过程中使用。
  
  对于离线作业开发，支持离线数据模型部署在数据服务共享平台。
  
  图4 离线作业服务开发

非结构化
 非结构化数据服务支持文件的传输配置。通过文件传输配置能够将相应的文件资源传输给消费方。其主要功能包括：

新建文件传输配置。

编辑文件传输配置。

删除文件传输配置。

文件传输配置支持一对一、一对多传输；支持文件传输策略的配置。

图5 非结构化1

图6 非结构化2

上一篇：数据管理与分析-数据服务开发:作业模板开发

下一篇：数据管理与分析-数据服务开发:作业模板开发

数据管理与分析-数据服务开发:批量数据服务

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题