检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本服务中指的是华为云上数据仓库,如DWS、DLI、MRS Hive等。 数据湖工厂 数据湖工厂(Data lake Factory)提供一站式的大数据开发环境、全托管的大数据调度能力。
数据湖工厂(Data Lake Factory,简称数据开发模块)是华为云的大数据平台产品,提供一站式的大数据协同开发环境、全托管的大数据调度能力,同时支持批处理、实时Pipeline编排、监控、运维,图形化编程(图形化编程可以减少80% SQL),帮助用户快速构建大数据处理中心。
社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
数据表 新建数据表(可视化模式) 新建数据表(DDL模式) 查看表详情 删除数据表 父主题: 数据管理
Rest Client 功能 通过Rest Client节点执行一个华为云内的RESTful请求,目前只支持IAM Token认证鉴权方式的RESTful请求。 参数 用户可参考表1,表2和表3配置Rest Client节点的参数。
数据连接 创建数据连接 编辑数据连接 删除数据连接 导出数据连接 导入数据连接 父主题: 数据管理
Open/Close Resource 功能 通过Open/Close Resource节点按需开启或关闭华为云服务。 参数 用户可参考表1和表2配置Open/Close Resource节点的参数。
将DLF资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLF服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1图1-1所示。
IAM权限管理 创建用户并授权使用DLF
回答 消息语言的修改方法如图1所示: 图1 修改通知消息语言 在华为云控制台右上方,单击用户名,进入账号中心页面。 单击“首选项设置”。 选择“消息接收设置”页签,配置消息语言为“English”,同时还可以修改消息的时区。
图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域?
该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。
产品概述 数据湖工厂服务(Data Lake Factory,简称数据开发模块)是华为云大数据重要的平台产品,它可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
运维调度 运维概览 作业监控 实例监控 补数据监控 通知管理 备份和还原资产
数据库模式 新建数据库模式 修改数据库模式 删除数据库模式 父主题: 数据管理
应用场景 云上数仓快速搭建 通过数据开发模块将线下数据迁移到华为云上,将数据集成到华为云大数据服务中,并在数据开发模块中进行数据开发。
数据管理的使用流程如下: 图1 数据管理 创建数据连接,连接华为云的相关服务。 通过与相应服务建立连接,在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 父主题: 数据管理
数据湖工厂服务是华为云的大数据平台产品,提供一站式的大数据协同开发环境、全托管的大数据调度能力,同时支持批处理、实时Pipeline编排、监控、运维,图形化编程(图形化编程可以减少80% SQL),帮助用户快速构建大数据处理中心。
修订记录 发布日期 修改说明 2020-08-12 第七次正式发布。 新增章节: 配置委托,支持创建委托,作业执行过程中,以委托的身份与其他服务交互。 MRS Flink Job,新增此节点。 屏蔽 函数描述。 2019-09-30 第六次发布。 新增PRESTO SQL脚本,修改新建脚本
环境准备 请执行以下步骤访问数据开发模块控制台: 访问华为云管理控制台。 单击管理控制台左上角的,选择区域和项目。 在首页“所有服务”中,选择“EI企业智能 > 数据湖工厂”,进入数据开发模块服务的总览页面。