应用场景

数据湖建设和持续运营

场景描述

数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。

传统方式的弊端

· 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对客户有一定的技能要求,缺少提升易用性的可视化界面。

· 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对客户操作带来不便,易用性差。

服务优势

· 一站式可视化数据湖构建:提供数据湖元数据统一定义和授权的可视化界面,支持客户便捷操作,快速构建。

· 联动授权:支持在元数据授权的同时,自动化完成元数据所映射的文件目录的授权,使客户授权操作更便捷和高效。

· 细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。

多计算引擎共享元数据

场景描述

多计算引擎共享元数据,是客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的数据拷贝,更大程度释放业务数据价值。

本服务的优势

· 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。

· 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。

产品优势

生态开放

生态开放

  • 遵循开源事实标准,支撑存量业务平滑演进

  • — 提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。


    — 提供兼容Ranger的权限接口,一次授权,统一生效。


    — 提供迁移工具,支持存量集群相关元数据的平滑迁移。


数智融合

数智融合

  • 打通大数据的数据壁垒,实现真正数智融合

  • —支持数据库、表、UDF模型、非结构化数据集等统一管理。


    — 实现统一的细粒度数据权限管理,支持跨服务/跨集群的数据共享。





大规格高可靠

大规格高可靠

  • 支撑超大规模大数据业务的高可靠

  • — 超大规模元数据管理能力。


    — 统一权限管理能力,支持海量细粒度权限管理。


    —支持多AZ的容灾能力。






简单易用

简单易用

  • 提供基于元数据的增值管理能力

  • —Serverless架构,开箱即用 。


    —提供数据湖管理、元数据统计等管理能力。






功能描述

  • 实例类别

    LakeFormation提供了共享、独享实例类别,满足不同场景下客户对性能和成本的不同诉求。共享型侧重性价比要求较高的场景。

    LakeFormation提供了共享、独享实例类别,满足不同场景下客户对性能和成本的不同诉求。

    具体介绍请参考:5.1 共享型(推荐)、5.2 独享型。

  • 实例管理

    LakeFormation提供实例的创建、总览、删除等基本功能,帮助您便捷的进行实例管理,加速实现数据湖承载的业务的规划和部署。

    LakeFormation提供实例的创建、总览、删除等基本功能,帮助您便捷的进行实例管理,加速实现数据湖承载的业务的规划和部署。

  • 元数据管理

    LakeFormation提供数据湖元数据Catalog、Database、Table的创建、修改、删除、查看等生命周期管理的功能。帮助您便捷的进行数据湖初始化构建以及持续运营,集中式的统一管理LakeFormation实例下所有的元数据,加速实现数据湖承载的业务的规划和部署。

    LakeFormation提供数据湖元数据Catalog、Database、Table的创建、修改、删除、查看等生命周期管理的功能。帮助您便捷的进行数据湖初始化构建以及持续运营,集中式的统一管理LakeFormation实例下所有的元数据,加速实现数据湖承载的业务的规划和部署。

  • 数据权限管理

    LakeFormation提供针对Catalog、Database、Table等数据资源的授权、取消、查看等功能。帮助您对数据湖实现便捷的统一的数据权限管理。

    LakeFormation提供针对Catalog、Database、Table等数据资源的授权、取消、查看等功能。帮助您对数据湖实现便捷的统一的数据权限管理。