数据湖探索 DLI-弹性资源池概述:弹性资源池架构和优势

时间:2024-05-11 08:28:51

弹性资源池架构和优势

弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。

图3 弹性资源池架构图

弹性资源池的优势主要体现在以下几个方面:

  • 统一资源管理
    • 统一管理内部多集群和调度作业,规模可以到百万核级别。
    • 多AZ部署,支持跨AZ高可用。(暂未实现,后续版本支持)
  • 租户资源隔离

    不同队列之间资源隔离,减少队列之间的相互影响。

  • 分时按需弹性
    • 秒级动态扩容,从容应对流量洪峰和资源诉求。
    • 支持分时设置队列优先级和配额,提高资源利用率。
  • 作业级资源隔离(暂未实现,后续版本支持)

    支持独立Spark实例运行SQL作业,减少作业间相互影响。

  • 自动弹性(暂未实现,后续版本支持)

    基于队列负载和优先级实时自动更新队列配额。

弹性资源池解决方案主要解决了以下问题和挑战。

维度

原有队列,无弹性资源池时

弹性资源池

扩容时长

手工扩容时间长,扩容时长在分钟级别

不需要手工干预,秒级动态扩容。

资源利用率

不同队列之间资源不能共享。

例如:队列1当前还剩余10CU资源,队列2当前负载高需要扩容时,队列2不能使用队列1中的资源,只能单独对队列2进行扩容。

添加到同一个弹性资源池的多个队列,CU资源可以共享,达到资源的合理利用。

配置跨源时,必须为每个队列分配不重合的网段,占用大量VPC网段。

多队列通过弹性资源池统一进行网段划分,减少跨源配置的复杂度。

资源调配

多个队列同时扩容时不能设置优先级,在资源不够时,会导致部分队列扩容申请失败。

您可以根据当前业务波峰和波谷时间段,设置各队列在弹性资源池中的优先级,保证资源的合理调配。

弹性资源池主要包括如下基本操作:

support.huaweicloud.com/usermanual-dli/dli_01_0504.html