数据湖探索 DLI-弹性资源池概述:弹性资源池架构和优势
弹性资源池架构和优势
弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。
弹性资源池的优势主要体现在以下几个方面:
- 统一资源管理
- 统一管理内部多集群和调度作业,规模可以到百万核级别。
- 多AZ部署,支持跨AZ高可用。(暂未实现,后续版本支持)
- 租户资源隔离
不同队列之间资源隔离,减少队列之间的相互影响。
- 分时按需弹性
- 秒级动态扩容,从容应对流量洪峰和资源诉求。
- 支持分时设置队列优先级和配额,提高资源利用率。
- 作业级资源隔离(暂未实现,后续版本支持)
支持独立Spark实例运行SQL作业,减少作业间相互影响。
- 自动弹性(暂未实现,后续版本支持)
基于队列负载和优先级实时自动更新队列配额。
弹性资源池解决方案主要解决了以下问题和挑战。
维度 |
原有队列,无弹性资源池时 |
弹性资源池 |
---|---|---|
扩容时长 |
手工扩容时间长,扩容时长在分钟级别 |
不需要手工干预,秒级动态扩容。 |
资源利用率 |
不同队列之间资源不能共享。 例如:队列1当前还剩余10CU资源,队列2当前负载高需要扩容时,队列2不能使用队列1中的资源,只能单独对队列2进行扩容。 |
添加到同一个弹性资源池的多个队列,CU资源可以共享,达到资源的合理利用。 |
配置跨源时,必须为每个队列分配不重合的网段,占用大量VPC网段。 |
多队列通过弹性资源池统一进行网段划分,减少跨源配置的复杂度。 |
|
资源调配 |
多个队列同时扩容时不能设置优先级,在资源不够时,会导致部分队列扩容申请失败。 |
您可以根据当前业务波峰和波谷时间段,设置各队列在弹性资源池中的优先级,保证资源的合理调配。 |
弹性资源池主要包括如下基本操作: