华为云计算 云知识 存算分离,让美图处理海量数据的资源利用率提升40%
存算分离,让美图处理海量数据的资源利用率提升40%

内容简介:

随着业务数据量指数级增长,美图的IDC大数据中心机房空间有限,设备老旧,采购扩容周期长,无法快速扩展支撑业务的增长,同时IDC大数据计算资源和存储资源耦合,无法按计算和存储不同的增长规律分别动态扩缩容,整体资源利用率低,数据存在多份拷贝,存储资源冗余,另外在IDC大数据中心机房自建大 数据集 群,采用开源软件,需要投入大量人力维护开源软件的功能Bug、可靠性和稳定性等问题,大数据集群的资源扩缩容、网络带宽调整、大数据本地磁盘的损坏,都需要IT运维,运维工作量大,人力投入成本高。

美图采用了华为云大数据存算分离方案,统一 数据湖 ,实现了一份数据自由流动,避免重复拷贝,支持多元计算和AI创新,数据快速变现,数据文件存储规模无限扩展,打破单集群限制,解决运维痛点,同时对计算与存储资源进行解耦,存储不足扩存储,计算不足扩计算,面对数据激增的浪涌 弹性伸缩 ,资源灵活部署,计算存储资源利用率整体提升40%。

内容大纲:

1、 智能数据湖 技术趋势发展;

2、MRS智能数据湖架构&存算分离关键技术介绍;

3、美图大数据搬迁存算分离案例解读。

听众收益:

1、了解业界数据湖技术发展趋势;

2、了解MRS智能数据湖关键技术;

3、了解 互联网行业数据湖实践方案。

上一篇:高防CDN究竟是如何防御网络攻击的? 下一篇:文字识别全景实践课

基于OBS配置大数据存算分离集群

基于OBS配置大数据存算分离集群