天才少年招聘 分布式系统调度
分布式系统调度
领域方向:存储
职位名称: 云存储专家
分布式系统调度
  • 存储
  • 云存储专家

挑战课题方向简介

研究分布式系统中存储、网络、计算资源的调度,实现资源共享与隔离能力,预测与调度能力:

1、解决资源占用波峰波谷重叠问题(例如DCN物理网络),将资源趋同性业务分开以削峰填谷,将资源互补型业务混合部署提高资源利用率。例如避免带宽型业务在region内扎堆到同一个集群,带来一个集群吞吐被打爆其他集群资源空闲。例如全球不同时区的离线业务可以时分复用,离线业务和在线业务时分复用;

2、感知业务行为,预先调度数据。例如电商批量建站行为大量拉取 ECS 系统盘快照 或 docker 镜像,此时存储(EVS/OBS)可以感知计算业务(ECS/CCE)的行为,由于这类快照和镜像具有高度趋同性(上千个实例使用同一个镜像),可以就近预加载,加速ECS、CCE批量启动时间,做到万级ECS/CCE实例秒级拉起,同时可以极大减少存储 incast 热点读。再例如分布式数据库计算节点failover场景下通过binlog、redo/undo log进行恢复,此时可以将这些log文件预先加载到近计算侧存储,加速上层业务恢复时间,提升业务侧SLO;

3、故障隔离和逃逸。例如在 DCN 物理网络中,大多通过五元组hash选路,如何利用server之间的mult-path提高吞吐利用率,如何利用网络mult-path通路构造故障逃逸通道,减少DCN网元故障的爆炸半径,缩短逃逸时间。

 

投递方式

邮箱发送到cloudrecruit@huawei.com,邮件标题及简历附件命名方式:天才少年招聘+姓名+学校+挑战课题方向。