华为云基因行业解决方案介绍
华为云基因行业方案简介
华为云围绕基因数据的传输、分析、存储、访问、交付和数据挖掘等不同场景,提供数据管理、高性能计算集群、容器化工作流管理和基因数据AI使能等场景化解决方案,帮助基因客户快速实现业务云化,并享受云计算的技术红利
行业趋势
基因行业发展趋势
受疫情刺激,基因测序技术已获得广泛认可,其中20年H1基因企业融资同比增长287%,基因大数据的积累及其转化应用将出现井喷式发展,企业发展将面临”大而全“或”小而精“的战略选择,因此高性能、可扩展、经济的IT技术平台是生信技术高速发展的重要底座
从CPU算力,到异构计算加速
从本地存储和硬盘邮寄,到网络交互
从数据归档,到数据应用
展开
业务挑战
业务挑战
-
业务旺季,项目积压,需可伸缩的IT资源
测序业务一般为项目型,有明显淡季和旺季之分,旺季业务量可能是淡季的10倍以上,本地资源不足以支撑峰值资源需求测序业务一般为项目型,有明显淡季和旺季之分,旺季业务量可能是淡季的10倍以上,本地资源不足以支撑峰值资源需求 -
协同办公,环境共用,需精细化管理成本
服务器运行多种业务,参数配置和分析耗时均不同(如30X的WGS耗时从6小时到40小时),无法准确统计单项目的资源利用率以及核算账单服务器运行多种业务,参数配置和分析耗时均不同(如30X的WGS耗时从6小时到40小时),无法准确统计单项目的资源利用率以及核算账单
-
软件繁多,配置繁琐,需简化环境部署
业务软件多达上千款,流程搭建和软件升级过程中的配置工作繁琐且软硬件强耦合,环境部署工作需几小时甚至几天才能完成,部署效率低下业务软件多达上千款,流程搭建和软件升级过程中的配置工作繁琐且软硬件强耦合,环境部署工作需几小时甚至几天才能完成,部署效率低下 -
参数调整,迭代升级,需优化历史流程
历史的分析流程缺少标准化管理工具和可视化分析工具,进行软件升级、参数调整和流程复现等工作,需耗费大量人力物力历史的分析流程缺少标准化管理工具和可视化分析工具,进行软件升级、参数调整和流程复现等工作,需耗费大量人力物力
解决方案架构
-
数据云上管理
-
高性能计算集群
-
容器化工作流管理
-
基因数据AI使能
数据云上管理架构
为基因数据的传输、存储、挖掘和共享等环节,提供全生命周期的高带宽、高性能、高安全和高可靠的网络/存储/安全等服务,简化数据管理并为用户创造新的商业模式
方案优势
● OBS提供标准、低频、归档和深度归档四种类型,最低0.014元/GB/月,提供3AZ特性,可达4个9可用性、11个9持久性
● SFS提供容量型、标准型和性能型等多款配置,可达99.95%的可用性和10个9持久性
● 提供OBS-Browser、obsutil和SDK等多种配套工具,适配Windows/Linux操作系统,可与本地业务流无缝对接
● 基于公有云内网交付,可达XXGbps的传输带宽,下游客户获取数据后可直接开展测序分析
● 可设置策略配置URL下载地址、有效时长和提取密码等,保障数据传输安全
● 上传下载提供MD5一致性校验,保证数据一致性
● 工具一键式完成子账户数据访问权限配置
高性能计算集群架构
提供一键式弹性伸缩的高性能计算集群,支持常用调度软件(例如SGE/PBS/Slurm等)的自动化部署,并可统一纳管云上/云下多种规格的计算节点
架构优势
● 多规格计算实例,按需使用,秒级发放
● 全国独家提供96核2T裸金属服务器
● 针对行业提供高性价比的C6、C6和P2v的计算实例,测序耗时降低30%
● SFS支持一键挂载,在线容量调整,带宽可达10GB,IOPS可达10K
● OBS提供POSIX接口,可直接用于数据读取,共享存储成本下降60%
● 支持数据定期删除和自动归档
● 统一管理和调度对本地机房计算资源和公有云计算资源
● 集群支持X86和鲲鹏算力混合调度
建议搭配使用

容器化工作流管理架构
采用Serverless容器底座,提供基因数据分析领域各类场景下全容器化的基因容器服务,为工作流管理、流程加速和资源管控提供一站式解决方案
优势
● 多种主流第三方流程引擎,开箱即用
● 图形化流程设计器,所见即所得
● 全自动SGE集群管理,无缝迁移上云
● 容器化Cromwell引擎、支持WDL语法
● 硬件卸载,确保资源100%投入业务生产
● 按需按秒计费、急速弹性并发能力
● 容器规格灵活配比,精细粒度话单管理
● 采用Serverless模式,无需关心集群资源管理
● 全容器技术,解除软件和环境的依赖
● 支持标准引擎+标准语法,任意环境可复现
基因数据AI使能架构
基于云计算、大数据和人工智能的技术优势,为基因测序、临床研究和药物研发分析提供多维一体化的医疗智能体解决方案
架构优势
一站式集成化的测序分析平台
● 丰富的项目权限和用户角色管理体系
● 大规模混合集群的流程调度,兼容高性能集群和容器方案
● 单集群同时支持CPU、GPU和NPU等异构框架
● 完善、灵活的容器化流程编排
● 支持EB级对象存储和万级条目数据库的构建和秒级查询
● 内置应用市场,开箱即用,支持分享
● 融合大数据、人工智能和知识图谱能力
● 预置AutoGenome等高阶基因组和多组学自动建模工具
● 支持各类硬件基础设施资源
● 支持公有云、HCSO同架构部署
建议搭配使用