解决方案架构

架构简介

鲲鹏分布式存储解决方案,是以鲲鹏硬件平台为底座,依托鲲鹏硬件的自研CPU、网卡、SSD、管理芯片、AI芯片的全方位整体优势,结合开源Ceph分布式存储软件,为客户提供块存储、文件存储、对象存储服务的分布式存储解决方案。

块存储

Ceph RBD(Ceph Block Device)为客户端提供了可靠、分布式、高性能的块存储。Ceph块设备完全支持云平台,例如OpenStack等

文件存储

CephFS使用Ceph集群提供与POSIX兼容的文件系统,允许Linux直接将Ceph存储mount到本地,客户端通过挂载目录使用Ceph提供的存储

对象存储

对象存储对外通过接口提供读写访问功能。不仅具有块存储的读写高速,还具有文件存储的共享等特性,适合于更新变动较少的场景,如图片存储、视频存储

解决方案优势

  • 高性能

    多核并发数据存储,全闪存存储性能提升最高20%

  • 数据压缩

    处理器集成硬件压缩引擎,存储性能提升15%

  • 开放生态

    支持开源Ceph和第三方软件,支持TaiShan与x86服务器融合部署

Document
应用迁移向导
块存储场景
文件存储场景
对象存储场景
01 部署
Ceph是一个统一的分布式存储系统,能够提供较好的性能、可靠性和可扩展性。Ceph块存储支持手动安装和使用自动化工具安装两种方式。
自动化工具安装参考文档
Ceph自动部署指南(CentOS 7.6)
自动化安装工具下载
Ceph自动化安装套件
02 调优
块存储调优主要分均衡型配置调优和高性能配置调优。根据实际场景选择一种配置进行调优即可。
*均衡性配置调优:指以机械硬盘(HDD)作为数据盘,并配置适量固态硬盘(SSD)作为db/wal分区、元数据存储池的场景。
*高性能配置调优:指所有数据盘都是用固态硬盘(SSD)的场景。
参考文档
Ceph块存储 调优指南(鲲鹏920)
Ceph 14.2.1 移植指南(CentOS 7.6)

均衡性配置调优场景下,可以使用SSD来作为HDD硬盘的cache,从而起到加速作用。Bcache内核模块需要重新编译内核使能

自动化工具安装参考文档
Ceph自动化安装工具 用户指南
03 扩容
Ceph支持TaiShan与x86混合部署,保护现有投资,按需横向扩展,性能、容量线性提升。混合部署时,需要确保待扩容节点和已有节点上的Ceph软件版本和OS版本相同。
参考文档
Ceph 扩容指南
01 部署
Ceph是一个统一的分布式存储系统,能够提供较好的性能、可靠性和可扩展性。Ceph文件存储支持手动安装和使用自动化工具安装两种方式。
自动化工具安装方式参考文档
Ceph自动部署指南(CentOS 7.6)
自动化安装工具下载
Ceph自动化安装套件
02 调优
Ceph文件存储调优手段包括硬件层面和软件配置层面的优化,暂不涉及软件代码层面的优化。通过调整系统和Ceph配置参数,Ceph可以更充分的发挥系统硬件性能。Ceph PG分布调优和OSD绑核旨在让磁盘负载更平均,避免个别OSD成为瓶颈。此外,用NVMe SSD做Bcache也可以提升性能。
参考文档
Ceph块存储 调优指南(鲲鹏920)
Ceph 14.2.1 移植指南(CentOS 7.6)

Bcache是Linux内核块层cache,它可以使用SSD来作为HDD硬盘的cache,从而起到加速作用。Bcache内核模块需要重新编译内核使能

03 扩容
Ceph支持TaiShan与x86混合部署,保护现有投资,按需横向扩展,性能、容量线性提升。混合部署时,需要确保待扩容节点和已有节点上的Ceph软件版本和OS版本相同。
扩容参考文档
Ceph 扩容指南
01 部署
Ceph是一个统一的分布式存储系统,能够提供较好的性能、可靠性和可扩展性。Ceph对象存储支持手动安装和使用自动化工具安装两种方式。
自动化工具安装方式参考文档
Ceph自动部署指南(CentOS 7.6)
自动化安装工具下载
Ceph自动化安装套件
02 调优
对象存储调优主要分冷存储配置调优、均衡型配置调优和高性能配置调优。根据实际场景选择一种配置进行调优即可。
*冷存储配置调优:指所有数据盘都是机械硬盘(HDD)的场景,即db/wal分区、元数据存储池都使用机械硬盘。
*均衡性配置调优:指以机械硬盘(HDD)作为数据盘,并配置适量固态硬盘(SSD)作为db/wal分区、元数据存储池的场景。
*高性能配置调优:指所有数据盘都是用固态硬盘(SSD)的场景。
03 扩容
Ceph支持TaiShan与x86混合部署,保护现有投资,按需横向扩展,性能、容量线性提升。混合部署时,需要确保待扩容节点和已有节点上的Ceph软件版本和OS版本相同。
扩容参考文档
Ceph 扩容指南
应用迁移向导
块存储场景 文件存储场景 对象存储场景
  • 部署
  • 调优
  • 扩容
Ceph是一个统一的分布式存储系统,能够提供较好的性能、可靠性和可扩展性。Ceph块存储支持手动安装和使用自动化工具安装两种方式。
自动化工具安装方式参考文档
Ceph自动部署指南(CentOS 7.6)
自动化安装工具下载
Ceph自动化安装套件
块存储调优主要分均衡型配置调优和高性能配置调优。根据实际场景选择一种配置进行调优即可。
*均衡性配置调优:指以机械硬盘(HDD)作为数据盘,并配置适量固态硬盘(SSD)作为db/wal分区、元数据存储池的场景。
*高性能配置调优:指所有数据盘都是用固态硬盘(SSD)的场景。
参考文档
Ceph块存储 调优指南(鲲鹏920) Ceph 14.2.1 移植指南(CentOS 7.6)

均衡性配置调优场景下,可以使用SSD来作为HDD硬盘的cache,从而起到加速作用。Bcache内核模块需要重新编译内核使能

Ceph支持TaiShan与x86混合部署,保护现有投资,按需横向扩展,性能、容量线性提升。混合部署时,需要确保待扩容节点和已有节点上的Ceph软件版本和OS版本相同。
参考文档
Ceph 扩容指南
  • 部署
  • 调优
  • 扩容
Ceph是一个统一的分布式存储系统,能够提供较好的性能、可靠性和可扩展性。Ceph文件存储支持手动安装和使用自动化工具安装两种方式。
自动化工具安装方式参考文档
Ceph自动部署指南(CentOS 7.6)
自动化安装工具下载
Ceph自动化安装套件
Ceph文件存储调优手段包括硬件层面和软件配置层面的优化,暂不涉及软件代码层面的优化。通过调整系统和Ceph配置参数,Ceph可以更充分的发挥系统硬件性能。Ceph PG分布调优和OSD绑核旨在让磁盘负载更平均,避免个别OSD成为瓶颈。此外,用NVMe SSD做Bcache也可以提升性能。
参考文档
Ceph文件存储 调优指南(鲲鹏920) Ceph 14.2.1 移植指南(CentOS 7.6)

Bcache是Linux内核块层cache,它可以使用SSD来作为HDD硬盘的cache,从而起到加速作用。Bcache内核模块需要重新编译内核使能

Ceph支持TaiShan与x86混合部署,保护现有投资,按需横向扩展,性能、容量线性提升。混合部署时,需要确保待扩容节点和已有节点上的Ceph软件版本和OS版本相同。
扩容参考文档
Ceph 扩容指南
  • 部署
  • 调优
  • 扩容
Ceph是一个统一的分布式存储系统,能够提供较好的性能、可靠性和可扩展性。Ceph对象存储支持手动安装和使用自动化工具安装两种方式。
自动化工具安装方式参考文档
Ceph自动部署指南(CentOS 7.6)
自动化安装工具下载
Ceph自动化安装套件
对象存储调优主要分冷存储配置调优、均衡型配置调优和高性能配置调优。根据实际场景选择一种配置进行调优即可。
*冷存储配置调优:指所有数据盘都是机械硬盘(HDD)的场景,即db/wal分区、元数据存储池都使用机械硬盘。
*均衡性配置调优:指以机械硬盘(HDD)作为数据盘,并配置适量固态硬盘(SSD)作为db/wal分区、元数据存储池的场景。
*高性能配置调优:指所有数据盘都是用固态硬盘(SSD)的场景。
Ceph支持TaiShan与x86混合部署,保护现有投资,按需横向扩展,性能、容量线性提升。混合部署时,需要确保待扩容节点和已有节点上的Ceph软件版本和OS版本相同。
扩容参考文档
Ceph 扩容指南