精选文章 MySQL:互联网公司常用分库分表方案汇总

MySQL:互联网公司常用分库分表方案汇总

作者:ITMuch.com 时间: 2020-07-28 09:20:00
ITMuch.com 2020-07-28 09:20:00

点击上方 IT牧场 ,选择 置顶或者星标

技术干货每日送达!

作者:尜尜人物

cnblogs.com/littlecharacter/p/9342129.html

本文目录

一、数据库瓶颈

  • IO瓶颈

  • CPU瓶颈

二、分库分表

  • 水平分库

  • 水平分表

  • 垂直分库

  • 垂直分表

三、分库分表工具

四、分库分表步骤

五、分库分表问题

  • 非partition key的查询问题

  • 非partition key跨库跨表分页查询问题

  • 扩容问题

六、分库分表总结

七、分库分表示例

一、数据库瓶颈

不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。

1、IO瓶颈

第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度 -> 分库和垂直分表。

第二种:网络IO瓶颈,请求的数据太多,网络带宽不够 -> 分库。

2、CPU瓶颈

第一种:SQL问题,如SQL中包含join,group by,order by,非索引字段条件查询等,增加CPU运算的操作 -> SQL优化,建立合适的索引,在业务Service层进行业务计算。

第二种:单表数据量太大,查询时扫描的行太多,SQL效率低,CPU率先出现瓶颈 -> 水平分表。

二、分库分表

1、水平分库

MySQL:互联网公司常用分库分表方案汇总1

概念:以字段为依据,按照一定策略(hash、range等),将一个库中的数据拆分到多个库中。

结果:

  • 每个库的结构都一样;

  • 每个库的数据都不一样,没有交集;

  • 所有库的并集是全量数据;

场景:系统绝对并发量上来了,分表难以根本上解决问题,并且还没有明显的业务归属来垂直分库。

分析:库多了,io和cpu的压力自然可以成倍缓解。

2、水平分表

MySQL:互联网公司常用分库分表方案汇总2

概念:以字段为依据,按照一定策略(hash、range等),将一个表中的数据拆分到多个表中。

结果:

  • 每个表的结构都一样;

  • 每个表的数据都不一样,没有交集;

  • 所有表的并集是全量数据;

场景:系统绝对并发量并没有上来,只是单表的数据量太多,影响了SQL效率,加重了CPU负担,以至于成为瓶颈。推荐:一次SQL查询优化原理分析

分析:表的数据量少了,单次SQL执行效率高,自然减轻了CPU的负担。

3、垂直分库

MySQL:互联网公司常用分库分表方案汇总3

概念:以表为依据,按照业务归属不同,将不同的表拆分到不同的库中。

结果:

  • 每个库的结构都不一样;

  • 每个库的数据也不一样,没有交集;

  • 所有库的并集是全量数据;

场景:系统绝对并发量上来了,并且可以抽象出单独的业务模块。

分析:到这一步,基本上就可以服务化了。例如,随着业务的发展一些公用的配置表、字典表等越来越多,这时可以将这些表拆到单独的库中,甚至可以服务化。再有,随着业务的发展孵化出了一套业务模式,这时可以将相关的表拆到单独的库中,甚至可以服务化。

4、垂直分表

MySQL:互联网公司常用分库分表方案汇总4

概念:以字段为依据,按照字段的活跃性,将表中字段拆到不同的表(主表和扩展表)中。

结果:

  • 每个表的结构都不一样;

  • 每个表的数据也不一样,一般来说,每个表的字段至少有一列交集,一般是主键,用于关联数据;

  • 所有表的并集是全量数据;

场景:系统绝对并发量并没有上来,表的记录并不多,但是字段多,并且热点数据和非热点数据在一起,单行数据所需的存储空间较大。以至于数据库缓存的数据行减少,查询时会去读磁盘数据产生大量的随机读IO,产生IO瓶颈。

分析:可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据(可能会冗余经常一起查询的数据)放在一起作为主表,非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来,进而减少了随机读IO。拆了之后,要想获得全部数据就需要关联两个表来取数据。

但记住,千万别用join,因为join不仅会增加CPU负担并且会讲两个表耦合在一起(必须在一个数据库实例上)。关联数据,应该在业务Service层做文章,分别获取主表和扩展表数据然后用关联字段关联得到全部数据。

三、分库分表工具

  • sharding-sphere:jar,前身是sharding-jdbc;

  • TDDL:jar,Taobao Distribute Data Layer;

  • Mycat:中间件。

注:工具的利弊,请自行调研,官网和社区优先。

四、分库分表步骤

根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。

扩展:MySQL:分库分表与分区的区别和思考

五、分库分表问题

1、非partition key的查询问题

基于水平分库分表,拆分策略为常用的hash法。

端上除了partition key只有一个非partition key作为条件查询

映射法

MySQL:互联网公司常用分库分表方案汇总5

基因法

MySQL:互联网公司常用分库分表方案汇总6

注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,23=8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。

根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用snowflake算法。

端上除了partition key不止一个非partition key作为条件查询

映射法

MySQL:互联网公司常用分库分表方案汇总7

冗余法

MySQL:互联网公司常用分库分表方案汇总8

注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置!有其他好的办法吗?改变技术栈呢?

后台除了partition key还有各种非partition key组合条件查询

NoSQL法

MySQL:互联网公司常用分库分表方案汇总9

冗余法

MySQL:互联网公司常用分库分表方案汇总10

2、非partition key跨库跨表分页查询问题

基于水平分库分表,拆分策略为常用的hash法。

注:用NoSQL法解决(ES等)。

3、扩容问题

基于水平分库分表,拆分策略为常用的hash法。

水平扩容库(升级从库法)

MySQL:互联网公司常用分库分表方案汇总11

注:扩容是成倍的。

水平扩容表(双写迁移法)

MySQL:互联网公司常用分库分表方案汇总12

  • 第一步:(同步双写)修改应用配置和代码,加上双写,部署;

  • 第二步:(同步双写)将老库中的老数据复制到新库中;

  • 第三步:(同步双写)以老库为准校对新库中的老数据;

  • 第四步:(同步双写)修改应用配置和代码,去掉双写,部署;

注:双写是通用方案。

六、分库分表总结

  • 分库分表,首先得知道瓶颈在哪里,然后才能合理地拆分(分库还是分表?水平还是垂直?分几个?)。且不可为了分库分表而拆分。

  • 选key很重要,既要考虑到拆分均匀,也要考虑到非partition key的查询。

  • 只要能满足需求,拆分规则越简单越好。

七、分库分表示例

示例GitHub地址:https://github.com/littlecharacter4s/study-sharding

干货分享

最近将个人学习笔记整理成册,使用PDF分享。关注我,回复如下代码,即可获得百度盘地址,无套路领取!

•001:《Java并发与高并发解决方案》学习笔记;•002:《深入JVM内核——原理、诊断与优化》学习笔记;•003:《Java面试宝典》•004:《Docker开源书》•005:《Kubernetes开源书》•006:《DDD速成(领域驱动设计速成)》•007:全部•008:加技术群讨论

近期热文

LinkedBlockingQueue vs ConcurrentLinkedQueue解读Java 8 中为并发而生的 ConcurrentHashMapRedis性能监控指标汇总最全的DevOps工具集合,再也不怕选型了!微服务架构下,解决数据库跨库查询的一些思路聊聊大厂面试官必问的 MySQL 锁机制

关注我

MySQL:互联网公司常用分库分表方案汇总13

喜欢就点个"在看"呗^_^

勿删,copyright占位
分享文章到微博
分享文章到朋友圈

上一篇:sql组合键设置外键_学习SQL:外键

下一篇:成功解决启动SQLServer失败,根据错误信息判断错误故障

您可能感兴趣

  • 全数字化业务敏捷能力是数字经济环境下决定企业生死的关键能力

    一、全数字化业务敏捷能力是新数字时代的要求 数字经济时代,任何企业都逃脱不了全数字化的旋涡。数字化时代的特征就是信息技术变革、商业模式创新和生态产业融合的步伐越来越快。新的竞争对手具有天然的创新能力、快速反应能力等竞争优势,这将大大削弱处于市场领导企业的影响力或彻底革了他们的命。那么,这些巨型企业该如何应对呢? 1、数字化时代的商业模式 企业要想利于不败之地就要建立适应时代的商业模式,为客户...

  • 【技术史】数据中台的前世今生

    数据中台自14年至今,已然成为了2B、2G业务最热门的话题,政府机构、企事业单位、互联网公司等进行着数字化、数据化、智能化转型。市场普遍认为,阿里巴巴将自身数据中台建设能力对外赋能是拉起本轮数据中台浪潮的根本所在。 本文将带你全面了解阿里巴巴做数据中台的历史。 1、缘起 在2014年以前,阿里巴巴有很多条业务线,都有自己的ETL团队,每个ETL团队建设和维护自己的数据体系。当时许多人认为,这...

  • 计算机必备专用英语词汇

    非常好的单词整理,转载一下当作笔记 1.单词说明:   command n. 命令,指令 [kə'mɑ:nd]   单词拼写 名词 单词含义 音标(发音)   提示:着重记忆单词对应的意思,有能力最好词性也记忆。 2.词性说明: n v vi vt conj prep pron adj adv 名词 动词 非及物动词 及物动词 连词 介词 代词 形容词 副词 3.单词列表: 1.file,n...

  • B 站疯传,堪称最强,一整套数据分析课程,学完月薪30K+!

    2020魔幻之年,疫情下就业大受影响,很多岗位缩招,而数据分析相关工作岗位恋习Python(如数据分析师、数据挖掘师等岗位)却在增加。非专业数据分析岗位(如运营、市场、销售等岗位)也要求“数据分析”能力。大数据时代的未来,数据分析将是每个岗位的必备技能。 很多人知道数据分析非常重要,下载了一些资料,却觉得无从下手,很难学。为你推荐奈学教育精心打造的“全栈大数据分析师”课程, 本课通过多业务场...

  • 单日课程超10万节!VIPKID 如何通过实时计算提升上课体验?

    行业解决方案、产品招募中!想赚钱就来传!>>> 摘要:对于以互联网形式的在线教育来说,实时计算应用的场景非常之多,如何通过数据计算来更快、更高效地反馈学习效果保证课程质量是在线教育领域不断探索的主题。本文将从以下四个部分分享,与大家探讨在直播上课过程中如何通过实时计算来提高人效以及系统处理能力。 VIPKID 介绍 核心业务场景 技术实现 总结 Tips: 查看更多最佳实践文章可点击文末链接...

  • SQL Server安全机制–如何控制用户能够在报告中查看哪些数据

    介绍 ( Introduction ) A few years back, a client asked me to implement a quick and dirty “security mechanism” to control what data the myriad of users were able to view within their reports. There we...

  • mysql 查询最顶级_2018顶级MySQL博客作者

    mysql 查询最顶级 We made a collection of the most popular MySQL bloggers, including a link to each individual blog. The ranking is based on Alexa global score as of April 25, 2019. 我们收集了一些最受欢迎MySQL博客,包括...

  • 什么是微服务?如何建立微服务意识?

    什么是微服务 既然提到了微服务 就不得不介绍一下他们 Springcloud Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,都可以用Spring Boot的开发风格做到一键启动和部署。 dubbo Dubbo是Alibaba开源的分布式服务框架,它...

华为云40多款云服务产品0元试用活动

免费套餐,马上领取!
CSDN

CSDN

中国开发者社区CSDN (Chinese Software Developer Network) 创立于1999年,致力为中国开发者提供知识传播、在线学习、职业发展等全生命周期服务。