网站首页 > 教程文章 正文
个人的观点,这种大表的优化,不一定上来就要分库分表,因为表一旦被拆分,开发、运维的复杂度会直线上升,而大多数公司和开发人员是欠缺这种能力的。
所以MySQL中几百万甚至小几千万的表,先考虑做单表的优化。
单表优化
单表优化可以从这几个角度出发:
1.表分区
MySQL在5.1之后才有的,可以看做是水平拆分,分区表需要在建表的需要加上分区参数,用户需要在建表的时候加上分区参数;
分区表底层由多个物理子表组成,但是对于代码来说,分区表是透明的;
SQL中的条件中最好能带上分区条件的列,这样可以定位到少量的分区上,否则就会扫描全部分区。
2.增加缓存
主要的思想就是减少对数据库的访问,缓存可以在整个架构中的很多地方;
比如:数据库本身有就缓存,客户端缓存,数据库访问层对SQL语句的缓存,应用程序内的缓存,第三方缓存(如Redis等);
3.字段设计
单表不要有太多字段;
VARCHAR的长度尽量只分配真正需要的空间;
尽量使用TIMESTAMP而非DATETIME;
避免使用NULL,可以通过设置默认值解决。
4.索引优化
索引不是越多越好,针对性地建立索引,索引会加速查询,但是对新增、修改、删除会造成一定的影响;
值域很少的字段不适合建索引;
尽量不用UNIQUE,不要设置外键,由程序保证;
5.索引优化
尽量使用索引,也要保证不要因为错误的写法导致索引失效;
比如:避免前导模糊查询,避免隐式转换,避免等号左边做函数运算,in中的元素不宜过多等等;
6.NoSQL
有一些场景,可以抛弃MySQL等关系型数据库,拥抱NoSQL;
比如:统计类、日志类、弱结构化的数据;事务要求低的场景。
表拆分
数据量进一步增大的时候,就不得不考虑表拆分的问题了:
1.垂直拆分
垂直拆分的意思就是把一个字段较多的表,拆分成多个字段较少的表;上文中也说过单表的字段不宜过多,如果初期的表结构设计的就很好,就不会有垂直拆分的问题了;一般来说,MySQL单表的字段最好不要超过二三十个。
2.水平拆分
就是我们常说的分库分表了;分表,解决了单表数据过大的问题,但是毕竟还在同一台数据库服务器上,所以IO、CPU、网络方面的压力,并不会得到彻底的缓解,这个可以通过分库来解决。
水平拆分优点很明显,可以利用多台数据库服务器的资源,提高了系统的负载能力;缺点是逻辑会变得复杂,跨节点的数据关联性能差,维护难度大(特别是扩容的时候)。
我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注;关注我后,可私信发送数字【1】,获取学习资料。
猜你喜欢
- 2025-05-02 《JDBC》第14节:JDBC之获取数据库中的表信息和表字段信息
- 2025-05-02 mysql数据库ORDER BY优化总结(为排序使用索引)
- 2025-05-02 无法获取新增ID值问题排查(无法获取iccid什么意思)
- 2025-05-02 MySQL实现字段分割(一行转多行)(mysql 一行变多行)
- 2025-05-02 MySQL批量生成建表语句(mysql怎么批量造数据)
- 2025-05-02 Python mysql批量更新数据(兼容动态数据库字段、表名)
- 2025-05-02 Mysql中通过关联update将一张表的一个字段更新到另外一张表中
- 2025-05-02 MySQL多行数据合并为一个字段的方法
- 最近发表
- 标签列表
-
- location.href (44)
- document.ready (36)
- git checkout -b (34)
- 跃点数 (35)
- 阿里云镜像地址 (33)
- qt qmessagebox (36)
- md5 sha1 (32)
- mybatis plus page (35)
- semaphore 使用详解 (32)
- update from 语句 (32)
- vue @scroll (38)
- 堆栈区别 (33)
- 在线子域名爆破 (32)
- 什么是容器 (33)
- sha1 md5 (33)
- navicat导出数据 (34)
- 阿里云acp考试 (33)
- 阿里云 nacos (34)
- redhat官网下载镜像 (36)
- srs服务器 (33)
- pico开发者 (33)
- https的端口号 (34)
- vscode更改主题 (35)
- 阿里云资源池 (34)
- os.path.join (33)