百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

为什么大厂不建议使用多表join?(多表join执行过程)

yuyutoo 2025-03-19 04:01 6 浏览 0 评论

前言:

在数据库中,JOIN 是一种操作,用于将多个表中的数据联接起来。通过 JOIN 操作,可以根据表之间的关联关系,将相关联的数据合并到一起,以便进行更复杂的查询和分析。那么为什么不推荐使用多表进行join关联查询呢?

分析

之所以不建议使用join查询,最主要的原因就是join的效率比较低。

MVSQL是使用了嵌套循环(Nested-Loop Join)的方式来实现关联查询的,简单点说就是要通过两层循环用第一张表做外循环,第二张表做内循环,外循环的每一条记录跟内循环中的记录作比较,符合条件的就输出。

而具体到算法实现上主要有simple nested loop,block nested loop和index nested loop这三种。而且这种的效率都没有特别高。

MySQL是使用了嵌套循环(Nested-Loop Join)的方式来实现关联查询的,如果有2张表join的话,复杂度最高是O(n^2),3张表则是O(n^3).随着表越多,表中的数据量越多,JOIN的效率会呈指数级下降。

PS:MySQL8.0中新增了 hash join算法。

扩展说明

在MySQL中,可以使用JOIN 在两个或多个表中进行联合查询,join有三种,分别是inner join、leftjoin 和right join。

INNER JOIN(内连接,或等值连接):获取两个表中字段匹配关系的记录。取两个表的交集部分。

LEFT JOIN(左连接):获取左表所有记录,即使右表没有对应匹配的记录。取两个表的交集部分+左表中的数据。

RIGHT JOIN(右连接):与LEFTJOIN 相反,用于获取右表所有记录,即使左表没有对应匹配的记录。取两个表的交集部分+右表中的数据。

在配合join一起使用的还有on关键字,用来指明关联查询的一些条件。

嵌套循环算法

MVSQL是使用了嵌套循环(Nested-Loop Join)的方式来实现关联查询的,具体到算法上面主要有simplenested loop join, block nested loop join和index nested loop join这三种。

而这三种的效率都没有特别高。

simple nested loop,他的做法简单粗暴,就是全量扫描连接两张表进行数据的两两对比,所以他的复杂度可以认为是N*M。

N是驱动表的数量,M是被驱动表的数量。

  • index nested loop,当lnner Loop的表用到字段有索引的话,可以用到索引进行查询数据,因为索引是香B+树的,复杂度可以近似认为是N*logM。
  • block nested loop,其实是引入了一个Buffer,会提前把外循环的一部分结果提前放到JOIN BUFFER中然后内循环的每一行都和整个buffer的数据作比较。虽然比较次数还是N*M,但是因为join buffer是基于内存的,所以效率高很多。

所以,虽然MySQL已经尽可能的在优化了,但是这几种算法复杂度都还是挺高的,这也是为什么不建议在数据库中多表JOIN的原因。随着表越多,表中的数据量越多,JOIN的效率会呈指数级下降。

不能用join如何做关联查询

如果不能通过数据库做关联查询,那么需要查询多表的数据的时候要怎么做呢?

主要有两种做法:

  1. 在内存中自己做关联,即先从数据库中把数据查出来之后,我们在代码中再进行二次查询,然后再进行关联。
  2. 数据冗余,那就是把一些重要的数据在表中做冗余,这样就可以避免关联查询了。
  3. 宽表,就是基于一定的join关系,把数据库中多张表的数据打平做一张大宽表,可以同步到ES或者干脆直接在数据库中直接查都可以。

总结

上面对sql语句中join语句使用以及不推荐使用做了说明,在项目中尽量减少使用join进行关联查询。

相关推荐

ETCD 故障恢复(etc常见故障)

概述Kubernetes集群外部ETCD节点故障,导致kube-apiserver无法启动。...

在Ubuntu 16.04 LTS服务器上安装FreeRADIUS和Daloradius的方法

FreeRADIUS为AAARadiusLinux下开源解决方案,DaloRadius为图形化web管理工具。...

如何排查服务器被黑客入侵的迹象(黑客 抓取服务器数据)

---排查服务器是否被黑客入侵需要系统性地检查多个关键点,以下是一份详细的排查指南,包含具体命令、工具和应对策略:---###**一、快速初步检查**####1.**检查异常登录记录**...

使用 Fail Ban 日志分析 SSH 攻击行为

通过分析`fail2ban`日志可以识别和应对SSH暴力破解等攻击行为。以下是详细的操作流程和关键分析方法:---###**一、Fail2ban日志位置**Fail2ban的日志路径因系统配置...

《5 个实用技巧,提升你的服务器安全性,避免被黑客盯上!》

服务器的安全性至关重要,特别是在如今网络攻击频繁的情况下。如果你的服务器存在漏洞,黑客可能会利用这些漏洞进行攻击,甚至窃取数据。今天我们就来聊聊5个实用技巧,帮助你提升服务器的安全性,让你的系统更...

聊聊Spring AI Alibaba的YuQueDocumentReader

序本文主要研究一下SpringAIAlibaba的YuQueDocumentReaderYuQueDocumentReader...

Mac Docker环境,利用Canal实现MySQL同步ES

Canal的使用使用docker环境安装mysql、canal、elasticsearch,基于binlog利用canal实现mysql的数据同步到elasticsearch中,并在springboo...

RustDesk:开源远程控制工具的技术架构与全场景部署实战

一、开源远程控制领域的革新者1.1行业痛点与解决方案...

长安汽车一代CS75Plus2020款安装高德地图7.5

不用破解原车机,一代CS75Plus2020款,安装车机版高德地图7.5,有红绿灯读秒!废话不多讲,安装步骤如下:一、在拨号状态输入:在电话拨号界面,输入:*#518200#*(进入安卓设置界面,...

Zookeeper使用详解之常见操作篇(zookeeper ui)

一、Zookeeper的数据结构对于ZooKeeper而言,其存储结构类似于文件系统,也是一个树形目录服务,并通过Key-Value键值对的形式进行数据存储。其中,Key由斜线间隔的路径元素构成。对...

zk源码—4.会话的实现原理一(会话层的基本功能是什么)

大纲1.创建会话...

Zookeeper 可观测性最佳实践(zookeeper能够确保)

Zookeeper介绍ZooKeeper是一个开源的分布式协调服务,用于管理和协调分布式系统中的节点。它提供了一种高效、可靠的方式来解决分布式系统中的常见问题,如数据同步、配置管理、命名服务和集群...

服务器密码错误被锁定怎么解决(服务器密码错几次锁)

#服务器密码错误被锁定解决方案当服务器因多次密码错误导致账户被锁定时,可以按照以下步骤进行排查和解决:##一、确认锁定状态###1.检查账户锁定状态(Linux)```bash#查看账户锁定...

zk基础—4.zk实现分布式功能(分布式zk的使用)

大纲1.zk实现数据发布订阅...

《死神魂魄觉醒》卡死问题终极解决方案:从原理到实战的深度解析

在《死神魂魄觉醒》的斩魄刀交锋中,游戏卡死犹如突现的虚圈屏障,阻断玩家与尸魂界的连接。本文将从技术架构、解决方案、预防策略三个维度,深度剖析卡死问题的成因与应对之策,助力玩家突破次元壁障,畅享灵魂共鸣...

取消回复欢迎 发表评论: