百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

详解Redis pipeline 命令(redispipeline原理)

yuyutoo 2025-03-13 21:50 7 浏览 0 评论

Hello,大家好,我是阿粉~

最近阿粉接到了一个业务需求,需要开发一个业务接口,批量删除 Redis 中数据。

这个功能点其实很简单,只要让外部传入需要删除键信息,然后在接口内部遍历调用删除命令即可。

按照这个思路,功能很快就开发完成,然后顺利的上线。

上线之后,运行一段时间,调用业务方反馈,当要删除的数据很多的时候,这个接口响应时间就比较长,然后希望我们这边优化一下,降低响应时间。

那优化办法其实有很多,比如使用多线程删除等,不过这一次并没有采用这个,最终使用了 Redis pipeline(管道)命令进行了优化。

所以今天这篇文章就给大家介绍一下 Redis pipeline 命令,以及相关原理,文章涉及到知识点如下图所示:

为什么多次调用 Redis 命令比较慢

Redis 客户端执行一个命令需要经历流程如下图所示:

总共需要经过四个流程:

  1. 客户端发送命令
  2. Redis 服务收到命令等待处理
  3. Redis 服务端处理命令
  4. Redis 服务返回执行结果

Redis 的客户端与服务可能部署在不同的机器上,这里我们假设 Redis 客户端部署在北京,而 Redis 服务端在广州,两地的网络延时为 50ms。

一次 Redis 命令,1 与 4 这两个流程就需要耗费 100ms, 而 2 与 3 在由于是在 Redis 服务端执行,执行速度会很快,可以忽略不计。

此时客户端如果需要执行 N 次 Redis 命令,我们就需要耗费 2N*100ms 时间,执行命令越多,耗时越长。

这就是文章开头 Redis 删除多个命令比较慢的主要原因。

Redis pipeline 流水线执行命令

那如何解决这类问题了?

解决办法有三种,第一种利用多线程机制,并行执行命令,提高执行速度。

第二种,调用 mget 这类命令,这类命令可以一次操作多个键,Redis 服务端收到命令之后,将会批量执行。

但是 mget这类批量命令毕竟是少数,很多情况下我们没办法直接使用,就像我们上面的例子。

这样的话,只能使用最后一种办法,使用 Redis pipeline命令。

开启 Redis pipeline 之后,再执行 Redis 的其他命令,命令将不会发送给服务端,而是先暂存在客户端,左后等到所有命令都执行完,然后再统一发送给服务端。

服务端会根据发送过来的命令的顺序,依次运行计算。

然后同样先将结果暂存服务端,等到命令都执行完毕之后,统一返回给客户端。

通过这种方式,减少多个命令之间网络交互,有效的提高多个命令执行的速度。

如上图所示,开启 Redis Pipeline 之后,客户端运行的 5 个命令将会一起发送到服务端。服务依次运行命令,然后统一返回。

介绍完原理,我们来看下如何使用 Redis Pipeline ,下面代码以 Jedis 为例。

JedisPoolConfig poolConfig = new JedisPoolConfig();
poolConfig.setMaxIdle(100);
poolConfig.setTestOnBorrow(false);
poolConfig.setTestOnReturn(false);


JedisPool jedisPool = new JedisPool(poolConfig, "127.0.0.1", Integer.parseInt("6379"), 60*1000, "1234qwer");

Jedis jedis = jedisPool.getResource();

Pipeline pipelined = jedis.pipelined();

for (int i = 0; i < 100; i++) {
    pipelined.set("key" + i, "value" + i);
}
pipelined.sync();

Jedis#pipelined 将会开启 Redis Pipeline,而Pipeline 这个类提供所有 Redis 可以使用的命令:

当执行完所有的命令之后,调用 Pipelined#sync 命令,所有命令数据将会统一发送到到 Redis 中。

上面的例子中,Pipelined#sync 方法调用之后不会返回任何结果。

如果此时需要处理 Redis 的返回值,那么我们需要调用 Pipelined#syncAndReturnAll 方法,这个方法返回值将会是一个集合,返回结果按照 Redis 命令的顺序排序。

解密 pipeline 实现原理

Redis pipeline 命令的实现,其实需要客户端与服务端同时支持,并且实际执行过程中,Redis pipeline 会根据需要发送命令数据量大小进行拆分,拆分成多个数据包进行发送。

这么做主要原因是因为,如果一次组装 pipeline 数据量过大,一方面会增加客户端的等待时间,而另一方面会造成一定的网络阻塞。

不同 Redis 客户端 pipeline 发送的最大字节数不太相同,比如 jedis-pipeline 每次最大发送字节数为8192。

下面我们从源码侧,看下 jedis pipeline 实现机制。

Pipeline 所有命令方法,底层最终将会调用 Protocol#sendCommand方法,这个方法主要就是向 RedisOutputStream 输出流中写入数据。

RedisOutputStream#write方法如下图所示:

image-20210309223831980

这个方法内,一旦缓冲的数据大小超过指定大小,目前为 8192,就会立刻将数据全部写入到真正输出流中。

pipeline 多个命令实际发送流程图如下所示:

一旦 Redis 客户端将部分 pipeline 中执行命令的发送给 Redis 服务端,服务端就会立即运行这些命令,然后返回给客户端。

但是此时客户端并不会去读取,所以返回的响应数据将会暂存在客户端的 Socket 接收缓冲区中。

如果响应数据比较大,填满缓冲区,此时客户端会通过 TCP 流量控制机制,ACK 返回 WIN=0(接收窗口)来控制服务端不要再发送数据。

这时这些响应数据将会一直暂存在 Redis 服务端输出缓存中,如果数据比较多,将会占用很多内存。

所以使用 Redis Pipeline 机制一定注意返回的数据量,如果数据很多,建议将包含大量命令的 pipeline 拆分成多次较小的 pipeline 来完成。

总结

Redis 的 pipeline 命令可以批量执行多个 redis 命令,它通过减少网络的调用次数,从而有效提高的多个命令执行的速度。

不过我们使用过程,一定主要执行数据的大小,如果数据过大,可以考虑将一个 pipeline

相关推荐

VBA中利用Instr函数(vba int函数)

【分享成果,随喜正能量】每一个在你的生命里出现的人,都有原因,喜欢你的人给了你温暖和勇气,你喜欢的人让你学会了爱和自持,你不喜欢的人教会你宽容与尊重,不喜欢你的人让你自省与成长。。...

Insta360 Link体验:支持4K画质,一款使用场景丰富的AI云台摄像头

记者|王公逸伴随直播、线上会议需求的兴起,网络直播的需求愈发增大,8月2日,影石Insta360正式推出全新产品:Insta360Link,这是一款AI智能云台摄像头。从产品形态来说,Insta3...

VBA技术资料MF299:利用Instr进行文本查找

我给VBA的定义:VBA是个人小型自动化处理的有效工具。利用好了,可以大大提高自己的工作效率,而且可以提高数据的准确度。“VBA语言専攻”提供的教程一共九套,分为初级、中级、高级三大部分,教程是对VB...

Fabric.js 拖放元素进画布 - 掘金

本文简介点赞+关注+收藏=学会了学习Fabric.js,我的建议是看文档不如看demo。本文实现的功能:将元素拖进到画布中并生成对应的图形或图片。效果如下图所示:...

Vue3为什么推荐使用ref而不是reactive

为什么推荐使用ref而不是reactivereactive本身具有很大局限性导致使用过程需要额外注意,如果忽视这些问题将对开发造成不小的麻烦;ref更像是vue2时代optionapi的data的替...

Fabric.js 样式不更新怎么办?(js更改样式)

本文简介带尬猴,我嗨德育处主任不知道你有没有遇到过在使用Fabric.js时无意中一些骚操作修改了元素的样式,但刷新画布却没更新元素样式?如果你也遇到同样的问题的话,可以尝试使用本文的方法。...

Fabric.js 修改画布交互方式到底有什么用?

本文简介点赞+关注+收藏=学会了fabric.js为我们提供了很多厉害的方法。今天要搞明白的一个东西是canvas.interactive。官方文档对canvas.interact...

Rust Web编程:第五章 在浏览器上显示内容

我们现在正处于可以构建一个Web应用程序的阶段,该应用程序可以使用不同的方法和数据管理一系列HTTP请求。这很有用,特别是当我们为微服务构建服务器时。然而,我们也希望非程序员能够与我们的应...

Fabric.js 自由绘制椭圆 - 掘金(canvas画椭圆)

本文简介点赞+关注+收藏=学会了本文讲解在Fabric.js中如何自由绘制椭圆形,如果你还不了解Fabric.js,可以查阅《Fabric.js从入门到精通》。效果如下图所示...

手把手教你实现JS手搓&quot;防抖&quot;优化代码——专业的事用专业的方法!

前言在我们前端编程中,假如我们要给后端发送请求,万一手抖多点了几次,多发送了几遍怎么办?解决方案:防抖!这种事就要交给我们专业的“防抖”先生来处理!今天,我们就来教大家手搓“防抖”...

详解虚拟DOM与Diff算法(虚拟dom一定比实际dom快吗)

vue的虚拟DOM,Diff算法,其中一些关键的地方从别处搬运了一些图进行说明(感谢制图的大佬),也包含比较详细的源码解读。...

走进 React Fiber 的世界(我走进你的世界手势舞视频)

文/阿里淘系F(x)Team-冷卉Fiber设计思想Fiber是对React核心算法的重构,facebook团队使用两年多的时间去重构React的核心算法,在React16以上...

前端新一代框架 Svelte 火了!十个场景带你简单认识它!

近几年听到的主流框架都是Vue、React、Angular,但其实有一个框架在国外非常火,用起来也是很方便,那就是...

借助DeepSeek实现了一个PDF阅读器

1、简介使用pdf.js库加载和显示PDF文件。实现了翻页、缩放功能。提供了基本的错误处理。功能特点:支持选择本地PDF文件。可以逐页查看PDF内容。支持放大缩小功能。界面简洁,易于使...

DeepSeek代码之旅1:卫星地图标记方法之——html语言的实现

最近遇到一个任务,具体功能如下:1、调用高德地图API,图层为卫星图层,根据需要标记兴趣点;2、标记完成后可以保存兴趣点,便于下次加载历史兴趣点。...

取消回复欢迎 发表评论: