python3使用python-redis-lock解决并发计算问题
作者:海洋的渔夫 发布时间:2021-05-09 16:04:18
需求
我在最近的一个任务中,存在一个redis高并发计算多个客户端接收预警信息的时长问题。
模型是首先模拟多个客户端连接预警服务器集群,然后向预警服务集群发送告警信息。随后预警服务集群将会向客户端推送告警信息。
此时,我记录了发送告警至预警集群的时间,并且在客户端还会记录接收到告警的时间。
我将这个时间都会记录到redis中,那么此时就会有一个问题,当多个客户端抢占式往redis 读取数据,计算,设置数据,这个过程是会被相互覆盖的。
可以从上面的截图来看,多个不同的客户端读取redis的数据,大部分读取到了同一个数据,导致计算错误。
导致问题的示意图如下:
为了解决这个问题,则可以编写一个redis的锁,用来控制数据的并发读取以及写入。
在python redis库默认只有乐观锁的一种写法,在这里我再推荐使用一个库python-redis-lock,使用这个库对redis多个客户端并发的情况加锁,真的很方便。
下面来看看怎么使用。
python-redis-lock
https://pypi.org/project/python-redis-lock/
在使用这个库之前,需要安装如下:
pip install python-redis-lock
使用锁的示例:
lock = redis_lock.Lock(conn, "name-of-the-lock")
if lock.acquire(blocking=False):
print("Got the lock.")
lock.release()
else:
print("Someone else has the lock.")
上面是单独设置锁的方式,还可以单独设置所有redis的操作加入锁。
# On application start/restart
import redis_lock
redis_lock.reset_all(redis_client)
修改业务代码,增加lock操作
1. 首先导入redis_lock
import redis_lock
2.将redis连接的客户端传入lock中,并设置lock的名称
# 设置redis连接
self.conn = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True, db=3)
# 设置redis锁
self.lock = redis_lock.Lock(self.conn, "redis-lock")
3.将业务读取、设置redis的部分加入锁
while True:
# 设置redis锁,操作redis
if self.lock.acquire(blocking=False):
print("Got the lock.")
# 获取lock,执行业务处理
# 获取当前redis钟记录的客户端接收到告警的总时长
recv_time_sum_count_clients = self.conn.get(recv_time_sum_count_clients_key)
if recv_time_sum_count_clients is None:
recv_time_sum_count_clients = "0:0"
# 获取当前的统计数据
recv_time_sum, count_clients = recv_time_sum_count_clients.split(":")
# 计算告警接收总时长
recv_time_sum = float(recv_time_sum) + recv_time
# 计算收到预警的客户端数量
count_clients = int(count_clients) + 1
# 写入redis中
recv_time_sum_count_clients = "%s:%s" % (str(recv_time_sum), str(count_clients))
self.conn.set(recv_time_sum_count_clients_key, recv_time_sum_count_clients)
print("user_id = %s, 计算平均时间成功, "
"recv_time_sum = %s, count_clients = %s \n" %
(self.user_id, recv_time_sum, count_clients))
# 释放lock
self.lock.release()
# 退出循环
break
else:
print("Someone else has the lock.")
在客户端的代码中设置了锁之后,再来执行一下,看看有无抢占读取redis数据的情况,如下:
设置了锁之后,客户端由于并发导致redis数据读取、设置错误的情况就可以避免了。
并且这个库还可以使用到Django框架中,更多细节读者可以到该库Github中细细查阅,本篇章就不介绍了,哈哈。
来源:https://blog.csdn.net/u012887259/article/details/103870425
猜你喜欢
- 熟悉SQL的人都知道,完成同一个任务,SQL可能有多种写法,但不同写法的查询性能可能会有天壤之别,本文列举出五个查询优化的方法,当然,优化的
- 如果 select 元素下的所有 option 元素均没有指定 selected 属性,会默认选中第一个。可以通过 select.selec
- Python中对象的行为是由它的类型 (Type) 决定的。所谓类型就是支持某些特定的操作。数字对象在任何编程语言中都是基础元素,支持加、减
- 佛爷去了公司的年夜饭,我有点无聊就在公司 Coding 点东西玩玩,于是就有了这玩意。请允许我很猥·琐得将这个游戏称之为“是男人坚持 100
- 这篇文章主要介绍了python爬虫 正则表达式解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可
- <style> #L { position:absolute; color:
- 实验环境:windows 7,anaconda 3(Python 3.5),tensorflow(gpu/cpu)函数介绍:标准化处理可以使
- 时区的概念与转换首先要知道时区之间的转换关系,其实这很简单:把当地时间减去当地时区,剩下的就是格林威治时间了。 例如北京时间的18:00就是
- 目的是想通过给定一个ID,取出所有的子ID,包括子ID的子ID。一开始写成FUNCTION,因为FUNCTION调用方便,但是报错:ERRO
- 下面通过实例代码给大家分享Python切片操作去除字符串首尾的空格的方法,具体内容如下所示:#利用切片操作,实现一个trim()函数,去除字
- 问题:我正尝试使用matplotlib读取RGB图像并将其转换为灰度。在matlab中,我使用这个:img = rgb2gray(imrea
- 启动targetcli时遭遇ImportError: cannot import name ALUATargetPortGrou
- jQuery.sheet 是一个用于创建 Web 电子表格的 jQuery插件,其功能及界面风格和微软的 Excel 非常相似,使得用户不至
- 对于中小型个人、企业网站来说,MySQL数据库或许是目前数据库的最完美实施解决方案了。在不变更服务器硬件的前提下,一个经过良好架构,优化后的
- PHP的header函数 可以很少代码就能实现HTML代码中META 标签这里只说用 header函数来做页面的跳转1. HTML代码中页面
- 在Python中,语法错误可以被Python解释器发现,但逻辑上错误或变量使用错误却不容易发现,如果结果没有符合预期,则需要调试,一个很好的
- 本文主要是记录ubuntu 16.04下python环境配置,具体内容如下对于ubuntu 16.04,由于本身是自带python,这样就减
- 1. Pytorch风格的索引根据Tensor的shape,从前往后索引,依次在每个维度上做索引。示例代码:import torcha =
- 在动态删除iframe时,同时把iframe里嵌套的iframe 删除,遇到了这个问题。本来之前都没报错,突然昨天他们嵌套了一个 跨域 的网
- 在使用matplotlib绘制图片时,x轴的刻度可能比较密集,特别是以日期作为x轴时,则最后会显示不出来。数据如下,速度V的数组与时间字符串