Python进程同步之锁

锁 —— multiprocess.Lock

通过刚刚的学习,我们千方百计实现了程序的异步,让多个任务可以同时在几个进程中并发处理,他们之间的运行没有顺序,一旦开启也不受我们控制。尽管并发编程让我们能更加充分的利用IO资源,但是也给我们带来了新的问题。

当多个进程使用同一份数据资源的时候,就会引发数据安全或顺序混乱问题。

接下来我们以模拟抢票为例,来看看数据安全的重要性。

先看看不使用锁保护的多进程同时抢购余票结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# 文件ticket的内容为:{"count":1}
# 注意一定要用双引号,不然json无法识别
# 并发运行,效率高,但竞争写同一文件,数据写入错乱
from multiprocessing import Process, Lock
import time, json


def search():
dic = json.load(open('ticket'))
print('\033[31m剩余票数%s\033[0m' % dic['count'])


def get(i):
dic = json.load(open('ticket'))
time.sleep(0.1) # 模拟读数据的网络延迟
if dic['count'] > 0:
dic['count'] -= 1
time.sleep(0.2) # 模拟写数据的网络延迟
json.dump(dic, open('ticket', 'w'))
print('\033[32m用户%s购票成功\033[0m' % i)


def task(i):
search()
get(i)


if __name__ == '__main__':
for i in range(10): # 模拟并发10个客户端抢票
p = Process(target=task, args=(i,))
p.start()

想想上面代码中会有什么样的结果出现?是只有一个用户购票成功,还是多个用户,下面一起来看看结果:

为什么会出现这样的情况呢?明明只有一张票,怎么会被这么多人购买成功,这个就是数据安全问题!!!

下面来解决这个数据安全问题:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 文件ticket的内容为:{"count":1}
# 注意一定要用双引号,不然json无法识别
# 并发运行,效率高,但竞争写同一文件,数据写入错乱
from multiprocessing import Process, Lock
import time, json


def search():
dic = json.load(open('ticket'))
print('\033[31m剩余票数%s\033[0m' % dic['count'])


def get(i):
dic = json.load(open('ticket'))
time.sleep(0.1) # 模拟读数据的网络延迟
if dic['count'] > 0:
dic['count'] -= 1
time.sleep(0.2) # 模拟写数据的网络延迟
json.dump(dic, open('ticket', 'w'))
print('\033[32m用户%s购票成功\033[0m' % i)


def task(i, lock):
search()
lock.acquire() # 获取钥匙
get(i) # 有钥匙后进入方法执行代码
lock.release() # 归还钥匙


if __name__ == '__main__':
lock = Lock()

for i in range(10): # 模拟并发10个客户端抢票
p = Process(target=task, args=(i, lock))
p.start()

结果:

加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行的修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信,但问题是:
1、效率低(共享数据基于文件,而文件是硬盘上的数据)
2、需要自己加锁处理

因此我们最好找寻一种解决方案能够兼顾:

1、效率高(多个进程共享一块内存的数据)

2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。
队列和管道都是将数据存放于内存中
队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。

参考资料:

1
2
3
4
http://www.cnblogs.com/Eva-J/articles/8253549.html
http://www.cnblogs.com/linhaifeng/articles/6817679.html
https://www.jianshu.com/p/1200fd49b583
https://www.jianshu.com/p/aed6067eeac9
-------------本文结束感谢您的阅读-------------

本文标题:Python进程同步之锁

文章作者:GavinLiu

发布时间:2018年01月15日 - 21:01

最后更新:2018年01月15日 - 21:01

原始链接:http://gavinliu4011.github.io/post/779a7de2.html

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

请博主吃个鸡腿吧
0%