最新公告
  • 欢迎您光临悠哉网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 说说 Python 里关于线程安全的那些事儿

    在并发编程时,如果多个线程访问同一资源,我们需要保证访问的时候不会产生冲突,数据修改不会发生错误,这就是我们常说的线程安全

    那什么情况下,访问数据时是安全的?什么情况下,访问数据是不安全的?如何知道你的代码是否线程安全?要如何访问数据才能保证数据的安全?

    本篇文章会一一回答你的问题。

    说说 Python 里关于线程安全的那些事儿

    1. 线程不安全是怎样的?

    要搞清楚什么是线程安全,就要先了解线程不安全是什么样的。

    比如下面这段代码,开启两个线程,对全局变量 number 各自增 10万次,每次增量 1。

    1. from threading import Thread, Lock 
    2.  
    3. number = 0 
    4.  
    5. def target(): 
    6.     global number 
    7.     for _ in range(1000000): 
    8.         number += 1 
    9.  
    10. thread_01 = Thread(targettarget=target) 
    11. thread_02 = Thread(targettarget=target) 
    12. thread_01.start() 
    13. thread_02.start() 
    14.  
    15. thread_01.join() 
    16. thread_02.join() 
    17.  
    18. print(number) 

    正常我们的预期输出结果,一个线程自增100万,两个线程就自增 200 万嘛,输出肯定为 2000000 。

    可事实却并不是你想的那样,不管你运行多少次,每次输出的结果都会不一样,而这些输出结果都有一个特点是,都小于 200 万。

    以下是执行三次的结果

    1. 1459782 
    2. 1379891 
    3. 1432921 

    这种现象就是线程不安全,究其根因,其实是我们的操作 number += 1 ,不是原子操作,才会导致的线程不安全

    2. 什么是原子操作?

    原子操作(atomic operation),指不会被线程调度机制打断的操作,这种操作一旦开始,就一直运行到结束,中间不会切换到其他线程。

    它有点类似数据库中的 事务。

    在 Python 的官方文档上,列出了一些常见原子操作

    1. L.append(x) 
    2. L1.extend(L2) 
    3. x = L[i] 
    4. x = L.pop() 
    5. L1[i:j] = L2 
    6. L.sort() 
    7. x = y 
    8. x.field = y 
    9. D[x] = y 
    10. D1.update(D2) 
    11. D.keys() 

    而下面这些就不是原子操作

    1. ii = i+1 
    2. L.append(L[-1]) 
    3. L[i] = L[j] 
    4. D[x] = D[x] + 1 

    像上面的我使用自增操作 number += 1,其实等价于 number = number + 1,可以看到这种可以拆分成多个步骤(先读取相加再赋值),并不属于原子操作。

    这样就导致多个线程同时读取时,有可能读取到同一个 number 值,读取两次,却只加了一次,最终导致自增的次数小于预期。

    当我们还是无法确定我们的代码是否具有原子性的时候,可以尝试通过 dis 模块里的 dis 函数来查看

    说说 Python 里关于线程安全的那些事儿

    当我们执行这段代码时,可以看到 number += 1 这一行代码,由两条字节码实现。

    • BINARY_ADD :将两个值相加
    • STORE_GLOBAL:将相加后的值重新赋值

    每一条字节码指令都是一个整体,无法分割,他实现的效果也就是我们所说的原子操作。

    当一行代码被分成多条字节码指令的时候,就代表在线程线程切换时,有可能只执行了一条字节码指令,此时若这行代码里有被多个线程共享的变量或资源时,并且拆分的多条指令里有对于这个共享变量的写操作,就会发生数据的冲突,导致数据的不准确。

    为了对比,我们从上面列表的原子操作拿一个出来也来试试,是不是真如官网所说的原子操作。

    这里我拿字典的 update 操作举例,代码和执行过程如下图

    说说 Python 里关于线程安全的那些事儿

    从截图里可以看到,info.update(new) 虽然也分为好几个操作:

    • LOAD_GLOBAL:加载全局变量
    • LOAD_ATTR:加载属性,获取 update 方法
    • LOAD_FAST:加载 new 变量
    • CALL_FUNCTION:调用函数
    • POP_TOP:执行更新操作

    但我们要知道真正会引导数据冲突的,其实不是读操作,而是写操作。

    上面这么多字节码指令,写操作都只有一个(POP_TOP),因此字典的 update 方法是原子操作。

    3. 实现人工原子操作

    在多线程下,我们并不能保证我们的代码都具有原子性,因此如何让我们的代码变得具有 “原子性” ,就是一件很重要的事。

    方法也很简单,就是当你在访问一个多线程间共享的资源时,加锁可以实现类似原子操作的效果,一个代码要嘛不执行,执行了的话就要执行完毕,才能接受线程的调度。

    因此,我们使用加锁的方法,对例子一进行一些修改,使其具备“原子性”。

    1. from threading import Thread, Lock 
    2.  
    3.  
    4. number = 0 
    5. lock = Lock() 
    6.  
    7.  
    8. def target(): 
    9.     global number 
    10.     for _ in range(1000000): 
    11.         with lock: 
    12.             number += 1 
    13.  
    14. thread_01 = Thread(targettarget=target) 
    15. thread_02 = Thread(targettarget=target) 
    16. thread_01.start() 
    17. thread_02.start() 
    18.  
    19. thread_01.join() 
    20. thread_02.join() 
    21.  
    22. print(number) 

    此时,不管你执行多少遍,输出都是 2000000.

    4. 为什么 Queue 是线程安全的?

    Python 的 threading 模块里的消息通信机制主要有如下三种:

    • Event
    • Condition
    • Queue

    使用最多的是 Queue,而我们都知道它是线程安全的。当我们对它进行写入和提取的操作不会被中断而导致错误,这也是我们在使用队列时,不需要额外加锁的原因。

    他是如何做到的呢?

    其根本原因就是 Queue 实现了锁原语,因此他能像第三节那样实现人工原子操作。

    原语指由若干个机器指令构成的完成某种特定功能的一段程序,具有不可分割性;即原语的执行必须是连续的,在执行过程中不允许被中断。
    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
    2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
    3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
    4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
    5. 如有链接无法下载、失效或广告,请联系管理员处理!
    6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
    7. 如遇到加密压缩包,默认解压密码为"www.yoozai.net",如遇到无法解压的请联系管理员!
    悠哉网 » 说说 Python 里关于线程安全的那些事儿

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    悠哉网 WWW.YOOZAI.NET
    悠哉网,用户消费首选的网站,喜欢你就悠哉一下。

    发表评论

    • 700会员总数(位)
    • 5260资源总数(个)
    • 101本周发布(个)
    • 10 今日发布(个)
    • 213稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情