引言
涉及并发的场景,大家想到使用多线程或多进程解决并发问题;
一般情况下,解决多并发场景问题,多数语言采用多线程编程模式(线程是轻量级的进程,共用一份进程空间)。
也同样适用于Python多并发处理吗?
答:不是的,针对并发处理,Python多线程和多进程是有很大差异的!
Python多线程和多进程差异
Python多线程不能使用CPU多核资源,即同一时刻,只有一个线程使用CPU资源,所以使用Python多线程不能算是并发。
如果想要充分利用CPU多核资源,做到多并发,这就需要Python多进程的了!
也就是说:只有Python多进程才能利用CPU多核资源,做到真正的多并发!
Python多线程和多进程应用场景
既然Python多线程不能并发,那存在还有什么意义呢?
其实Python多线程和多进程有自己的应用场景:
- Python多线程适用于I/O密集型场景,如解决网络IO、磁盘IO阻塞问题,例如文件读写、网络数据传输等;
- 而Python多进程更适用于计算密集型场景,多并发,大量计算任务等。
注意:Python多线程和多进程在平时开发过程中,需要注意使用,如果使用Python多线程方式处理计算密集型任务,它比实际单进程处理性能还要慢!所以要注意,看场景类型。
再谈Python多线程,全局解释器锁(GIL)
为什么Python多线程不能使用CPU多核资源?
为什么Python多线程在同一时刻,只有一个线程使用CPU资源?
正是因为Python有一个全局解释器锁(GIL,全称Global Interpreter Lock),它使得Python多线程无法使用CPU多核资源,保证同一时刻只有一个线程在使用CPU资源;当出现IO阻塞时,解锁,释放CPU资源,其他线程才能申请到锁,使用CPU资源。
Python并发编程
Python多进程编程使用的模块库:multiprocessing模块,是Python内置的多进程处理库,使用与线程库threading.Thread类似。
Python多线程编程使用的模块库:
- thread模块 Python内置,比较底层,不推荐使用
- threading模块 Python内置
- multiprocessing.dummy模块 Python内置
补充:
multiprocessing模块 和 multiprocessing.dummy模块
两者的区别在于:前者是多进程,后者是多线程;但是他们编程接口完全一致;
所以很方便的将代码在多线程和多进程进行切换!
由于篇幅有限,暂不介绍编程模块具体使用,以后会开专题补上!
之前整理的Python多线程和多进程思维导图供大家参考:
Python多进程编程
Python多线程编程