深圳幻海软件技术有限公司 欢迎您!

你真的了解Python吗?什么场景使用多线程,什么场景使用多进程?

2023-02-27

 引言涉及并发的场景,大家想到使用多线程或多进程解决并发问题;一般情况下,解决多并发场景问题,多数语言采用多线程编程模式(线程是轻量级的进程,共用一份进程空间)。也同样适用于Python多并发处理吗?答:不是的,针对并发处理,Python多线程和多进程是有很大差异的!Python多线程和多

 

引言

涉及并发的场景,大家想到使用多线程或多进程解决并发问题;

一般情况下,解决多并发场景问题,多数语言采用多线程编程模式(线程是轻量级的进程,共用一份进程空间)。

也同样适用于Python多并发处理吗?

答:不是的,针对并发处理,Python多线程和多进程是有很大差异的!

Python多线程和多进程差异

Python多线程不能使用CPU多核资源,即同一时刻,只有一个线程使用CPU资源,所以使用Python多线程不能算是并发。

如果想要充分利用CPU多核资源,做到多并发,这就需要Python多进程的了!

也就是说:只有Python多进程才能利用CPU多核资源,做到真正的多并发!

Python多线程和多进程应用场景

既然Python多线程不能并发,那存在还有什么意义呢?

其实Python多线程和多进程有自己的应用场景:

  • Python多线程适用于I/O密集型场景,如解决网络IO、磁盘IO阻塞问题,例如文件读写、网络数据传输等;
  • 而Python多进程更适用于计算密集型场景,多并发,大量计算任务等。

注意:Python多线程和多进程在平时开发过程中,需要注意使用,如果使用Python多线程方式处理计算密集型任务,它比实际单进程处理性能还要慢!所以要注意,看场景类型。

再谈Python多线程,全局解释器锁(GIL)

为什么Python多线程不能使用CPU多核资源?

为什么Python多线程在同一时刻,只有一个线程使用CPU资源?

正是因为Python有一个全局解释器锁(GIL,全称Global Interpreter Lock),它使得Python多线程无法使用CPU多核资源,保证同一时刻只有一个线程在使用CPU资源;当出现IO阻塞时,解锁,释放CPU资源,其他线程才能申请到锁,使用CPU资源。

Python并发编程

Python多进程编程使用的模块库:multiprocessing模块,是Python内置的多进程处理库,使用与线程库threading.Thread类似。

Python多线程编程使用的模块库:

  • thread模块 Python内置,比较底层,不推荐使用
  • threading模块 Python内置
  • multiprocessing.dummy模块 Python内置

补充:

multiprocessing模块 和 multiprocessing.dummy模块

两者的区别在于:前者是多进程,后者是多线程;但是他们编程接口完全一致;

所以很方便的将代码在多线程和多进程进行切换!

由于篇幅有限,暂不介绍编程模块具体使用,以后会开专题补上!

之前整理的Python多线程和多进程思维导图供大家参考:

Python多进程编程

 

 

 

 

Python多线程编程