multiprocessing库：Python像线程一样管理

前言

multiprocessing库是基于threading API，它可以把工作划分为多个进程。有些情况下，multiprocessing可以作为临时替换取代threading来利用多个CPU内核，相应地避免Python全局解释器锁所带来的计算瓶颈。

创新互联网站建设由有经验的网站设计师、开发人员和项目经理组成的专业建站团队，负责网站视觉设计、用户体验优化、交互设计和前端开发等方面的工作，以确保网站外观精美、做网站、成都做网站易于使用并且具有良好的响应性。

下面，我们来看看multiprocessing库创建进程与threading库有多像。

创建一个进程

要创建一个进程，最简单的方式是用一个目标函数实例化一个Process对象，然后与threading一样调用start()函数让它工作。示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
     
  
  
  def worker():   
  
  
      for i in range(3):   
  
  
          print(i)   
  
  
     
  
  
  if __name__=="__main__":   
  
  
      p = multiprocessing.Process(target=worker)   
  
  
      p.start()

运行之后，效果如下：

需要注意的是，multiprocessing库在Windows创建进程必须在if __name__=="__main__":中，这是 Windows 上多进程的实现问题。在 Windows 上，子进程会自动 import 启动它的这个文件，而在 import 的时候是会执行这些语句的。如果直接创建就会无限递归创建子进程报错。所以必须把创建子进程的部分用那个 if 判断保护起来，import 的时候 __name__ 不是 __main__ ，就不会递归运行了。

设置进程名

在threading线程中，我们可以通过其参数name设置线程名，同样的我们也可以通过name参数设置其进程的名字。示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
  import time   
  
  
     
  
  
  def worker():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(2)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      p1 = multiprocessing.Process(name='p1', target=worker)   
  
  
      p2 = multiprocessing.Process(name='p2', target=worker)   
  
  
      p3 = multiprocessing.Process(name='p3', target=worker)   
  
  
      p1.start()   
  
  
      p2.start()   
  
  
      p3.start()

运行之后，效果如下：

守护进程

和线程一样，在所有子进程没有退出之前，主程序是不会退出的。有时候，我们可能需要启动一个后台进程，它可以一直运行而不阻塞主程序退出。

要标志一个守护进程，可以将其添加第3个参数daemon，设置为True。默认值为False，不作为守护进程。示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
  import time   
  
  
     
  
  
  def worker():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(1)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  def worker2():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(2)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      p1 = multiprocessing.Process(name='p1', target=worker)   
  
  
      p2 = multiprocessing.Process(name='p2', target=worker2, daemon=True)   
  
  
      p3 = multiprocessing.Process(name='p3', target=worker2, daemon=True)   
  
  
      p1.start()   
  
  
      p2.start()   
  
  
      p3.start()

运行之后，效果如下：

p2,p3为守护进程，但p1不是所以执行1秒之后，就退出主程序了，也就没有打印p2p3的内容。但是其依旧在执行中，直到执行完成。

join()

同样的，如果你期望强制等待一个守护进程的结束，可以增加join()函数。还是上面的代码，示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
  import time   
  
  
     
  
  
  def worker():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(1)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  def worker2():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(2)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      p1 = multiprocessing.Process(name='p1', target=worker)   
  
  
      p2 = multiprocessing.Process(name='p2', target=worker2, daemon=True)   
  
  
      p3 = multiprocessing.Process(name='p3', target=worker2, daemon=True)   
  
  
      p1.start()   
  
  
      p2.start()   
  
  
      p3.start()   
  
  
      p1.join()   
  
  
      p2.join()   
  
  
      p3.join()

运行之后，和设置进程名的运行结果一样，这里不再展示。唯一与守护进程代码的区别就是最后三行join()函数代码。当然，也可以像线程一样，给join()函数传入一个时间，超过这个时间，主线程不再等待。

强制结束进程

如果一个进程已经挂起或者不小心进入了死锁状态，那么这个时候，我们往往会强制的结束进程。对一个进程对象调用terminate()会结束子进程。示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
  import time   
  
  
     
  
  
  def worker():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(5)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      p1 = multiprocessing.Process(name='p1', target=worker)   
  
  
      p1.start()   
  
  
      print("是否还在运行", p1.is_alive())   
  
  
      p1.terminate()   
  
  
      print("是否还在运行", p1.is_alive())   
  
  
      p1.join()   
  
  
      print("是否还在运行", p1.is_alive())

运行之后，输出如下：

终止进程后要使用join()函数等待进程的退出。使进程管理代码有足够的时间更新对象的状态，以反应进程已经终止。

进程退出状态码

进程退出时，生成的状态码可以通过exitcode属性访问。下表就是其状态码的取值范围以及其意义：

测试如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
  import time   
  
  
     
  
  
  def worker():   
  
  
      print(multiprocessing.current_process().name, "start")   
  
  
      time.sleep(5)   
  
  
      print(multiprocessing.current_process().name, "end")   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      p1 = multiprocessing.Process(name='p1', target=worker)   
  
  
      p2 = multiprocessing.Process(name='p2', target=worker)   
  
  
      p1.start()   
  
  
      p2.start()   
  
  
      print("是否还在运行", p1.is_alive())   
  
  
      p1.terminate()   
  
  
      print("是否还在运行", p1.is_alive())   
  
  
      print(p1.exitcode)   
  
  
      p1.join()   
  
  
      print("是否还在运行", p1.is_alive())   
  
  
      print(p1.exitcode)   
  
  
      time.sleep(5.5)   
  
  
      print(p2.exitcode)

运行之后，效果如下：

可以看到，强制退出的进程错误码为负数，正常退出的进程错误码为0。

日志

调试并发问题时，如果能够访问multiprocessing所提供对象的内部状态，那么这会很有用。在实际的项目中，我们可以使用一个方便的模块级函数启用日志记录，它使用logging建立一个日志记录器对象，并增加一个处理器，使日志消息被发送到标准错误通道。

示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
  import logging   
  
  
  import sys   
  
  
     
  
  
  def worker():   
  
  
      print("运行工作进程")   
  
  
      sys.stdout.flush()   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      multiprocessing.log_to_stderr(logging.DEBUG)   
  
  
      p1 = multiprocessing.Process(name='p1', target=worker)   
  
  
      p1.start()   
  
  
      p1.join()

运行之后，效果如下：

派生进程

与线程一样，我们可以自定义进程，而不必只是传入一个函数进行进程的创建。

创建的进程的方式也是派生自进程类即可。示例如下：

 
 
 
 
  
  
  
  import multiprocessing   
  
  
     
  
  
  class WorkerProcess(multiprocessing.Process):   
  
  
      def run(self):   
  
  
          print(self.name)   
  
  
          return   
  
  
     
  
  
  if __name__ == "__main__":   
  
  
      for i in range(5):   
  
  
          p = WorkerProcess()   
  
  
          p.start()   
  
  
          p.join()

运行之后，效果如下：

multiprocessing库的进程知识与threading一样长，因为本篇的内容已经够长了，剩下的知识我们将在下一篇博文中接着讲解。

文章标题：multiprocessing库：Python像线程一样管理
当前路径：http://www.36103.cn/qtweb/news36/2236.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容