粗略看下,没看懂~~~
进程和线程
操作系统的相关知识:
Unix/Linux 操作系统提供了一个fork()系统调用,它非常特殊,普通函数调用,调用一次,返回一次,但fork()调用一次,返回两次,因为操作系统自动把当前进程(父进程)复制了一份(子进程),然后,分别在父进程和子进程内返回。
子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID.
Python的os模块封装了常见的系统调用,其中就包括fork,可以在 Python 程序中轻松创建子进程,由于Windows没有fork调用,上面的代码在Windows上无法运行。由于Mac系统是基于BSD(Unix的一种)内核,所以,在Mac下运行就没有问题。
有了fork的调用,一个进程在接到新任务时就可以复制出一个子进程来处理新任务,常见的Apache服务器就是由父进程监听端口,每当有新的http请求时,就fork出子进程来处理新的http请求。
multiprocessing
Unix/Linux适合编写多进程,Windows没有fork调用,就无法用Python编写多编程了吗。
自然不是,Python是跨平台的,自然有多进程支持。multiprocessing模块就是跨平台版本的多进程模块。
multiprocessing模块提供了一个Process类来代表一个进程对象。
创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动,这样创建进程比fork()还要简单。
join()方法可以等待子进程结束后再继续往下执行,通常用于进程间的同步。
Pool
如果要启动大量的子进程,可以用进程池的方式批量创建子进程:
对Pool对象调用join()方法会等待所有子程序执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。
注意:在输出结果时候,task1,2,3,是立刻执行的,而task4要等待前面某个task完成后才执行,这就是因为Pool的默认大小是电脑的4,所以,只能同时执行4个进程,这是Pool有意设计的限制,并不是操作系统的限制,可以改成同时跑5个进程。
由于Pool的默认大小是CPU的核数,如果你有8核CPU,你要至少提交9个子进程才能看到上面的等待效果。
子进程
很多时候,子进程并不是自身,而是一个外部进程。我们创建了子进程后,还需要控制子进程的输入和输出。
subprocess模块可以让我们非常方便的启动一个子进程,然后控制其输入和输出。
进程间的通信
Process之间是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式交换数据。
在Unix/Linux下,multiprocessing模块封装了fork()调用,使我们不需要关注fork()的效果,父进程所有Python对象都必须通过pickly序列化在传入到子进程中,所以,如果multiprocessing在Windows下调用失败了,要先考虑是不是pickly失败了。
本文由小白学Python 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。
以上所述就是小编给大家介绍的《学习第十八天》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 一文读懂监督学习、无监督学习、半监督学习、强化学习这四种深度学习方式
- 学习:人工智能-机器学习-深度学习概念的区别
- 统计学习,机器学习与深度学习概念的关联与区别
- 混合学习环境下基于学习行为数据的学习预警系统设计与实现
- 学习如何学习
- 深度学习的学习历程
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。