惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Y
Y Combinator Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
博客园 - 司徒正美
Blog — PlanetScale
Blog — PlanetScale
博客园 - 聂微东
月光博客
月光博客
量子位
大猫的无限游戏
大猫的无限游戏
Stack Overflow Blog
Stack Overflow Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
The Cloudflare Blog
P
Proofpoint News Feed
B
Blog RSS Feed
美团技术团队
腾讯CDC
C
Check Point Blog
Engineering at Meta
Engineering at Meta
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
Recent Announcements
Recent Announcements
J
Java Code Geeks
S
SegmentFault 最新的问题
WordPress大学
WordPress大学
宝玉的分享
宝玉的分享

老董笔记

尚硅谷机构在哪?尚硅谷培训怎么样?靠谱吗-互联网IT百科 韩顺平介绍,传智讲师,开办泰牛,入尚硅谷等一系列-互联网IT百科 pandas多重索引标准样式(写入excel有空行)-互联网IT百科 cannot join with no overlapping index names-互联网IT百科 pandas多列变多行(即宽表变长表)melt和stack函数-互联网IT百科 pandas多行转多列(长表变宽表)pivot和unstack-互联网IT百科 Index contains duplicate entries, cannot reshape完美解决-互联网IT百科 single positional indexer is out-of-bounds-互联网IT百科 Can only compare identically-labeled Series objects-互联网IT百科 pandas transform用法详解(多个案例)-互联网IT百科 python四舍五入精确实现-互联网IT百科 pandas的groupby使用apply分组排序-互联网IT百科 index 0 is out of bounds for axis 0 with size 0-互联网IT百科 pandas分组过滤filter函数-互联网IT百科 联想Win10系统如何禁用触摸屏关闭触摸-互联网IT百科 groupby分组计算transform转换返回相同长度序列-互联网IT百科 brooks seo教程python教程,brooks seo教程网盘,布鲁seo资源-互联网IT百科 电脑右键文件夹一直转圈电卡死怎么回事-互联网IT百科 施琪嘉的心理成长课(荐)-互联网IT百科 百度SEO公司_SEO推广公司哪家好_SEO外包服务如何选-老董笔记 groupby后agg同1列用多个聚合函数、不同列用不同函数、自定义函数-互联网IT百科 pandas的groupby单列多列分组聚合运算-互联网IT百科 DataFrameGroupBy对象及分组个数、分组大小、组名索引、组数据详解-互联网IT百科 pandas中groupby之Grouper and axis must be same length-互联网IT百科 pandas中groupby的分组原理-互联网IT百科 pandas的groupby的使用详解大全-互联网IT百科 openpyxl单元格自动换行强制换行Alignment(wrapText=True)-互联网IT百科 python教程全套(可就业)-互联网IT百科 联想win10系统CPU显示100%,电脑呼呼响怎么回事-互联网IT百科 如何自制CPU,CPU原理是怎么样的?-互联网IT百科
生产者消费者模型-互联网IT百科
2019-06-06 · via 老董笔记

  生产者消费者模型是一种编程技巧,所以不限于python而是适用于各类编程语言。

  生产者消费者问题,实际上主要是包含了两类线程(或进程),一种是生产者线程(或进程)用于生产数据,另一种是消费者线程(或进程)用于消费数据,为了解耦生产者和消费者的关系,通常会采用共享的数据区域。

  生产者生产数据之后直接放置在共享数据区中,并不需要关心消费者的行为;而消费者只需要从共享数据区中去获取数据,就不再需要关心生产者的行为。但是,这个共享数据区域中应该具备这样的线程(或进程)间并发协作的功能:

  1)如果共享数据区已满的话,阻塞生产者继续生产数据放置入内;

  2)如果共享数据区为空的话,阻塞消费者继续消费数据;

  3)借助Queue的通信功能来实现多进程的生产着消费者模型!

  场景:假设你是皇上要临幸爱妃(用girl表示),皇上作为消费者角色,三宫六院负责产出爱妃(girl)则充当生产者的角色!

# ‐*‐ coding: utf‐8 ‐*‐

from multiprocessing import Queue
from multiprocessing import Process
import random
import time
import os


def produce(queue):
    for i in range(5):
        print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))
        queue.put('girl_'+ str(i))
        time.sleep(random.randint(0,1))


def consumer(queue):
    while True:
        if not queue.empty():
            girl = queue.get()
            if girl != 'man':
                print("consumer子进程%s消费 %s" % (os.getpid(),girl))
                time.sleep(random.randint(0, 1))
            else:
                print("consumer子进程%s获取结束信号man" % os.getpid())
                break


if __name__ == "__main__":

    girls_q = Queue()
    p = Process(target=produce,args=(girls_q,))
    c = Process(target=consumer,args=(girls_q,))

    # 开启生产者、消费者子进程
    p.start()
    c.start()
    # 父进程等待子进程
    p.join()
    girls_q.put('man')# 放入生产结束的信号
    c.join()

    print("生产者消费者模型完毕~~~临幸完所有爱妃")

D:installpython3python.exe D:/pyscript/test/test1.py
produce子进程11648生产 girl_0
produce子进程11648生产 girl_1
produce子进程11648生产 girl_2
produce子进程11648生产 girl_3
consumer子进程11016消费 girl_0
consumer子进程11016消费 girl_1
consumer子进程11016消费 girl_2
consumer子进程11016消费 girl_3
produce子进程11648生产 girl_4
consumer子进程11016消费 girl_4
consumer子进程11016获取结束信号man
生产者消费者模型完毕~~~临幸完所有爱妃

Process finished with exit code 0


  以上是单个生产者单个消费者的形式,如果是多个生产者多个消费者呢?可以参考如下代码:

# ‐*‐ coding: utf‐8 ‐*‐

from multiprocessing import Queue
from multiprocessing import Process
import random
import time
import os


def produce(queue):
    for i in range(5):
        print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))
        queue.put('girl_'+ str(i))
        time.sleep(random.randint(0,1))


def consumer(queue):
    while True:
        if not queue.empty():
            girl = queue.get()
            if girl != 'man':
                print("consumer子进程%s消费 %s" % (os.getpid(),girl))
                time.sleep(random.randint(0, 1))
            else:
                print("consumer子进程%s获取结束信号man" % os.getpid())
                queue.put('man')  # 放到队列,让其他消费者也能获取man
                break


if __name__ == "__main__":

    girls_q = Queue()
    list_p = []  # 生产者子进程列表
    list_c = []  # 消费者子进程列表

    # 3个生产者
    for i in range(3):
        p = Process(target=produce,args=(girls_q,))
        list_p.append(p)
    # 3个消费者
    for i in range(3):
        c = Process(target=consumer,args=(girls_q,))
        list_c.append(c)

    # 开启生产者、消费者子进程
    for p in list_p:
        p.start()
    for c in list_c:
        c.start()

    # 父进程等待子进程
    for p in list_p:
        p.join()
    girls_q.put('man')  # 放入生产结束的信号
    for c in list_c:
        c.join()

    print("生产者消费者模型完毕~~~")

D:installpython3python.exe D:/pyscript/test/test1.py
produce子进程10920生产 girl_0
consumer子进程9432消费 girl_0
produce子进程10920生产 girl_1
produce子进程10920生产 girl_2
produce子进程10920生产 girl_3
produce子进程10920生产 girl_4
consumer子进程3584消费 girl_1
consumer子进程3584消费 girl_2
produce子进程10992生产 girl_0
produce子进程10992生产 girl_1
produce子进程10992生产 girl_2
produce子进程10992生产 girl_3
produce子进程8232生产 girl_0
produce子进程8232生产 girl_1
produce子进程8232生产 girl_2
consumer子进程11760消费 girl_3
consumer子进程9432消费 girl_4
consumer子进程9432消费 girl_0
consumer子进程9432消费 girl_1
consumer子进程9432消费 girl_2
consumer子进程9432消费 girl_3
consumer子进程3584消费 girl_0
produce子进程10992生产 girl_4
produce子进程8232生产 girl_3
consumer子进程11760消费 girl_1
consumer子进程9432消费 girl_2
consumer子进程9432消费 girl_4
consumer子进程9432消费 girl_3
produce子进程8232生产 girl_4
consumer子进程3584消费 girl_4
consumer子进程9432获取结束信号man
consumer子进程11760获取结束信号man
consumer子进程3584获取结束信号man
生产者消费者模型完毕~~~

Process finished with exit code 0

很赞哦!

python编程网提示:转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部),获取技术资料请到公众号(底部)。同行交流请加群 python学习会