python线程安全队列讲解
admin
2024-01-30 05:33:09

一、线程安全队列

python内置的线程安全队列模块叫queue

python的Queue模块中提供了同步的、线程安全的队列类

FIFO（先进先出）队列的Queue（常用）

LIFO（后进先出）lifoQueue

可以使用队列来实现线程间的同步。

二、队列的常用方法

函数描述
qsize()返回队列大小
empty()判断队列是否为空
full()判断队列是否满了
get()从队列中获取先插入的数据
put()将一个数据放到队列中
  • qsize()返回队列大小
 

from queue import Queue
# 指定队列当中最多可存放5个数据
queue = Queue(5)
for num in range(5):
# put（）将一个数据放到队列中
queue.put(num) # 队列中获取先插入的数据
print("当前队列的大小为：", queue.qsize())
-------------------------
当前队列的大小为： 5


  • empty()判断队列是否为空
  • full() 判断队列是否为满


 

from queue import Queue
# 指定队列当中最多可存放5个数据
queue = Queue(5)
for num in range(5):
# put（）将一个数据放到队列中
queue.put(num) # 队列中获取先插入的数据
# 判断队列是否为空
print(queue.empty())
print(queue.full())
----------------------
False
True


  • put() 将一个数据放到队列中
  •  
    get() 从队列中获取先插入的数据 
     
     


 

from queue import Queue
# 指定队列当中最多可存放5个数据
queue = Queue(5)
for num in range(5):
# put（）将一个数据放到队列中
queue.put(num) # 队列中获取先插入的数据
print("当前队列的大小为：", queue.qsize())
# get（）从队列中获取先插入的数据
for i in range(1,6):
print(queue.get(i))
-------------------------------------
当前队列的大小为： 5
0
1
2
3
4


个人博客推荐：白煮蛋的博客 
 

三、在多线程当中使用
 

Queue是线程安全的队列，在使用时无须加锁，可以再多线程当中直接使用
 

队列也是实现线程间同步的方式
 

 

from queue import Queue
import threading
import random
import time
def put_data(queue):
while True:
queue.put(random.randint(10,100))
time.sleep(1)
print(queue.qsize())
def get_data(queue):
while True:
print(f"已经获取到队列当中的--{queue.get()}--元素")
def main():
queue = Queue(10)
t1 = threading.Thread(target=put_data,args=(queue,))
t2 = threading.Thread(target=get_data,args=(queue,))
t1.start()
t2.start()
if __name__ == '__main__':
main()


四、生产者与消费者模式
 

产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者。
 

 
单单抽象出生产者和消费者，还够不上是生产者／消费者模式。该模式还需要有一个缓冲区处于生产者和消费者之间，作为一个中介。生产者把数据放入缓冲区，而消费者从缓冲区取出数据。
 

 

  •  
    缓冲区
     


 
如果制造数据的速度时快时慢，缓冲区的好处就体现出来了。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。
 

 

  • 队列==缓冲区


（一）生产者与消费者模式案例
 

 

import requests
from bs4 import BeautifulSoup
import os
from threading import Thread
from queue import Queue
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.26"}
# 生产者类
class Page_Url(Thread):
# page_queue 生产者队列
# img_queue 消费者队列
def __init__(self,page_queue,img_queue):
super().__init__()
self.page_queue = page_queue
self.img_queue = img_queue
def run(self):
while True:
if self.page_queue.empty():
break
url = self.page_queue.get()
self.download_image(url)
def download_image(self,url):
resp = requests.get(url, headers=headers).text
# print(resp)
soup = BeautifulSoup(resp, "lxml")
image_list = soup.find_all("img", class_="ui image lazy")
for img in image_list:
title = img.get("title")
href = img.get("data-original")
self.img_queue.put((title,href))
# 消费者类
class Img_Url(Thread):
# page_queue 生产者队列
# img_queue 消费者队列
def __init__(self, page_queue, img_queue):
super().__init__()
self.page_queue = page_queue
self.img_queue = img_queue
def run(self):
while True:
data = self.img_queue.get()
title,href = data
try:
with open("./image/"+title+os.path.splitext(href)[-1],"wb") as f:
resp =requests.get(href).content
f.write(resp)
print(title,"保存成功！")
except OSError:
pass
# 判断两个队列是否全部清空
if self.page_queue.empty() and self.img_queue.empty():
break
def main():
# 创建两个队列
page_queue = Queue()
img_queue = Queue()
for num in range(1,6):
url = "https://www.fabiaoqing.com/biaoqing/lists/page/{}.html".format(num)
# 将前五页的url添加到生产者队列
page_queue.put(url)
t1 = Page_Url(page_queue,img_queue)
t1.start()
t2 = Img_Url(page_queue,img_queue)
t2.start()
if __name__ == '__main__':
main()


 

（二）步骤解析
 

1、主类main
 

（1）创建生产者与消费者队列
 

（2）将前5页的url添加到生产者队列
 

 

def main():
# 创建两个队列
page_queue = Queue()
img_queue = Queue()
for num in range(1,6):
url = "https://www.fabiaoqing.com/biaoqing/lists/page/{}.html".format(num)
# 将前五页的url添加到生产者队列
page_queue.put(url)
t1 = Page_Url(page_queue,img_queue)
t1.start()
t2 = Img_Url(page_queue,img_queue)
t2.start()


2、生产者类
 

（1）生产者队列while循环当中获取的前5页的链接，当队列为空，停止获取。
 

 

def run(self):
while True:
if self.page_queue.empty():
break
url = self.page_queue.get()
self.download_image(url)


（2）将获取的链接给到dowl_img
 

 

def download_image(self,url):
resp = requests.get(url, headers=headers).text
# print(resp)
soup = BeautifulSoup(resp, "lxml")
image_list = soup.find_all("img", class_="ui image lazy")
for img in image_list:
title = img.get("title")
href = img.get("data-original")


（3）将获取到的名称和链接添加到消费者队列
 

 

self.img_queue.put((title,href))


3、消费者类
 

（1）从队列当中获取图片名称和链接
 

 

def run(self):
while True:
data = self.img_queue.get()
title,href = data


（2）保存图片
 

 

try:
with open("./image/"+title+os.path.splitext(href)[-1],"wb") as f:
resp =requests.get(href).content
f.write(resp)
print(title,"保存成功！")
except OSError:
pass
# 判断两个队列是否全部清空
if self.page_queue.empty() and self.img_queue.empty():
break


好了， 以上是本文所有内容，希望对大家有所帮助，也希望大家对码农之家多多支持，你们的支持是我创作的动力！祝大家生活愉快！    
                
            

            
            

                
               
            

            

                

                    上一篇：企业python面试题

                

                

                    下一篇：CompletableFuture                

            

            
            

                
                
相关内容

                
            

            

            
            

                 

            



        

        
    

    

    
    

        
        

            
            

                
                

                    
                    

                        
                        热门资讯
                        
                    

                    
                

                
            

            
            
            


                                
                

                    
                    
                    
                    
                    

                        新质新格局，景芝白酒再次点亮黄...
                        11月18日，备受瞩目的2025年第六届中国白酒黄淮核心产区高质量发展峰会在淄博举办。本届峰会以“新...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        今日播出|丝路陕茶 千年留香
                        播出时间：农林卫视《农村大市场》11月19日22:05 丝路陕茶 千年留香 陕西是我国最早种茶、出产...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        纠结有什么好吃的零食品牌推荐？...
                        在快节奏的现代生活中，零食早已超越了单纯的充饥角色，转而成为我们慰藉味蕾、补充能量、甚至分享快乐的重...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        吃巧克力能缓解甲状腺相关疲劳？
                        一、甲状腺相关疲劳的核心成因 要判断巧克力能否缓解甲状腺相关疲劳，首先需要明确这种疲劳的根源。甲状腺...
                    

                    
                

                                
                

                    
                    
                    
                    
                    

                        暖乎乎的酒酿南瓜丸子羹，一口甜...
                        秋冬最治愈的家常甜汤，必须提名酒酿南瓜丸子羹！金黄的南瓜丸子软乎乎，裹着清甜的酒酿汤汁，一口下去暖到...