FazBrowse GitHub Viewer | Trending |
URL:
| Home
Tools: [Download Repo ZIP]   [View Raw Code]   [Original HTTPS Page]

Notes/python-basic-notes/python-days/Day_57.md at master · We2one/Notes · GitHub

/ Notes Public

Latest commit

 

History

History
43 lines (29 loc) · 1.48 KB

File metadata and controls

43 lines (29 loc) · 1.48 KB

多线程爬虫

Python 多线程编程

线程创建方式
  1. 使用 threading 直接创建

    import threading
    
    # 创建线程
    t = threading.Thread(target="线程处理方法名", args=(参数元组,))
    # 启动 
    t.start()
  2. 线程类

    1. 写一个类,继承 threading.Thread
    2. 重写 run 方法
    3. 将类实例化就相当于创建一个线程,这个对象调用 start() 方法启动线程

单线程与多线程爬虫案例

  1. 单线程爬虫
  2. 多线程爬虫
  3. 引入任务队列,实现多线程爬虫

生产着消费者模式

生产者消费者模式介绍
  • 定义 : 使用生产者消费者模式解决并发问题,通过平衡生产者消费者的工作能力来提高程序整体处理数据的速度
  • 使用生产着消费者模式解决问题
    • 解决生产者生产和消费者消费速度差引起的资源浪费问题
  • 生产者和消费者模式
    • 生产者和消费者模式 : 通过一个容器来解决生产者和消费者强耦合问题.
    • 生产者和消费者彼此之间不直接通讯,通过阻塞队列进行通讯,所以生产者生产完数据后不用等待消费者处理,直接扔给阻塞队列,消费者不找生产者要数据,而是直接从阻塞队列里取,阻塞队列相当于一个缓冲区,平衡了生产者和消费者的处理能力
生产着消费者模式爬虫

Back | FazBrowse Home | New Git URL