前言
单线程串行爬虫存在致命性能短板：程序完成一次网页请求、数据解析、文件存储后，才会发起下一轮网络交互，绝大多数运行时间都消耗在网络 IO 等待阶段，CPU 算力长期闲置。面对分页列表、海量图片批量下载、多站点轮询采集场景，串行执行效率极低，动辄数十分钟才能完成少量数据采集。
多线程并发技术依托 Python 内置threading、queue模块，将网络请求、资源下载这类 IO 阻塞任务并行执行，充分利用 IO 等待的空闲时间，将整体采集效率提升数倍至数十倍。线程安全、任务队列、并发数量控制、异常隔离、结果统一存储是并发爬虫开发的核心要点，若不加限制无节制创建线程，会触发目标服务器连接限制、本地端口耗尽、程序崩溃、IP 封禁等反爬风险。
本文围绕生产者消费者模型搭建标准并发爬虫架构，系统讲解线程基础、阻塞队列、并发限流、图片并发下载、文本数据并发采集、全局数据存储、并发场景排错等完整内容，搭配可直接复用工程级代码，拆解每段代码底层运行逻辑，兼顾小型采集脚本与大规模全站爬虫的落地需求。
本文使用的内置依赖库官方文档链接，无需额外 pip 安装，Python3 原生支持：
