Python图片爬虫实战：从Requests到反爬策略的完整指南

1. 项目概述：从零到一构建一个健壮的图片爬虫

最近在整理一个设计素材库，需要批量获取一些特定主题的图片。手动下载？效率太低，而且容易出错。用现成的工具？要么功能受限，要么收费不菲。作为一个Python开发者，我第一时间想到的就是自己动手写一个爬虫。这听起来像是“人狗大作战”那种趣味代码的实战版，但实际做下来，你会发现它远不止是几行

requests.get()

那么简单。它涉及到网络请求、HTML解析、异常处理、反爬策略应对，甚至是一些简单的文件系统操作，是一个能串联起Python多个核心库的绝佳练手项目。

一个健壮的图片爬虫，核心目标很明确：根据我们设定的规则（比如关键词、来源网站），自动、准确、高效地将网络上的图片下载到本地。它适合任何需要批量获取图片数据的场景，比如个人素材收集、简单的数据分析、或者是为机器学习项目准备数据集。无论你是刚看完“Python安装教程”的新手，还是已经写过几个“爬虫案例”的进阶者，通过这个项目，你都能对HTTP协议、网页结构以及Python的实战编程有更深的理解。接下来，我就结合自己踩过的坑，分享一下从环境搭建到策略优化的完整心得。

2. 核心工具链选型与配置解析

工欲善其事，必先利其器。Python生态里用于爬虫的库多如牛毛，但经过实践筛选，一个高效且稳定的工具链组合至关重要。我的选择是

Requests + BeautifulSoup4 + 原生

os

/

urllib

。这个组合覆盖了爬虫的绝大多数核心需求。

2.1 网络请求库：为什么是Requests？

对于初学者，可能会在

urllib

和

requests

之间犹豫。

urllib

是Python标准库，无需安装，但它的API设计相对底层和繁琐。而

requests

库以其“人类友好”的API著称，让HTTP请求变得异常简单。例如，发送一个GET请求并获取响应，

requests

只需要一行：

response = requests.get(url)

，而

urllib

则需要好几行代码来处理请求对象和响应。在爬虫这种需要频繁进行网络交互的场景下，代码的简洁和可读性直接关系到开发效率和后期维护成本。因此，

Requests几乎是现代Python爬虫的事实标准

。

安装也非常简单，在配置好Python环境（例如完成了“vscode python环境配置”后），只需在终端执行：

pip install requests

。如果你遇到网络问题，可以使用国内镜像源加速，例如：

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple

。

2.2 网页解析库：BeautifulSoup4的精准定位

当我们用

requests

拿到网页的HTML源代码后，面对的就是一堆混杂着标签、属性和文本的字符串。如何从中精准地找到图片链接？这就需要HTML解析库。BeautifulSoup4（简称bs4）是这方面的佼佼者。它能够将复杂的HTML文档转换成一个复杂的树形结构，然后让你可以像操作字典和列表一样，通过标签名、CSS类名、ID等属性来导航和搜索，轻松定位到包含图片链接的

<img>

标签。

它的安装同样简单：

pip install beautifulsoup4

。在代码中，我们通常这样配合使用：

from bs4 import BeautifulSoup
import requests

response = requests.get('https://example.com')
soup = BeautifulSoup(response.text, 'html.parser') # 使用Python内置的html.parser进行解析
# 现在，soup对象就代表了整个HTML文档树

2.3 文件处理与下载：轻量级组合

对于下载图片并保存到本地，我推荐使用Python自带的

os

和

urllib.request

库。

os

库用于处理目录的创建、路径的拼接，确保下载的图片有地方可存。

urllib.request

库里的

urlretrieve

函数，是专门用于将网络资源下载到本地的利器，它自动处理了数据流的读取和文件写入。

为什么不全程用

requests

来下载？当然可以，

requests

通过

response.content

获取二进制内容再写入文件也是一种方法。但

urlretrieve

更加专一和简洁，对于简单的下载任务，代码更直观。两者在功能上可以互相替代，选择哪一个更多是个人习惯。

注意

：在开始编码前，请务必确认你的Python环境已正确安装。如果你在运行代码时遇到类似“请安装缺失的包以使用此工作流。要安装缺失的节点，请先在你的python环境中运行”这样的错误，通常意味着你的虚拟环境或全局环境中缺少某个依赖库，按照提示安装即可。

3. 爬虫核心逻辑拆解与实现步骤

理解了工具，我们来一步步拆解爬虫的核心逻辑。整个过程可以抽象为四个步骤：发起请求 -> 解析内容 -> 提取链接 -> 下载保存。我们以一个假设的图片网站为例，目标是爬取其首页所有展示图片。

3.1 第一步：构造请求与处理响应

首先，我们需要用

requests

向目标网址发起请求。这里有几个关键点：

3.2 第二步：解析HTML与定位图片标签

拿到正确的HTML文本后，交给BeautifulSoup进行解析。我们的目标是找到所有的

<img>

标签。但网页中的图片可能以多种形式存在：

• 直接链接

  ：

  <img src="https://…/image.jpg">

  ，这是我们最主要的抓取目标。

• 延迟加载（Lazy Load）

  ：现代网站为了性能，常用

  data-src

  属性存放真实链接，而

  src

  属性是一个占位图。代码表现为：

  <img data-src="real-image.jpg" src="placeholder.jpg">

  。这时我们需要提取

  data-src

  。

• 背景图片

  ：CSS样式中的

  background-image: url(…)

  。这需要解析

  <div>

  等元素的

  style

  属性，复杂度较高，初期可以暂不考虑。

使用BeautifulSoup查找所有

img

标签并尝试提取链接：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
img_tags = soup.find_all('img') # 找到所有img标签

for img in img_tags:
# 优先获取 data-src，如果没有则获取 src
img_url = img.get('data-src') or img.get('src')
if img_url:
# 对img_url进行进一步处理（如下一步）
print(f'找到图片链接：{img_url}')

这里用

.get()

方法安全地获取属性值，避免属性不存在时报错。

3.3 第三步：清洗与补全图片链接

从标签中提取出来的

img_url

往往不是完整的URL，可能是相对路径（如

/images/photo.jpg

）或协议相对路径（如

//cdn.example.com/img.jpg

）。我们需要将其补全为可直接访问的绝对URL。

Python的

urllib.parse

模块里的

urljoin

函数是处理这个问题的神器。它能够根据当前页面的基础URL，智能地拼接相对路径。

from urllib.parse import urljoin

base_url = 'https://example-picsite.com' # 当前页面的URL
for img in img_tags:
img_url = img.get('data-src') or img.get('src')
if img_url:
# 使用urljoin补全链接
full_url = urljoin(base_url, img_url)
print(f'完整图片链接：{full_url}')

经过这一步，我们得到了一个可以直接用于下载的、标准的HTTP/HTTPS链接。

3.4 第四步：下载图片与本地存储

现在，我们有了图片的完整URL，接下来就是下载并保存。这里要处理两个问题：文件命名和目录组织。

import os
from urllib.request import urlretrieve

# 创建保存图片的目录
save_dir = './downloaded_images'
os.makedirs(save_dir, exist_ok=True)

for img in img_tags:
img_url = img.get('data-src') or img.get('src')
if not img_url:
continue

full_url = urljoin(base_url, img_url)

# 从URL中提取文件名
filename = os.path.join(save_dir, full_url.split('/')[-1].split('?')[0]) # 去除查询参数

try:
# 下载图片
urlretrieve(full_url, filename)
print(f'下载成功：{filename}')
except Exception as e:
print(f'下载失败 {full_url}: {e}')

实操心得

：直接使用URL最后一段作为文件名存在风险。有些图片链接可能是动态生成的，结尾可能没有扩展名（如

.jpg

），或者文件名重复。一个更健壮的做法是，使用图片内容的MD5值，或者“时间戳+随机数”来命名，并通过响应头

Content-Type

来确定文件扩展名。但作为入门版本，上述方法在大多数情况下是可行的。

4. 应对反爬策略与提升爬虫健壮性

如果你的爬虫只是按照上面的步骤运行一次，那么它很可能只是一个“玩具”。真实的网站往往设有反爬虫机制。直接爬取可能会遇到“访问频率过高”、“需要登录”（涉及

cookie怎么给api爬虫使用

的问题）、甚至IP被封禁的情况。下面分享几个提升爬虫生存能力的核心技巧。

4.1 请求头伪装与会话维持

我们之前已经设置了

User-Agent

，但这只是基础。更逼真的伪装需要添加更多的请求头字段，例如

Accept

、

Accept-Language

、

Referer

等。这些值可以从你浏览器的开发者工具（F12，Network标签页）中复制。

此外，对于需要维持登录状态或处理Cookie的网站（比如爬取“微博”或“小红书”的非公开内容），需要使用

requests.Session()

对象。会话对象可以自动处理Cookie，在多次请求间保持状态，模拟浏览器行为。

import requests
import time

session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0…',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
})

# 如果需要登录（以简单表单为例）
login_data = {'username': 'your_user', 'password': 'your_pass'}
login_url = 'https://example.com/login'
# session.post(login_url, data=login_data) # 执行登录，session会自动保存登录后的cookie

# 后续的请求都使用同一个session，会携带cookie
response = session.get('https://example.com/protected-page')

4.2 请求频率控制与随机延迟

这是最重要的道德和技术准则。短时间内向同一服务器发起大量请求，会对对方网站造成压力，形同一种轻微的“CC攻击”，可能导致你的IP被拉黑。

务必在请求间添加延迟

。

使用

time.sleep()

函数是简单有效的方法。更好的做法是引入随机性，让请求间隔时间看起来更“人类”一些。

import random
import time

def random_delay(min_sec=1, max_sec=3):
"""在min_sec和max_sec之间随机休眠一段时间"""
time.sleep(random.uniform(min_sec, max_sec))

for url in list_of_urls:
response = session.get(url)
# … 处理响应 …
random_delay(2, 5) # 处理完一个页面后，等待2-5秒再请求下一个

对于大规模爬取，可以考虑使用更复杂的调度策略，但这对于普通图片爬虫已经足够。

4.3 异常处理与重试机制

网络是不稳定的，服务器也可能临时出错。你的爬虫必须能处理各种异常并优雅地恢复，而不是直接崩溃。

requests

库在发生网络错误（如连接超时、拒绝连接）时会抛出异常（如

ConnectionError

,

Timeout

）。

我们可以使用

try…except

块来捕获异常，并实现简单的重试逻辑。

import requests
from requests.exceptions import RequestException

def robust_request(url, session, retries=3, delay=5):
"""一个带重试机制的请求函数"""
for i in range(retries):
try:
response = session.get(url, timeout=10) # 设置超时时间
response.raise_for_status() # 如果状态码不是200，抛出HTTPError异常
return response # 成功则返回响应
except RequestException as e:
print(f'第{i+1}次请求失败 {url}: {e}')
if i < retries – 1: # 如果不是最后一次重试
time.sleep(delay)
else:
print(f'重试{retries}次后仍失败，放弃：{url}')
return None

# 使用示例
response = robust_request('https://example.com/image-page', session)
if response:
# 处理成功的响应

这个

robust_request

函数尝试请求最多3次，每次失败后等待5秒。这能有效应对临时的网络波动。

4.4 处理动态加载内容

越来越多的网站使用JavaScript动态加载内容（如“今日头条网页版”或“抖音”的瀑布流）。用

requests

直接拿到的初始HTML里可能没有图片数据，因为图片是后来通过JS请求API加载的。这时，传统的

requests+BeautifulSoup

组合就失效了。

解决方案有两种：

5. 项目优化与扩展思路

一个基础的、能跑的爬虫完成后，我们可以从多个维度对它进行优化和扩展，使其更强大、更易用。

5.1 并发下载提升效率

当需要下载的图片数量很多时，单线程顺序下载会非常慢。我们可以利用

concurrent.futures

模块中的

ThreadPoolExecutor

来实现多线程并发下载，极大提升效率。

from concurrent.futures import ThreadPoolExecutor, as_completed

def download_single_image(img_info):
"""下载单张图片的函数，img_info是一个包含(url, filename)的元组"""
url, filename = img_info
try:
urlretrieve(url, filename)
return f'成功: {filename}'
except Exception as e:
return f'失败: {filename}, 错误: {e}'

# 假设我们已经有了一个图片链接和文件名的列表 img_list
img_list = [(url1, name1), (url2, name2), …]

# 使用线程池，max_workers控制并发线程数，通常不建议超过10
with ThreadPoolExecutor(max_workers=5) as executor:
# 提交所有下载任务
future_to_img = {executor.submit(download_single_image, img): img for img in img_list}
# 等待任务完成并获取结果
for future in as_completed(future_to_img):
result = future.result()
print(result)

注意事项

：并发虽好，但切忌贪婪。过高的并发数（

max_workers

）会瞬间向目标服务器发起大量请求，极易触发反爬机制，导致IP被封。建议从3-5开始，根据目标网站的反应谨慎调整。同时，要确保你的网络带宽和本地IO能承受这样的并发压力。

5.2 添加进度显示与日志记录

对于长时间运行的爬虫，一个直观的进度条和详细的日志文件是必不可少的。

tqdm

库可以轻松地为循环添加进度条。同时，使用Python内置的

logging

模块来记录运行信息、错误和警告，便于后期排查问题。

from tqdm import tqdm
import logging

# 配置日志
logging.basicConfig(level=logging.INFO,
format='%(asctime)s – %(levelname)s – %(message)s',
handlers=[
logging.FileHandler('spider.log'),
logging.StreamHandler() # 同时输出到控制台
])

# 在下载循环中使用tqdm
img_urls = […] # 图片URL列表
for url in tqdm(img_urls, desc='下载进度'):
try:
# … 下载逻辑 …
logging.info(f'下载成功: {url}')
except Exception as e:
logging.error(f'下载失败 {url}: {e}')

5.3 设计可配置的爬虫框架

将爬虫代码模块化、参数化，可以大大提高其复用性。例如，我们可以将：

• 目标URL

  、

  图片选择器

  （CSS选择器或XPath）、

  保存路径

  、

  请求头

  、

  延迟时间

  等作为配置项。

• 将网页解析、链接清洗、下载等步骤封装成独立的函数或类。
  这样，当你需要爬取另一个网站时，可能只需要修改配置文件，而不是重写整个代码。这也是向更高级的爬虫框架（如Scrapy）过渡前的良好实践。

5.4 道德、法律与 robots.txt

最后，也是最重要的一点：

负责任地爬取

。

爬虫技术本身是中立的，但如何使用它体现了开发者的素养。把它当作一个强大的工具，用来高效地获取公开的、允许获取的数据，同时始终保持对数据源和服务器的尊重。