一篇最全Python 爬虫超详细讲解（零基础入门,适合小白）

安装 Python：

• 下载官网最新版（https://www.python.org/downloads/），推荐 Python 3.12 或更高。Windows/Mac/Linux 都支持。
• 安装时勾选“Add Python to PATH”，便于命令行使用。
• 验证：打开命令提示符（Win: cmd；Mac: Terminal），输入 python –version，看到版本号就 OK。

安装代码编辑器：

• 推荐 VS Code（免费，轻量）：下载 https://code.visualstudio.com/，安装 Python 扩展。
• 或者 PyCharm Community Edition（专业 IDE）：https://www.jetbrains.com/pycharm/download/。

安装爬虫常用库（用 pip，Python 自带包管理器）：

• 打开命令行，输入：pip install requests beautifulsoup4 lxml selenium scrapy
• 解释：
  • requests：发送 HTTP 请求，模拟浏览器访问网站。
  • beautifulsoup4（简称 bs4）：解析 HTML，提取数据。
  • lxml：bs4 的高效解析器。
  • selenium：处理动态页面（如 JavaScript 加载）。
  • scrapy：专业爬虫框架。

测试环境：

• 新建一个 .py 文件（如 test.py），写：print("Hello, 爬虫世界！")
• 运行：命令行 python test.py，看到输出就成功。

代码示例（用 requests + bs4）：

import requests
from bs4 import BeautifulSoup

# 第一步：发送请求
url = "https://www.baidu.com" # 目标网址
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
} # 模拟浏览器，避开简单反爬
response = requests.get(url, headers=headers)

# 检查响应
if response.status_code == 200:
print("请求成功！")
else:
print("请求失败，状态码：", response.status_code)
exit() # 退出程序

# 第二步：解析 HTML
soup = BeautifulSoup(response.text, "lxml") # 用 lxml 解析器

# 提取标题
title = soup.title.string
print("页面标题：", title)

# 提取所有链接
links = soup.find_all("a") # 找所有 <a> 标签
for link in links:
href = link.get("href") # 获取 href 属性
text = link.string # 获取文本
if text: # 过滤空文本
print(f"链接文本：{text}，URL：{href}")

# 第三步：保存数据（可选，存到文件）
with open("baidu_links.txt", "w", encoding="utf-8") as f:
for link in links:
if link.string:
f.write(f"{link.string}: {link.get('href')}\\n")
print("数据已保存到 baidu_links.txt")

• 运行：保存为 baidu_crawler.py，命令行 python baidu_crawler.py。
• 输出：页面标题和链接列表。

解释代码：

• requests.get()：获取网页源代码。
• BeautifulSoup：像“汤”一样搅拌 HTML，轻松找标签（如 find_all("a") 找所有超链接）。
• 如果网站用 JavaScript 加载，用 Selenium 替换 requests（见进阶）。

小练习：改成爬取豆瓣电影 Top 250 的电影名（URL: https://yingjuxia.com/archives/8406）。提示：找 class="title" 的标签。

处理动态页面（JavaScript 渲染）：

• 用 Selenium 模拟浏览器。
• 安装 ChromeDriver（匹配你的 Chrome 版本）：https://googlechromelabs.github.io/chrome-for-testing/。
• 示例代码：from selenium import webdriver
  from selenium.webdriver.chrome.service import Service
  from selenium.webdriver.common.by import By

  # 配置 ChromeDriver 路径
  service = Service("path/to/chromedriver.exe") # 替换成你的路径
  driver = webdriver.Chrome(service=service)

  url = "https://www.example.com" # 动态网站
  driver.get(url)

  # 找元素（用 XPath 或 CSS）
  elements = driver.find_elements(By.CSS_SELECTOR, "div.classname")
  for elem in elements:
  print(elem.text)

  driver.quit() # 关闭浏览器

• 优势：能处理登录、点击等交互。

XPath 解析（更精确提取）：

• 用 lxml 的 etree。
• 示例：from lxml import etree

  html = etree.HTML(response.text) # 解析
  titles = html.xpath('//h1/text()') # XPath 表达式：所有 h1 标签的文本
  print(titles)

• XPath 语法：//tag 找所有 tag；@attr 找属性。

反爬虫应对：

• User-Agent 轮换：用 fake_useragent 库随机 UA。pip install fake_useragent
  from fake_useragent import UserAgent
  ua = UserAgent()
  headers = {"User-Agent": ua.random}
• 代理 IP：用免费/付费代理池，避免 IP 被封。proxies = {"http": "http://your_proxy:port"}
  response = requests.get(url, proxies=proxies)
• 延迟请求：import time; time.sleep(2) 每请求睡 2 秒。
• 验证码：用 OCR 库如 pytesseract 识别简单验证码。

数据存储：

• CSV：用 pandas。import pandas as pd
  data = [{"name": "Alice", "age": 25}]
  df = pd.DataFrame(data)
  df.to_csv("data.csv", index=False)
• 数据库：SQLite 或 MySQL（用 sqlite3 或 pymysql）。

Scrapy 框架（专业级）：

• 安装后，创建项目：scrapy startproject myspider。
• 示例 Spider：import scrapy

  class MySpider(scrapy.Spider):
  name = "example"
  start_urls = ["https://www.example.com"]

  def parse(self, response):
  titles = response.xpath('//h1/text()').getall()
  yield {"title": titles}

• 运行：scrapy crawl example -o output.json。
• 优势：内置调度、管道、去重，适合大项目。