1. 项目概述：为什么Selenium在爬虫领域依然坚挺？
提到Python爬虫，很多人第一反应是requests搭配BeautifulSoup或者Scrapy。确实，对于绝大多数静态网页，这套组合拳又快又好用。但当你面对的是一个充斥着JavaScript动态渲染、登录验证复杂、操作流程繁琐的网站时，传统的HTTP请求库就显得力不从心了。这时，Selenium就该登场了。它本质上是一个浏览器自动化工具，能模拟真人操作浏览器的一切行为：点击、输入、滚动、下拉选择等等。在爬虫领域，它扮演着“终极解决方案”的角色，专治各种不服——特别是那些数据藏在JS动态加载背后的网站。
我最初接触Selenium是为了抓取一个需要登录、然后通过多次点击和筛选才能看到数据的后台管理系统。用requests去逆向分析它的API接口，发现其加密逻辑复杂，且经常变动，维护成本极高。转而使用Selenium，虽然速度慢了点，但代码逻辑直白得像写操作说明书，稳定性反而大大提升。所以，别再把Selenium仅仅看作一个“备胎”，在应对现代Web应用（尤其是单页面应用SPA）时，它往往是那条最稳妥、最省心的“主干道”。本教程将带你从零开始，深入Selenium在Python爬虫中的每一个实用细节，避开我踩过的那些坑。
2. 环境搭建与核心组件解析
工欲善其事，必先利其器。用Selenium搞爬虫，第一步就是把环境配通。这里面的门道，直接关系到你后续脚本是稳定运行还是频频报错。
2.1 浏览器与驱动：版本匹配是生命线
Selenium工作的原理是：你的Python代码（客户端）通过WebDriver协议向一个特定的浏览器驱动程序（如chromedriver）发送指令，驱动程序再去控制真实的浏览器（如Chrome）。因此， 浏览器、驱动程序、Selenium库三者的版本兼容性至关重要 。
浏览器选择 ：Chrome/Edge（Chromium内核）是首选，因为生态最好，资料最全。Firefox也可用，但驱动（geckodriver）的更新有时稍慢。
驱动下载与管理 ：
注意 ：这是新手最容易栽跟头的地方。经常有人报错“This version of ChromeDriver only supports Chrome version XX”，就是因为版本没对上。我的习惯是，将驱动放在项目根目录的 drivers 文件夹下，在代码中显式指定路径，这样项目移植时不会出错。
安装Selenium库 ：这个最简单， pip install selenium 即可。建议使用虚拟环境管理项目依赖。
2.2 基础脚本：从打开浏览器到拿到源码
环境配好，我们来写第一个脚本，感受一下Selenium的“所见即所得”。
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
import time
# 1. 指定ChromeDriver路径
driver_path = \’./drivers/chromedriver\’ # 根据你的实际路径修改
service = Service(executable_path=driver_path)
# 2. 配置浏览器选项（可选，但很重要）
options = webdriver.ChromeOptions()
# 添加常用选项
options.add_argument(\’–headless\’) # 无头模式，不显示浏览器界面
options.add_argument(\’–disable-gpu\’) # 禁用GPU，在某些系统上需要
options.add_argument(\’–no-sandbox\’) # 在Linux环境下可能需要
options.add_argument(\’–disable-dev-shm-usage\’) # 解决共享内存问题
# 防止被检测为自动化工具（初级反反爬）
options.add_experimental_option(\’excludeSwitches\’, [\’enable-automation\’])
options.add_experimental_option(\’useAutomationExtension\’, False)
# 3. 启动浏览器
driver = webdriver.Chrome(service=service, options=options)
# 执行CDP命令，进一步隐藏自动化特征
driver.execute_cdp_cmd(\’Page.addScriptToEvaluateOnNewDocument\’, {
\’source\’: \’Object.defineProperty(navigator, \”webdriver\”, {get: () => undefined})\’
})
try:
# 4. 访问网页
driver.get(\’https://www.example.com\’)
# 等待页面加载，简单粗暴的方式，后面会讲更优的等待策略
time.sleep(3)
# 5. 获取页面信息
print(\’当前标题:\’, driver.title)
print(\’当前URL:\’, driver.current_url)
# 获取渲染后的完整HTML源码，这是requests做不到的
page_source = driver.page_source
# print(page_source) # 内容太多，通常先打印看看结构
# 6. 一个简单操作：在百度搜索框输入内容
driver.get(\’https://www.baidu.com\’)
search_box = driver.find_element(\’id\’, \’kw\’) # 找到搜索框
search_box.send_keys(\’Selenium爬虫教程\’) # 输入文字
search_box.submit() # 提交表单
time.sleep(2)
finally:
# 7. 关闭浏览器
driver.quit()
这个脚本涵盖了最基本的流程。其中，浏览器选项（ ChromeOptions ）的配置是进阶使用的开始。无头模式（ –headless ）对于服务器部署爬虫至关重要，可以节省资源。而 excludeSwitches 和CDP命令则是为了应对一些网站对自动化工具的简单检测，属于初步的“反反爬”措施。
3. 元素定位：八仙过海，各显神通
定位页面元素是Selenium所有操作的基础。找不到元素，点击、输入都无从谈起。Selenium提供了多达8种定位策略，但常用的就几种。
3.1 八大定位器详解与选用策略
driver.find_element(by, value) 用于定位单个元素，返回第一个匹配项。 driver.find_elements(by, value) 用于定位所有匹配元素，返回一个列表。
