1. 项目概述：当金融数据遇上JS反爬
做金融数据分析的朋友，最近是不是感觉数据越来越难“拿”了？以前用 requests 加个 User-Agent 就能轻松抓取的股票列表、财报摘要、实时行情，现在打开页面一片空白，或者数据变成了需要执行复杂JavaScript才能渲染出来的动态内容。这背后，正是网站为了应对自动化爬取而部署的JavaScript反爬虫技术，尤其是在数据价值高、实时性要求强的金融领域，这种对抗尤为激烈。
面对这种局面，传统的静态爬虫工具已经力不从心。我们需要一个能“像真人一样”操作浏览器的工具，去执行页面里的JS代码，等待数据渲染完成，然后再进行提取。这就是“无头浏览器”的用武之地。而在众多无头浏览器方案中， Playwright 以其现代化、高性能和对多浏览器（Chromium, Firefox, WebKit）的原生支持脱颖而出。它由微软开发，API设计清晰，异步支持优秀，特别适合处理现代Web应用。
这个项目，我们就聚焦于使用Python版的Playwright，来实战攻克一个典型的金融数据网站（我们以模拟场景为例，核心思路通用），绕过其JS反爬机制，稳定、高效地获取结构化数据。整个过程，我会带你从环境搭建、核心原理剖析，到一步步编写抗封禁的健壮爬虫，并分享我在金融数据抓取中积累的独家避坑经验。
2. 核心思路与工具选型解析
2.1 为什么是Playwright？而不仅仅是Selenium
很多朋友的第一反应可能是Selenium。确实，Selenium是老牌且强大的浏览器自动化工具。但在应对现代反爬，特别是需要快速执行、资源控制精细的场景下，Playwright展现出了更明显的优势：
对于金融数据抓取，我们经常需要处理大量由前端框架（如React, Vue）渲染的表格、图表。Playwright的“自动等待”和强大的选择器（支持文本匹配、CSS、XPath）能让我们更稳定地定位到这些动态加载的元素。
2.2 无头模式 vs. 有头模式：策略选择
Playwright可以以“无头”模式运行，即不显示浏览器图形界面。这在服务器环境或追求效率时是首选。但有头模式在开发和调试阶段无可替代。
实操心得 ：在开发爬虫脚本时， 强烈建议先使用有头模式（ headless=False ） 。这样你可以亲眼看到浏览器每一步在做什么：页面是否加载完全？元素是否如预期般出现？弹出的登录框或验证码是否挡住了目标？亲眼所见能帮你快速定位问题。等脚本稳定后，再切换到无头模式进行批量任务。
2.3 整体爬取策略设计
我们的目标网站假设是一个“金融数据平台”，其股票详情页的数据（如市盈率、市值、涨跌幅）是通过前端JS异步加载的。直接请求HTML得不到这些数据。我们的策略分三层：
下面，我们就从零开始，搭建环境并实现这一策略。
3. 环境准备与核心配置实战
3.1 Python环境与Playwright安装
首先确保你安装了Python（3.7+）。建议使用虚拟环境管理项目依赖。
# 创建并进入虚拟环境（可选但推荐）
python -m venv venv
source venv/bin/activate # Linux/Mac
# venv\\Scripts\\activate # Windows
# 安装Playwright的Python库
pip install playwright
# 安装Playwright所需的浏览器内核（Chromium, Firefox, WebKit）
playwright install chromium # 对于金融爬虫，Chromium兼容性最好，通常只装这个就够了
playwright install 命令会下载浏览器二进制文件，可能需要一些时间，请保持网络通畅。
3.2 初始化浏览器与上下文：抗检测的关键一步
直接使用 browser = await playwright.chromium.launch() 是最简单的，但这样启动的浏览器实例容易被识别为自动化工具。我们需要创建一个配置更复杂的“上下文”来隐藏指纹。
import asyncio
from playwright.async_api import async_playwright
import random
async def main():
async with async_playwright() as p:
# 1. 启动浏览器，建议先有头调试
browser = await p.chromium.launch(headless=False, slow_mo=100) # slow_mo让动作变慢，方便观察
# 2. 创建上下文，这是模拟真实浏览器的核心
# 获取一组常见的用户代理字符串
user_agents = [
\’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 …\’,
\’Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 …\’,
# … 可以准备更多
]
context = await browser.new_context(
viewport={\’width\’: 1920, \’height\’: 1080}, # 随机化分辨率更安全
user_agent=random.choice(user_agents),
locale=\’zh-CN\’, # 语言
timezone_id=\’Asia/Shanghai\’, # 时区
# 忽略HTTPS错误（某些测试环境可能需要）
ignore_https_errors=False,
# 设置更真实的权限，如地理位置（可选）
permissions=[\’geolocation\’]
)
# 3. 创建页面
page = await context.new_page()
# … 后续爬取逻辑
await browser.close()
asyncio.run(main())
注意事项 ： slow_mo 参数在调试时非常有用，但它会显著减慢所有操作。在生产环境运行爬虫时， 务必将其移除或设为0 ，否则你的抓取效率会极低。
3.3 核心配置：屏蔽无用资源与启用请求拦截
金融数据页面往往包含大量图片、样式表、字体和广告脚本。对于纯数据抓取，这些资源不仅拖慢速度，还消耗流量。我们可以在上下文中设置路由，拦截并中止这些请求。
