更多内容请见： 《爬虫和逆向教程》 – 专栏介绍和目录
文章目录
-
- 一、百度爬虫是如何获取数据的？
-
- 1. 发现 URL
- 2. 抓取
- 3. 解析与建库
- 4. 检索与排序
- 二、用 Python 实现完整的百度爬虫
-
- 1. 模拟 Baiduspider 抓取网页（通用爬虫）
- 2. 百度搜索结果爬虫（SERP 爬虫）
- 三、百度反爬实战与建议
一、百度爬虫是如何获取数据的？
百度的核心爬虫被称为 Baiduspider，其基本工作原理与 Googlebot 类似，但在中文互联网环境的具体策略和抓取偏好上有显著差异。Baiduspider 获取数据主要分为四个阶段：
1. 发现 URL
- 站内链接抓取：从已抓取的网页中提取 <a> 标签内的超链接。
- 百度搜索资源平台：网站管理员主动推送的 URL（API 提交、Sitemap 提交）。
- 离职/外链抓取：通过其他网站上指向目标网站的链接发现新页面。
2. 抓取
Baiduspider 根据发现的 URL 队列发起 HTTP 请求下载网页内容：
- UA 标识：百度爬虫的 User-Agent 通常为 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)（无线端则包含 Baiduspider-mobile）。
- Robots.txt 遵守：抓取前会检查根目录的 robots.txt，严格遵守禁止抓取的协议。
