网络机器人（爬虫）Robots协议完全指南

Robots协议完全指南

目录

什么是Robots协议

Robots协议（Robots Exclusion Protocol）是网站与网络爬虫之间的一种约定，用于指导爬虫访问网站资源的规则。它是一种行业标准，允许网站所有者告诉搜索引擎和其他爬虫工具哪些页面可以被抓取，哪些应该被忽略。

核心作用

工作原理

用户访问 → 搜索引擎/爬虫 → 查找 robots.txt → 遵守规则 → 决定是否抓取

发展历史

时间线

创建背景

Robots协议起源于1994年，当时互联网快速发展，大量爬虫开始无限制地抓取网站内容，导致：

• 服务器压力过大
• 敏感内容被索引
• 版权内容被滥用
• 用户隐私泄露

为了解决这些问题，Martijn Koster 提出了这个简单而有效的解决方案。

文件格式与语法

基本结构

# 这是注释
User-agent: *
Disallow: /private/
Allow: /public/

语法规则

完整示例

# robots.txt – 示例文件
# 网站：example.com
# 更新日期：2024-01-15

User-agent: Googlebot
Disallow: /admin/
Disallow: /private/
Allow: /public/

User-agent: Baiduspider
Disallow: /temp/

User-agent: *
Disallow: /secret/

核心指令详解

1. User-agent（用户代理）

指定适用规则的爬虫类型。

注意：* 只匹配一个字符，不能用 *bot 这种模式。

2. Disallow（禁止访问）

指定不允许爬虫访问的目录或文件。

# 禁止单个目录
Disallow: /admin/

# 禁止单个文件
Disallow: /private/secret.html

# 禁止所有内容
Disallow: /

# 禁止特定文件类型
Disallow: *.pdf

3. Allow（允许访问）

指定允许爬虫访问的内容，通常与 Disallow 配合使用。

# 允许特定子目录
Disallow: /admin/
Allow: /admin/public/

# 允许特定文件
Disallow: /private/
Allow: /private/index.html

4. Sitemap（站点地图）

指定站点地图的位置，帮助爬虫更好地发现内容。

# 单个站点地图
Sitemap: https://example.com/sitemap.xml

# 多个站点地图
Sitemap: https://example.com/sitemap-pages.xml
Sitemap: https://example.com/sitemap-posts.xml

5. Crawl-delay（爬取延迟）

指定爬虫访问的延迟时间（秒）。

# Yahoo/旧版Bing 使用
User-agent: Yahoo Slurp
Crawl-delay: 10

# Yandex 使用
User-agent: Yandex
Crawl-delay: 5

注意：Google 和 Bing 不支持此指令，需要在各自的站长工具中设置。

6. Cache-delay（缓存延迟）

指定爬虫缓存响应的时间。

User-agent: *
Cache-delay: 86400

高级配置

正则表达式模式

某些搜索引擎支持通配符：

特殊目录处理

# 保护所有动态页面
Disallow: /*.php
Disallow: /*.cgi
Disallow: /*.asp

# 保护所有查询页面
Disallow: /*?

# 保护所有子目录的特定文件
Disallow: /*/admin/

多User-agent规则

# Google爬虫规则
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/

# 百度爬虫规则
User-agent: Baiduspider
Disallow: /temp/

# 所有爬虫规则
User-agent: *
Disallow: /secret/
Allow: /public/

最佳实践

✅ 推荐做法

❌ 避免错误

安全注意事项

Robots协议的安全局限性

增强安全措施

常见问题与解决方案

问题1：Robots协议被忽略

原因：

• 爬虫不遵守规范
• 文件路径错误
• 语法错误

解决方案：

# 检查文件是否存在
curl -I https://example.com/robots.txt

# 验证语法
# 使用在线验证工具

问题2：阻止了搜索引擎索引

原因：

• Disallow 规则过于严格
• 路径匹配错误

解决方案：

# 使用 Allow 覆盖
Disallow: /admin/
Allow: /admin/public/

# 或使用更精确的路径
Disallow: /admin/private/

问题3：多个规则冲突

原因：

• 针对同一 User-agent 有多个规则块

解决方案：

# 错误：多个 User-agent: * 块
User-agent: *
Disallow: /admin/

User-agent: *
Disallow: /secret/

# 正确：合并到一个块中
User-agent: *
Disallow: /admin/
Disallow: /secret/

问题4：文件过大

原因：

• 规则过多
• 包含太多注释

解决方案：

• 简化规则
• 使用通配符
• 移动复杂逻辑到服务器配置

现代发展与趋势

1. 机器可读的规则

现代搜索引擎支持更复杂的指令：

# Google 特定指令
User-agent: Googlebot
Disallow: /admin/
# Googlebot-Image
User-agent: Googlebot-Image
Allow: /images/

2. CDN 和云服务支持

# Cloudflare Workers
User-agent: *
Disallow: /api/

# AWS CloudFront
User-agent: *
Disallow: /static/

3. 法律合规要求

4. 性能优化

• 使用 CDN 分发 robots.txt
• 压缩文件大小
• 设置缓存策略

5. 自动化管理

# 示例：自动生成 robots.txt
import json

def generate_robots(rules):
content = "# Auto-generated robots.txt\\n\\n"
for rule in rules:
content += f"User-agent: {rule['user-agent']}\\n"
content += f"Disallow: {rule['disallow']}\\n\\n"
return content

工具推荐

验证工具

爬虫工具

参考资源

总结

Robots协议是网站与爬虫之间的重要约定，虽然它不是强制性的法律协议，但：

最佳实践总结：

• ✅ 始终提供清晰的 robots.txt
• ✅ 定期检查和更新规则
• ✅ 配合站点地图使用
• ✅ 不要依赖它作为安全措施
• ✅ 遵守搜索引擎的指导原则