前言
互联网存量站点中存在大量自建 HTTPS 证书、过期证书、域名与证书主体不匹配、自签私有证书的非常规服务站点，此类站点使用标准 requests、urllib 进行网络请求时，程序会抛出 SSL 证书校验失败异常，直接终止请求链路。常规商用网站均采用 CA 机构签发的正规证书，证书校验机制可防范中间人劫持，但小众企业后台、内网映射站点、废弃遗留站点、小众 API 服务普遍使用自签发证书，严格的 SSL 校验会直接阻断爬虫数据采集链路。
在合规采集前提下，通过合理关闭 SSL 证书校验、自定义 SSL 上下文、禁用系统证书链校验三种技术方案，绕过证书合法性校验逻辑，完成非常规 HTTPS 站点的数据抓取。本文围绕 Python 主流请求库 requests、urllib3、aiohttp 分别落地跳过证书校验方案，区分同步爬虫与异步爬虫场景，补充关闭校验带来的安全风险说明与生产环境分级使用规范，附带多场景可运行源码、底层原理拆解与参数对照表，覆盖中小型爬虫、高并发异步爬虫开发场景。
本文配套开发依赖官方链接汇总如下：
