零基础入门：Python爬取证券交易所上市公司年报（Word/PDF）实战教程

一、为什么需要爬取上市公司年报？

上市公司年报是投资者、分析师、研究人员最重要的信息来源之一。每年1-4月是年报密集披露期，沪深两市数千家公司发布年报。这些年报通常以PDF或Word格式存放在各大证券交易所官网、巨潮资讯网等平台。

但问题是：

• 手动下载效率极低，一个研究员可能要跟踪几十甚至上百家公司

• 年报发布具有时效性，需要第一时间获取

• 后续需要做文本分析、数据提取，批量获取是前提

因此，写一个自动化爬虫来批量获取这些文档，是金融科技和数据挖掘的基础能力。

目录

一、为什么需要爬取上市公司年报？

二、技术选型与法律合规说明

法律声明（非常重要！）

技术栈

三、目标分析与URL规律拆解

3.1 网站结构分析

3.2 返回数据结构

3.3 爬取思路

四、完整代码实现（从零构建）

4.1 项目结构

4.2 配置文件 config.py

4.3 日志模块 logger.py

4.4 工具函数 utils.py

4.5 核心爬虫类 crawler.py

4.6 下载模块 downloader.py

4.7 解析模块 parser.py

4.8 存储模块 storage.py

4.9 主入口 main.py

五、反爬策略与应对方案

5.1 常见的反爬机制

5.2 本爬虫的反爬对策

5.3 更高级的反爬：Selenium方案

二、技术选型与法律合规说明

法律声明（非常重要！）

本文仅供技术学习与个人研究使用。 爬取公开数据时请务必：

技术栈