前言
前面两篇案例我们一直在处理静态 HTML 网页,依靠 XPath 解析页面标签提取数据。今天项目迎来一个重要转变,我们不再抓取渲染完成的网页,直接请求后端数据接口获取 JSON 格式天气信息,这也是工作当中最常用的爬虫开发形式。
很多初学者只会写静态页面爬虫,遇到接口类站点就无从下手。接口爬虫优势十分明显:数据结构化、无需复杂标签解析、代码简洁,是数据采集优先选择的方案。本次实战批量获取全国各城市实时天气、温度、风向、空气质量等信息,采集的数据可以用于气象统计、可视化练习、课程大作业。
先附上项目所需工具与依赖库官方地址,方便大家快速查阅安装: Python 官方下载地址:https://www.python.org/downloads/ requests 库官方地址:https://pypi.org/project/requests/
本次项目实现目标:批



