首先来说,Python是什么?Python是一种高级编程语言,也是一种脚本语言。通过利用Python的自动化脚本,可以快速解决一些问题,提高获取数据的工作效率。
其次是Python爬虫编写,第1步是Python的安装,通过官网根据不同版本选择相匹配的版本直接下载安装即可。
第2步是 Python模块的安装,通过对Python模块的安装,可以实现发送请求,高效解析数据,处理数据等功能,可以直接通过CmD的命令行输入pip install 加上模块名称,回车即可下载该模块。
第3步就是Python爬取数据的代码,例:import requests
froml xml import etree
url ="https://movie.douban.com/top250"
resp = requests.get(url)
titles = etree.HTML(resp.text).xpath('//span[@class="title"][1]/text()')
fortitleintitles:
print(title)
这是关于抓取 TOP250豆瓣电影数据的例子,通过访问想要抓取数据的网页,通过鼠标右键,点击检查;利用左上角的箭头,点击选中想要抓取的数据,通过修改代码中的一些关键值,可以抓取不同网站的不同数据(注意:抓取网站的数据要遵守相应的规则,在允许的情况下才能抓数据)。
最后就是利用dirsearch工具可以对各个网站进行扫描,可以查看其中是否有敏感文件,
在Windows上通过直接访问Github下载dirsearch工具, 将其放在自己可以找到的路径,在dirsearch文件路径下,打开cmd,输入pip install -r requirements.txt,然后输入python dirsearch.py -u http://example.com,修改后面的网站,即可扫描各种网站;
在Kali Linux中利用sudo先切换成管理员权限,然后输入apt install dirsearch即可安装,对于绝大多数的kali用户,直接输入sudo apt install dirsearch即可安装;然后输入python dirsearch.py -u http://example.com,即可扫描各种网站。


