实战Python网络爬虫
上QQ阅读APP看书,第一时间看更新

4.8 本章小结

Fiddler是一款非常流行并且实用的HTTP抓包工具,它的原理是在电脑中开启一个HTTP代理服务器,然后转发所有的HTTP请求和响应。因此,比一般的浏览器自带的抓包工具(开发者工具)要好用得多。不仅如此,Fiddler还可以支持请求重放等一些高级功能,也可以支持对手机应用进行HTTP抓包。

Fiddler提供了Windows环境下的.exe安装包,使其安装极其简单方便。安装完成后,需配置HTTPS抓取功能和手机抓包功能,完成配置便可对HTTPS网站和手机进行抓包。

除了功能强大之外,在使用上也较为简单,使用者只要打开Fiddler,然后在浏览器(手机)中进行操作,Fiddler就会自动抓取请求信息。就Fiddler本身的功能而言,使用者只需熟知每个功能按钮的作用便知道如何使用。

对于爬虫开发人员来说,需要掌握Web Session列表和View常用选项视图的基本功能,能够分析并得知每个请求的类型、状态码、请求方式、请求头、请求链接、请求参数以及响应内容等基本信息。