实战Python网络爬虫
上QQ阅读APP看书,第一时间看更新

4.2 Fiddler安装配置

Fiddler在Windows下可直接使用exe安装包安装,安装包可在官方网站下载(https://www.telerik.com/download/fiddler)。

完成安装后,在安装目录下双击打开应用程序Fiddler.exe,可看到Fiddler用户界面,如图4-1所示。

图4-1 Fiddler用户界面

Fiddler用户界面主要包括下面6个部分:

(1)图中标注1为Main Menu(主菜单),作用于整个Fiddler相关配置。

(2)图中标注2为Toolbar(工具栏),主要对Web Session操作处理。

(3)图中标注3为Web Session(列表),显示已抓取的HTTP请求信息。

(4)图中标注4为View(选项视图),显示每条HTTP的详细信息。

(5)图中标注5为Quickexec(命令行),通过特定的条件快速找到符合条件的HTTP请求。

(6)图中标注6为Status bar(状态栏),显示当前状态信息。

打开Fiddler之后,由于HTTPS协议的特殊性,还需要配置Fiddler。了解Fiddler抓取HTTPS协议的原理才能更好地理解如何对Fiddler进行配置,原理如图4-2所示。

图4-2 Fiddler抓取HTTPS的原理

Fiddler抓取HTTPS协议充当的角色:

(1)服务器→客户端:Fiddler接收到服务器发送的密文,用对称密钥解开,获得服务器发送的明文。再次加密,发送给客户端。

(2)客户端→服务器端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key,因此在整个HTTPS通信过程中信息对其透明。

配置Fiddler,使其能够抓取HTTPS请求信息,方法如下:

步骤01 对Fiddler进行设置:打开Main Menu→Tools→Fiddler Options→HTTPS。

步骤02 勾选HTTPS里的选项,然后单击Actions→Trust Root Certificate,完成证书验证,如图4-3所示。

图4-3 Fiddler配置HTTPS

步骤03 完成配置,重启浏览器,Fiddler就能正常抓取HTTPS请求信息。

完成上述安装和配置,Fiddler就能抓取浏览器的请求信息。除此之外,Fiddler还能抓取手机上的请求信息,具体使用方法在后续章节会详细讲述。