实战Python网络爬虫
上QQ阅读APP看书,第一时间看更新

第7章
Requests-Cache爬虫缓存

7.1 简介及安装

Requests-Cache是Requests模块的一个扩展功能,它是根据Requests的发送请求来生成相应的缓存数据。当Requests重复向同一个URL发送请求的时候,Requests-Cache会判断当前请求是否已产生缓存,若已有缓存,则从缓存里读取数据作为响应内容;若没有缓存,则向网站服务器发送请求,并将得到的响应内容写入相应的数据库里。

Requests-Cache的作用非常重要,它可以减少网络资源重复请求的次数,不仅减轻了本地的网络负载,而且还减少了爬虫对网站服务器的请求次数,这也是解决反爬虫机制的一个重要手段。

安装Requests-Cache可以通过pip指令完成,在CMD窗口下输入pip install requests-cache指令并按回车键,等待安装完成即可。安装成功后进入Python交互模式,进一步验证Requests-Cache是否安装成功,具体的操作如下: