实战Python网络爬虫
上QQ阅读APP看书,第一时间看更新

7.3 缓存的存储机制

Requests-Cache支持sqlite、redis和mongoDB数据库存储缓存信息,此外,还可以将缓存存储在计算机的内存中。也就是说Requests-Cache支持4种不同的存储机制:memory、sqlite、redis和mongoDB,4种存储机制说明如下:

● memory:每次程序运行都会将缓存以字典的形式保存在内存中,程序运行完毕,缓存也随之销毁。

● sqlite:将缓存存储在sqlite数据库,这是Requests-Cache默认的存储机制。

● redis:将缓存存储在redis数据库,通过redis模块实现数据库的读写。

● mongoDB:将缓存存储在mongoDB数据库,通过pymongo模块实现数据库的读写。

在Requests-Cache设置不同的存储机制只需对install_cache()方法的参数backend进行设置即可,具体设置如下:

如果选择redis或mongoDB作为存储介质,还需要分别安装redis模块或pymongo模块,这两个模块均可通过pip指令安装,同时也要保证本地计算机已安装redis或mongoDB数据库。

除此之外,Requests-Cache还提供了其他功能函数,读者可以在Requests-Cache的源码文件(Lib\site-packages\requests_cache\core.py)找到相关函数以及说明。