第2章 分布式爬虫

随着互联网技术的发展以及风起云涌的云计算浪潮，爬虫技术也逐渐向分布式方向发展。比如，Google的爬虫就是使用成千上万台小型机和微机进行合作，完成分布式抓取工作的。分布式技术不仅可以解决IT运营的成本，还可以解决爬虫效率问题，尤其是当今云计算的热潮，更把分布式推向了极致。