如何改造 Scrapy 从而实现多网站大规模爬取？

Scrapy 框架默认是何改用来开发定向爬虫的。一般情况下，而实在 spiders 文件夹下面的现多一个.py 文件对应了一个网站的爬取。

但还有另外一种爬虫，网站它不会拘泥于提取页面上的大规特定文字，而是模爬关注如何并行爬取非常多的网站。这种爬虫可以实现大规模的何改爬取。这种爬虫，而实一般是现多从若干个种子网址开始爬。进入每个网址后，网站把该页面的大规所有网址作为新的种子网址继续爬取，源源不断，模爬生生不息。何改但爬到以后，而实一般直接把整个页面的现多源代码保存下来，通过 Kafka 或者其他组件传给另外的服务进行解析。

为了让 Scrapy 适配这种通用的解析逻辑，需要做一些定制化修改。服务器托管Scrapy 官方文档中，给出了几点修改建议。

修改调度队列

Scrapy 默认的调度队列是scrapy.pqueues.ScrapyPriorityQueue，它适合做定向爬虫使用，对于通用爬虫，我们应该修改为scrapy.pqueues.DownloaderAwarePriorityQueue。在 settings.py文件中添加一行：

提高并发量在

settings.py中增加配置：

但是并发量实际上受内存和 CPU 的限制，建议实际测试，选择最适合的数字。

提高 Twisted IO 线程池大小

Scrapy 在做 DNS 解析的时候，是阻塞式的。所以请求量越高，解析 DNS 就会越慢。为了避免这个情况，可以提高线程池的大小。在 settings.py中增加一个配置：

搭建专用 DNS 服务器

如果爬虫进程数太多，并发又太快，可能会对 DNS 服务器形成 Dos 攻击。所以建议自己单独搭建一个 DNS 服务器。

减少日志量

Scrapy 默认是 DEBUG 级别的日志等级，源码库每次爬取会产生大量的日志。通过把日志等级调整到INFO 可以大大减少日志量。在 settings.py 中增加一行：

禁用 Cookies 和自动重试

大规模爬虫一般不需要用到 Cookies，所以可以把它禁用。请求失败的自动重试会降低爬虫的速度。但是由于大规模爬虫的爬取范围很大，对于个别失败的请求没有必要重试。因此修改settings.py：

降低请求超时时间，禁用自动跳转

有些网址因为远在大洋彼岸或者受到了干扰，请求响应时间很长。对于这种网址，应该果断放弃，避免影响其他网址的爬取。

禁用自动跳转功能，也有助于提高网页访问速度。

使用广度有限搜索

Scrapy 默认基于深度优先(DFO)搜索算法。但在大规模爬虫中，我们一般会使用广度有限(BFO)搜索算法：

关注内存，谨防内存泄露如果你发现爬虫占用大量内存，但是速度远远低于你设置的并发速度，那么要考虑是否发生了内存泄露。香港云服务器

最新评论