一、分布式爬虫介绍
分布式爬虫概念：多台机器上执行同一个爬虫程序，实现网站数据的分布爬取。
1、原生的Scrapy无法实现分布式爬虫的原因？
- 调度器无法在多台机器间共享：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。
- 管道无法给多台机器共享：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。
2、scrapy-redis组件
scrapy-redis是专门为scrapy框架开发的一套组件。该组件可以解决上述两个问题，让Scrapy实现分布式。 组件安装：
$ pip3 intall scrapy-redis
二、基于RedisCrawlSpider的分布式爬取
1、redis配置和启动
（1）对redis配置文件redis.conf进行配置
-
注释该行：bind 127.0.0.1，表示可以让其他ip访问redis
-
将yes该为no：protected-mode no，表示可以让其他ip操作redis
不注释时，只允许本机的客户端连接
bind 127.0.0.1
yes改为no，关闭redis的保护模式，客户端可以对服务器进行读写操作
protected-mode no
（2）基于配置文件开启redis服务器
1# MAC/Linux 2$ pwd 3/Users/hqs/redis-5.0.2 4$ src/redis-server redis.conf 5 6# windows 7$ redis-server.exe redis-windows.conf
2、项目和爬虫创建
1$ scrapy startproject redisPro 2$ cd redisPro/ 3$ scrapy genspider -t crawl qiubai www.qiushibaike.com/pic/
这里运用CrawlSpider创建爬虫文件爬取全站图片数据。
3、爬虫文件编写
1import scrapy 2from scrapy.linkextractors import LinkExtractor 3from scrapy.spiders import CrawlSpider, Rule 4from scrapy_redis.spiders import RedisCrawlSpider 5from redisPro.items import RedisproItem # 引入items类 6 7 8class QiubaiSpider(RedisCrawlSpider): 9 name = 'qiubai' 10 # allowed_domains = ['www.qiushibaike.com/pic/'] 11 # start_urls = ['http://www.qiushibaike.com/pic/'] 12 # redis_key表示调度器中的队列（将要爬取的页面数据对应的url都需要放置到调度器队列中） 13 redis_key = 'qiubaispider' # 自定义调度器队列的名称，该行代码表示的含义和start_urls一样 14 15 # 链接提取器 16 # 从页面提取链接页码的url:/pic/page/2?s=5147462 17 # s后对应的参数值会在浏览器刷新时动态变化, 正则忽略s参数的变化进行提取 18 link = LinkExtractor(allow=r'/pic/page/\d+') 19 # 规则解析器 20 rules = ( 21 Rule(link, callback='parse_item', follow=True), 22 ) 23 24 def parse_item(self, response): 25 """解析操作：提取图片链接""" 26 div_list = response.xpath('//div[@id="content-left"]/div') # 获取divz列表 27 for div in div_list: # 遍历div列表 28 # 解析提取div中图片url，保存在img标签的src属性下 29 img_url = "https:" + div.xpath('.//div[@class="thumb"]/a/img/@src').extract_first() 30 # 实例化items对象 31 item = RedisproItem() 32 item['img_url'] = img_url # 封装items 33 34 yield item
（1）引入scrapy-redis中的模块
在爬虫文件中要导入RedisCrawlSpider类，然后将爬虫文件修改成基于该类的源文件。
1from scrapy_redis.spiders import RedisCrawlSpider 2 3# class QiubaiSpider(CrawlSpider): 4class QiubaiSpider(RedisCrawlSpider):
（2）声明redis_key属性
redis_key表示调度器中的队列（将要爬取的页面数据对应的url都需要放置到调度器队列中）。 redis_key自定义调度器队列的名称，表示的含义和start_urls一样，因此需要将原来的start_url注释掉。
1class QiubaiSpider(RedisCrawlSpider): 2 name = 'qiubai' 3 # allowed_domains = ['www.qiushibaike.com/pic/'] 4 # start_urls = ['http://www.qiushibaike.com/pic//'] 5 # redis_key表示调度器中的队列（将要爬取的页面数据对应的url都需要放置到调度器队列中） 6 redis_key = 'qiubaispider' # 自定义调度器队列的名称，该行代码表示的含义和start_urls一样
（3）链接提取器和规则解析器定义
1class QiubaiSpider(RedisCrawlSpider) 2 """代码省略""" 3 # 链接提取器 4 # 从页面提取链接页码的url:/pic/page/2?s=5147462 5 # s后对应的参数值会在浏览器刷新时动态变化, 正则忽略s参数的变化进行提取 6 link = LinkExtractor(allow=r'/pic/page/\d+') 7 # 规则解析器 8 rules = ( 9 Rule(link, callback='parse_item', follow=True), 10 )
（4）items.py编写和爬虫引入调用
1import scrapy 2 3class RedisproItem(scrapy.Item): 4 # define the fields for your item here like: 5 # name = scrapy.Field() 6 img_url =scrapy.Field()
4、settings.py配置修改
（1）使用scrapy-redis组件中封装好的管道
使用scrapy-redis组件中封装好的可以被共享的管道。 可以将每台机器爬取到的数据存储通过该管道存储到redis数据库中，从而实现了多台机器的管道共享。
1# Configure item pipelines 2# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html 3ITEM_PIPELINES = { 4 # 'redisPro.pipelines.RedisproPipeline': 300, 5 'scrapy_redis.pipelines.RedisPipeline': 400, 6}
（2）使用scrapy-redis组件中封装好的调度器
使用scrapy-redis组件中封装好的调度器，将所有的url存储到该指定的调度器中，从而实现了多台机器的调度器共享。 以下代码可在settings.py中任意位置粘贴：
1# 使用scrapy-redis组件的去重队列 2DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 3# 使用scrapy-redis组件自己的调度器 4SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 核心配置 5# 是否允许暂停 6SCHEDULER_PERSIST = True # 值为True表示：宕机恢复服务时，从宕机的那个地方开始爬取，不用从头开始
（3）爬虫程序不在redis本机时，指定redis地址
管道默认会连接且将数据存储到本机的redis服务中，如果想要连接存储到其他redis服务中需要在settings.py中进行如下配置
1# 如果redis服务器不在自己本机，则需要做如下配置 2REDIS_HOST = '192.168.31.31' # redis服务的ip地址 3REDIS_PORT = 6379 4# 可选配置 5# REDIS_ENCODING = 'utf-8' 6# REDIS_PARAMS = {'password':'123456'}
（4）修改ua和关闭robots协议
1# Crawl responsibly by identifying yourself (and your website) on the user-agent 2USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' # 伪装请求载体身份 3 4# Obey robots.txt rules 5ROBOTSTXT_OBEY = False # 不遵从门户网站robots协议，避免某些信息爬取不到
5、执行爬虫程序
执行爬虫程序的方式与之前不同。 格式：lpush 队列名称(redis-key) 起始url
1$ pwd 2/Users/hqs/ScrapyProjects/redisPro/redisPro/spiders 3$ scrapy runspider qiubai.py 4....... 52018-12-08 12:04:34 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
然后需要在redis客户端中，将起始url扔到调度器队列中：
1$ src/redis-cli 2127.0.0.1:6379> lpush qiubaispider https://www.qiushibaike.com/pic/ # 将url扔入队列 3(integer) 1
查看reids中保存的爬取数据：
1127.0.0.1:6379> keys * 21) "qiubai:items" 32) "data" 43) "name" 54) "qiubai:dupefilter" 6127.0.0.1:6379> lrange qiubai:items 0 -1 7 1) "{\"img_url\": \"https://pic.qiushibaike.com/system/pictures/12132/121326116/medium/FO4Z7Q83NXSOPYTL.jpg\"}" 8 ......