简介
scrapy_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发
你可以启动多个spider对象，互相之间共享有一个redis的request队列，最适合多个域名的广泛内容的爬取
特点
分布式爬取
分布式数据处理
爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序
scrapy即插即用
scrapy调度程序+过滤器，项目管道，base spidre
安装
pip install scrapy-redis
使用
首先创建scrapy的项目
在settings修改默认的调度器和过滤
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
SCHEDULER_PERSIST = True
在spider里面修改继承的类RedisSpider，属性redis_key
常用设置
# 启用调度将请求存储进redis SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 确保所有spider通过redis共享相同的重复过滤 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 不清理redis队列，允许暂停/恢复抓取 SCHEDULER_PERSIST = True
# 指定连接到Redis时要使用的主机和端口 REDIS_HOST = 'localhost'
REDIS_PORT = 6379
redis中存储的数据
spidername:items list类型，保存爬虫获取到的数据item内容是json字符串
spidername:dupefilter set类型，用于爬虫访问的URL去重，内容是40个字符的url的hash字符串
spidername:start_urls list类型，用于接收redisspider启动时的第一个url
spidername:requests zset类型，用于存放requests等待调度。内容是requests对象的序列化字符串