前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

本篇是介绍在Anaconda环境下，创建Scrapy爬虫框架项目的步骤，且介绍比较详细Python爬虫教程31创建Scrapy爬虫框架项目首先说一下，本篇是在Anaconda环境下，所以如果没有安装Anaconda请先到官网下载安装Anaconda

1.概念：多台机器上可以执行同一个爬虫程序，实现网站数据的分布爬取2.原生的scrapy是不可以实现分布式式爬虫　　a）调度器无法共享　　b）管道无法共享3.scrapyredis组件：专门为scrapy开发的一套组件，该组件可以让scrapy实现分布式　　a）pipinstallscrapyredis4.分布式爬取的流程：

背景命令行下有三种安装Scrapy的方式：aptget:千万不要用，因为你会下载到一个上古时期的Scrapy版本，产生一系列与你参考教程的代码不兼容的问题easy\_install:我没有安装成功pip:Scrapy官网上推荐的下载方式，我们使用这种方法安装首先Python(https://www

ScrapydScrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用JSONAPI部署（上传）您的项目并控制其spider。ScrapydclientScrapydclient是一个专门用来发布scrapy爬虫的工具，安装该程序之后会自动在python目录\\scripts安装一个名为scrapyd

本文通过一个简单的项目实现Scrapy采集流程。希望通过该项目对Scrapy的使用方法和框架能够有帮助。1\.工作流程重点流程如下：创建一个Scrapy项目。创建一个爬虫来抓取网站和处理数据。通过命令行将采集的内容进行分析。将分析的数据保存到MongoDB数据库。2\.准备环境安装

\TOC\1\.Scrapy介绍1.1.Scrapy框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。!(http://ccszt.com.cn/python/%E7%88%AC%E8%99%AB/file/images/

一下载Scrapy的下载中间件!img(https://oscimg.oschina.net/oscnet/c9260e4edb2cfc96405d332cbb8ab9fd899.png)下载中间件（DownloaderMiddlewares）位于scrapy引擎和下载器之间的一层组件。下载中间件的作用：（1）引擎请求传递

基础知识爬虫发展史!(https://images2018.cnblogs.com/blog/1275420/201805/1275420201805212058308111094218837.png)爬虫去重1.存储到数据库中存取速度慢

对Scrapy框架（一）的补充Infichu:http://www.cnblogs.com/Infichu/(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.cnblogs.com%2FInfichu%2F)Scrapy优点：   提供了内置的HTTP

      上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片，而今天接着讲解Scrapy爬取美女图片，不过采取了不同的方式和代码实现，对Scrapy的功能进行更深入的运用。!(https://oscimg.oschina.net/oscnet/495475f784c4eb6eadac4fb32e103808c26.jpg)

学了大概一个月Scrapy,自己写了些东东,遇到很多问题,这几天心情也不大好,小媳妇人也不舒服,休假了,自己研究了很久,有些眉目了利用scrapy框架爬取慕课网的一些信息步骤一：新建项目  scrapystartprojectmuke  进入muke   scrapygenspidermukewangimooc.co

scrapyCrawlSpider介绍1、首先，通过crawl模板新建爬虫：scrapygenspidertcrawllagouwww.lagou.com创建出来的爬虫文件lagou.py：!(

简介scrapy\_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发你可以启动多个spider对象，互相之间共享有一个redis的request队列，最适合多个域名的广泛内容的爬取特点分布式爬取分布式数据处理爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序

Scrapy的架构介绍原始英文页面：http://doc.scrapy.org/en/latest/topics/architecture.html(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fdoc.scrapy.org%2Fen%2Flatest%2Ft

架构介绍Engine:引擎,处理整个系统的数据流处理,触发事物,是整个框架的核心Item:项目,他定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象Scheduler:调度器,接受引擎发过来的请求并将其加入到队列中,在引擎再次请求的时候将请求提供给引擎Downloader:下载器,下载网页内容,并将网页内容返回给spider

缓存策略的重要性缓存策略在网络爬虫中扮演着至关重要的角色。合理利用缓存可以显著减少对目标网站的请求次数，降低服务器负担，同时提高数据抓取的效率。Scrapy提供了多种缓存机制，包括HTTP缓存和Scrapy内置的缓存系统。HTTP缓存HTTP缓存是基于HT