Scrapyd发布爬虫的工具

Scrapyd

Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用JSON API部署（上传）您的项目并控制其spider。

Scrapyd-client

Scrapyd-client是一个专门用来发布scrapy爬虫的工具，安装该程序之后会自动在python目录\scripts安装一个名为scrapyd-deploy的工具

（其实打开该文件，可以发现它是一个类似setup.py的python脚本，所以可以通过python scrapyd-deploy的方式运行）

下载安装

1pip install scrapyd-client
2pip install enum-compat
3pip install w3libpip install scrapyd

安装完成后检查

1C:\Program Files\Python36\Scripts>dir sc*
2 驱动器 C 中的卷是 BOOTCAMP
3 卷的序列号是 D471-4F4D
4
5 C:\Program Files\Python36\Scripts 的目录
6
72018/05/07  21:20            98,158 scrapy.exe
82018/05/25  21:17             9,901 scrapyd-deploy
92018/05/25  20:37            98,165 scrapyd.exe
10               4 个文件        216,128 字节
11               0 个目录 39,937,785,856 可用字节

scrapyd-deploy内容

运行方法

1.运行scrapyd

1C:\>scrapyd
22018-05-25T20:38:52+0800 [-] Loading c:\program files\python36\lib\site-packages
3\scrapyd\txapp.py...
42018-05-25T20:38:54+0800 [-] Scrapyd web console available at http://127.0.0.1:6
5800/
62018-05-25T20:38:54+0800 [-] Loaded.
72018-05-25T20:38:54+0800 [twisted.application.app.AppLogger#info] twistd 18.4.0
8(c:\program files\python36\python.exe 3.6.1) starting up.
92018-05-25T20:38:54+0800 [twisted.application.app.AppLogger#info] reactor class:
10 twisted.internet.selectreactor.SelectReactor.
112018-05-25T20:38:54+0800 [-] Site starting on 6800
122018-05-25T20:38:54+0800 [twisted.web.server.Site#info] Starting factory <twiste
13d.web.server.Site object at 0x0000000004BB8DA0>
142018-05-25T20:38:54+0800 [Launcher] Scrapyd 1.2.0 started: max_proc=32, runner='
15scrapyd.runner'

2.拷贝scrapyd-deploy工具到爬虫目录下

1 C:\chinaarea 的目录
2
32018/05/25  21:19    <DIR>          .
42018/05/25  21:19    <DIR>          ..
52018/05/24  21:23    <DIR>          .idea
62018/05/25  21:19    <DIR>          build
72018/05/25  21:16    <DIR>          chinaarea
82018/05/25  21:19    <DIR>          project.egg-info
92018/05/23  20:38                74 README.md
102018/05/25  21:02               264 scrapy.cfg
112018/05/25  20:37             9,904 scrapyd-deploy
122018/05/25  21:19               266 setup.py
13               4 个文件         10,508 字节
14               6 个目录 39,973,642,240 可用字节

3.修改爬虫的scapy.cfg文件

首先去掉url前的注释符号，这里url就是你的scrapyd服务器的网址。

其次，deploy:100表示把爬虫发布到名为100的爬虫服务器上。

这个名叫target名字可以随意起，一般情况用在需要同时发布爬虫到多个目标服务器时，可以通过指定名字的方式发布到指定服务器。

其次，default=ccpmess.settings 中 ccpmess也是可以改的，貌似没啥用，默认还是用工程名字。

关键是scrapyd-deploy 所在目录，具体其实可以读下scrapyd-deploy 的代码。

1# Automatically created by: scrapy startproject
2#
3# For more information about the [deploy] section see:
4# https://scrapyd.readthedocs.io/en/latest/deploy.html
5
6[settings]
7default = chinaarea.settings
8
9[deploy:100]
10url = http://localhost:6800/
11project = chinaarea

4.查看配置

检查scrapy配置是否正确。

1$python scrapyd-deploy -l
2100                  http://localhost:6800/

5.发布爬虫

scrapyd-deploy <target> -p <project> --version <version>

target就是前面配置文件里deploy后面的的target名字。
project 可以随意定义，跟爬虫的工程名字无关。
version自定义版本号，不写的话默认为当前时间戳。

注意，爬虫目录下不要放无关的py文件，放无关的py文件会导致发布失败，但是当爬虫发布成功后，会在当前目录生成一个setup.py文件，可以删除掉。

1C:\chinaarea>python scrapyd-deploy 100 -p chinaarea --version ver20180525
2Packing version ver20180525
3Deploying to project "chinaarea" in http://localhost:6800/addversion.json
4Server response (200):
5{"node_name": "jingjing-PC", "status": "ok", "project": "chinaarea", "version":
6"ver20180525", "spiders": 1}

6.下载安装curl

下载地址：https://curl.haxx.se/download.html

根据电脑系统下载适合的版本

下载完成后会看到curl.exe文件

设置环境变量

测试配置

1C:\curl\bin>curl localhost:6800
2
3<html>
4<head><title>Scrapyd</title></head>
5<body>
6<h1>Scrapyd</h1>
7<p>Available projects: <b>chinaarea</b></p>
8<ul>
9<li><a href="/jobs">Jobs</a></li>
10
11<li><a href="/logs/">Logs</a></li>

7.启动scrapyd服务器上myproject工程下的myspider爬虫

1C:\curl\bin>curl http://localhost:6800/schedule.json -d project=chinaarea -d spider=airs
2{"node_name": "jingjing-PC", "status": "ok", "jobid": "5895b858603611e8b3e160f81
3dad89ef"}

8.删除scrapyd服务器上myproject工程

1C:\curl\bin>curl http://127.0.0.1:6800/delproject.json -d project=chinaarea
2{"node_name": "jingjing-PC", "status": "ok"}

9.其他操作API

1# -*- coding: utf-8 -*-
2
3import requests
4import json 
5
6baseUrl ='http://127.0.0.1:6800/'
7daemUrl ='http://127.0.0.1:6800/daemonstatus.json'
8listproUrl ='http://127.0.0.1:6800/listprojects.json'
9listspdUrl ='http://127.0.0.1:6800/listspiders.json?project=%s'
10listspdvUrl= 'http://127.0.0.1:6800/listversions.json?project=%s'
11listjobUrl ='http://127.0.0.1:6800/listjobs.json?project=%s'
12delspdvUrl= 'http://127.0.0.1:6800/delversion.json'
13
14#http://127.0.0.1:6800/daemonstatus.json
15#查看scrapyd服务器运行状态
16r= requests.get(daemUrl)
17print '1.stats :\n %s \n\n'  %r.text  
18
19#http://127.0.0.1:6800/listprojects.json
20#获取scrapyd服务器上已经发布的工程列表
21r= requests.get(listproUrl)
22print '1.1.listprojects : [%s]\n\n'  %r.text
23if len(json.loads(r.text)["projects"])>0 :
24    project = json.loads(r.text)["projects"][0]
25
26#http://127.0.0.1:6800/listspiders.json?project=myproject
27#获取scrapyd服务器上名为myproject的工程下的爬虫清单
28listspd=listspd % project
29r= requests.get(listspdUrl)
30print '2.listspiders : [%s]\n\n'  %r.text 
31if json.loads(r.text).has_key("spiders")>0 :
32    spider =json.loads(r.text)["spiders"][0]
33
34
35#http://127.0.0.1:6800/listversions.json?project=myproject
36##获取scrapyd服务器上名为myproject的工程下的各爬虫的版本
37listspdvUrl=listspdvUrl % project
38r = requests.get(listspdvUrl)
39print '3.listversions : [%s]\n\n'  %rtext 
40if len(json.loads(r.text)["versions"])>0 :
41    version = json.loads(r.text)["versions"][0]
42
43#http://127.0.0.1:6800/listjobs.json?project=myproject
44#获取scrapyd服务器上的所有任务清单，包括已结束，正在运行的，准备启动的。
45listjobUrl=listjobUrl % proName
46r=requests.get(listjobUrl)
47print '4.listjobs : [%s]\n\n'  %r.text 
48
49
50#schedule.json
51#http://127.0.0.1:6800/schedule.json -d project=myproject -d spider=myspider
52#启动scrapyd服务器上myproject工程下的myspider爬虫，使myspider立刻开始运行，注意必须以post方式
53schUrl = baseurl + 'schedule.json'
54dictdata ={ "project":project,"spider":spider}
55r= reqeusts.post(schUrl, json= dictdata)
56print '5.1.delversion : [%s]\n\n'  %r.text 
57
58
59#http://127.0.0.1:6800/delversion.json -d project=myproject -d version=r99'
60#删除scrapyd服务器上myproject的工程下的版本名为version的爬虫，注意必须以post方式
61delverUrl = baseurl + 'delversion.json'
62dictdata={"project":project ,"version": version }
63r= reqeusts.post(delverUrl, json= dictdata)
64print '6.1.delversion : [%s]\n\n'  %r.text 
65
66#http://127.0.0.1:6800/delproject.json -d project=myproject
67#删除scrapyd服务器上myproject工程，注意该命令会自动删除该工程下所有的spider，注意必须以post方式
68delProUrl = baseurl + 'delproject.json'
69dictdata={"project":project  }
70r= reqeusts.post(delverUrl, json= dictdata)
71print '6.2.delproject : [%s]\n\n'  %r.text

10.总结

11、获取状态
2http://127.0.0.1:6800/daemonstatus.json
32、获取项目列表
4http://127.0.0.1:6800/listprojects.json
53、获取项目下已发布的爬虫列表
6http://127.0.0.1:6800/listspiders.json?project=myproject
74、获取项目下已发布的爬虫版本列表
8http://127.0.0.1:6800/listversions.json?project=myproject
95、获取爬虫运行状态
10http://127.0.0.1:6800/listjobs.json?project=myproject
116、启动服务器上某一爬虫（必须是已发布到服务器的爬虫）
12http://localhost:6800/schedule.json （post方式，data={"project":myproject,"spider":myspider}）
137、删除某一版本爬虫
14http://127.0.0.1:6800/delversion.json （post方式，data={"project":myproject,"version":myversion}）
158、删除某一工程，包括该工程下的各版本爬虫   
16http://127.0.0.1:6800/delproject.json（post方式，data={"project":myproject}）

到此，基于scrapyd的爬虫发布教程就写完了。

可能有人会说，我直接用scrapy cwal 命令也可以执行爬虫，个人理解用scrapyd服务器管理爬虫，至少有以下几个优势：

1、可以避免爬虫源码被看到。

2、有版本控制。

3、可以远程启动、停止、删除，正是因为这一点，所以scrapyd也是分布式爬虫的解决方案之一