526互联

Scrapyd、scrapyd-client部署爬虫项目

发布时间 2023-07-17 11:56:28作者: 蕝戀

命令参考：https://github.com/scrapy/scrapyd-client

https://scrapyd.readthedocs.io

安装组件

pip install scrapyd
pip install scrapyd-client

Scrapyd服务器端

服务器端是可以有多个的，你爱多少个就搞多少个服务器端。部署scrapy时，可以手动指定部署到那个目标服务器端中。

scrapyd配置文件：

https://scrapyd.readthedocs.io/en/latest/config.html

可以支持基础的http basic认证。

最多也就是改一下监听的IP地址和端口。

启动服务器端：

scrapyd

Scrapyd-client客户端

提供了

Command line tools命令行工具:

  • scrapyd-deploy, to deploy your project to a Scrapyd server。
    • 用于部署scrapy项目到scrapyd服务器中。
  • scrapyd-client, to interact with your project once deployed。
    • 用于与部署后的项目进行交互、管理。

Python client:

  • ScrapydClient, to interact with Scrapyd within your python code
    • 用于自己编写python代码与scrapyd服务器交互。（除非你有特殊需求，比如自己开发web管理，否则用不上啦）

部署项目实例（这里只是部署，启动时另外一回事）

  • 确保scrapyd服务端已经启动。
  • 修改项目的scrapy.cfg文件。
# Automatically created by: scrapy startproject
#
# For more information about the [deploy] section see:
# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]
default = zolwallpaper.settings

;[deploy]  ;默认是只有一个项目的，如果有多个项目和目标服务器，则用deploy:target来区分
;demo1 是指定目标服务器端的名字
[deploy:demo1]
; 这个URL指定的是scrapyd服务器的URL地址
url = http://localhost:6800/
; 如果你的scrapyd服务器端开启了http basic认证，则在这里填写密码
; username = scrapy
; password = secret
# 项目名
project = zolwallpaper
  • cd到项目的根目录，执行命令：
scrapyd-deploy <target> -p <项目名>

target：可要可不要，不填默认为default，如果要填就填你自己设置的，比如我这里设置demo1
项目名：是你在scrapy.cfg中设置的名称

例如：

(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper>scrapyd-deploy.exe demo1 -p zolwallpaper
Packing version 1687237821
Deploying to project "zolwallpaper" in http://localhost:6800/addversion.json
Server response (200):
{"node_name": "xxxx", "status": "ok", "project": "zolwallpaper", "version": "1687237821", "spiders": 2}

scrapy-deploy部署命令

部署项目到某个目标服务器：

scrapyd-deploy <target> -p <项目名>

target:不指定的话就默认给你命名为default

部署项目到所有可用的目标服务器

scrapyd-deploy -a -p <project>

列出所有的可用的scrapyd服务器列表

命令：
scrapyd-deploy -l


案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-deploy.exe -l
demo1                http://localhost:6800/

列出某个目标服务器下的所有项目

scrapyd-deploy -L example

案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-deploy.exe -L demo1
zolwallpaper
default

scrapy-client管理命令

搞清楚几个概念：

target：scrapyd服务器端；

project：爬虫项目；

一个项目下可以有多个爬虫。

常用命令：

列出当前的所有爬虫项目

命令：
scrapyd-client projects

scrapyd-client -t http://127.0.0.1:6800 projects


案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-client -t http://127.0.0.1:6800 projects
zolwallpaper
default

列出指定目标服务下的某个项目的所有爬虫

命令：
scrapyd-client spiders -p [项目名称]

scrapyd-client.exe [-t http://127.0.0.1:6800] spiders -p zolwallpaper

案例：
(venv) PS C:\Users\Administrator\PycharmProjects\zolwallpaper> scrapyd-client.exe spiders -p zolwallpaper
zolwallpaper:  # 项目名
  bang123   # 该项目下的爬虫
  zol       # 该项目下的爬虫

运行爬虫

方式一：通过scrapyd-client（这玩意其实就是封装了scrapyd的api....）

scrapyd-client schedule -p [项目名] [爬虫名]

**# 可以动态的传递settings某个设置，然后你就可以在爬虫中读取某个设置项的值，从而实现动态爬虫你想要的关键字等功能**
scrapyd-client schedule -p zolwallpaper bang123** --args 'setting=DOWNLOADER_MIDDLEWARES={"my.middleware.MyDownloader": 610}'**
# CURL版：curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

案例：
scrapyd-client -t http://127.0.0.1:6800 schedule -p zolwallpaper bang123

他妈的，没有关闭爬虫的？做这个开发的人你多一个功能会死....？

所以只能用scrapyd自带的api来取消正在运行的爬虫

https://scrapyd.readthedocs.io/en/latest/api.html#cancel-json

发送post请求：

http://127.0.0.1:6800/cancel.json?job=<任务ID>&project=<项目名>