526互联

scrapy -- 暂停爬虫、恢复爬虫

发布时间 2024-01-10 09:39:46作者: 珊瑚贝博客
1、启动爬虫
scrapy crawl spider -s JOBDIR=record/spider-1
record/spider-1表示一个路径，作用是记录爬虫状态

2、暂停爬虫
  • 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会
  • 当终端出现可以敲击命令时，说明爬虫已暂停

3、恢复爬虫
scrapy crawl spider -s JOBDIR=record/spider-1