假设我们在settings.py定义了一个IP地址池
##### 自定义设置
IP_PROXY_POOL = (
"127.0.0.1:6789",
"127.0.0.1:6789",
"127.0.0.1:6789",
"127.0.0.1:6789",
)
要在爬虫文件中使用配置项的方法
- 第一个中最直接方法
from 项目.settings import XXXXXX
- 调用scrapy提供的函数
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
IP_PROXY_POOL = settings.get("IP_PROXY_POOL")
request.meta['proxy'] = random.choice(IP_PROXY_POOL)