在setting.py中加入
# 403状态的响应不被自动忽略，对403 的响应做个性化处理 HTTPERROR_ALLOWED_CODES = [403] # 遇到错误忽略掉不重新请求，则设成[] RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]
scrapy异常状态码处理
原文：https://www.cnblogs.com/xiao-xue-di/p/12410842.html
