开篇声明 文章讲解源码不一定从入口开始 主题更注重 思路讲解以及核心函数 ok? 废话到此为止
/scrapy/downloadermiddlewares/ 文件夹下是下载器的 中间件 简单说就是 你请求 or 返回数据都经过他
其中
def process_response(self, request, response, spider):处理返回数据
def process_request(self, request, spider): 处理请求数据
def from_crawler(cls, crawler): 先调用他 再调用 __init__
scrapy/downloadermiddlewares/redirect.py 重定向中间件
class RedirectMiddleware(BaseRedirectMiddleware): 这个是服务器重定向
原文：http://www.cnblogs.com/gzwwj/p/7851791.html