scrapy框架默认是有去重设置的，就是如果多个请求完全相同，那么就会报错“Filtered duplicate request no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)”，代表两次请求完全相同，那么第二次请求就会被scrapy过滤掉。如果在项目中要求多次请求完全相同，那么需要在后面的请求里面加参数dont_filter=True”,即
request = scrapy.FormRequest(url=url, formdata=data_url, callback=self.get_parse,dont_filter=True)
通过这个参数来关闭scrapy自动过滤功能。
关于[scrapy] DEBUG:Filtered duplicate request:
原文：https://www.cnblogs.com/qiaoer1993/p/10864566.html