首页 > 其他 > 详细

2.setting.py

时间:2019-03-24 10:46:56      阅读:143      评论:0      收藏:0      [点我收藏+]

Setting.py: 需要设置item pipeline和请求头即可,

(1) 去掉item_pipeline的注释,其作用是指定数据入库的函数,即scrapy在执行数据存储的时候使用哪一个类对象实现存储。

 

ITEM_PIPELINES = {
    scrapy_music.pipelines.ScrapyMusicPipeline: 300,
    scrapy_music.pipelines.DownloadMusicPipeline: 300,
}//将激活ScrapyMusicPipeline和.DownloadMusicPipeline‘

 

(2)还要设置请求头,即DEFAULT_REQUESTS_HEADERS去掉注释

 

DEFAULT_REQUEST_HEADERS = {
   Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8,
   User-Agent:Mozilla/5.0(Windows NT 6.3; WOW64; rv:41.0)Gecko/20100101 Firefox/41.0,
   Accept-Language: en,
}

 

user-Agent参数:
https://blog.csdn.net/qq_42231156/article/details/86285274

 

2.setting.py

原文:https://www.cnblogs.com/luoyw/p/10587071.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!