首页 > 编程语言 > 详细

【Rollo的Python之路】Python 爬虫系统学习 (十一) Scrapy Shell

时间:2019-07-24 21:18:04      阅读:92      评论:0      收藏:0      [点我收藏+]

Scrapy Shell:

语法:

scrapy shell "url"

 

response.url #当前响应的url地址
response.request.url # 当前响应的请求url地址
response.headers #响应头
response.body #响应体,也就是html代码,默认是bytes类型
response.request.headers #当前响应的请求头

 

 

Scrapy 的response与requests里面的response 区别:
Scrapy:response.body 是bytes类型,他没有content属性

Requests: response.content.decode() 就是bytes类型

 

scrapy shell 可以用来调度,尤其是可以用来测试xpath写法是否正确

 

【Rollo的Python之路】Python 爬虫系统学习 (十一) Scrapy Shell

原文:https://www.cnblogs.com/rollost/p/11240840.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!