首页 > 编程语言 > 详细

python 网络爬虫报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position”解决方案

时间:2018-04-22 15:04:18      阅读:1689      评论:0      收藏:0      [点我收藏+]

Python3.x爬虫,

发现报错“UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x8b in position 1:invalid start byte”,一直在找文件的错误,最后经过网友的提示,错误原因竟然是我的报头中有一条:

 

“‘Accept-Encoding‘: ‘gzip, deflate‘”

 

这一条是我从Fiddler直接复制过来的,为什么用浏览器可以正常浏览,而用Python模仿就不行呢?

 

综合网上的解释:

 

这句话的意思是本地接收压缩格式的数据,服务器传过来压缩格式gzip的文件,而解压这种gzip文件只能用deflate算法,浏览器能够自动解压,程序却不能自动解压gzip,需要额外进行设置才行,设置方法参考https://www.crifan.com/set_accept_encoding_header_to_gzip_deflate_return_messy_code/

 

总结:写爬虫程序时候还是不要写‘Accept-Encoding‘: ‘gzip, deflate‘了,就让服务器传原始文件过来吧,不用压缩了。

 

python 网络爬虫报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position”解决方案

原文:https://www.cnblogs.com/qiu-hua/p/8907234.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!