首页 > Web开发 > 详细

抓取网页时,乱码问题

时间:2014-05-09 12:52:28      阅读:422      评论:0      收藏:0      [点我收藏+]
bubuko.com,布布扣
 1 def get_content():
 2     user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"
 3     headers = { User-Agent : user_agent }
 4     url = "http://bj.58.com/"
 5     req = urllib2.Request(url, headers = headers)
 6     response = urllib2.urlopen(req)
 7     the_page = response.read()
 8     type = sys.getfilesystemencoding()
 9     the_page = the_page.decode("UTF-8").encode(type)
10     print the_page
bubuko.com,布布扣

 

抓取网页时,乱码问题,布布扣,bubuko.com

抓取网页时,乱码问题

原文:http://www.cnblogs.com/isharer/p/3718396.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!