很多乱码问题是编码造成的，一般对于中文网站基本是UTF-8,GB2312,可以GB18030通吃。
另一个造成乱码的原因是压缩格式，很多规模较大的网站都是以gzip的压缩格式输出页面的，所以在用BS解析之前需要先判断该网页是否经过压缩，如果经过压缩则先进行解压操作。
import urllib2 import gzip import StringIO url = ‘http://guomeidiyicheng.soufun.com/xiangqing/‘ data = urllib2.urlopen(url).read() data = StringIO.StringIO(data) gzipper = gzip.GzipFile(fileobj=data) html = gzipper.read() print html
Python利用urllib2抓取网页返回乱码的问题,布布扣,bubuko.com
原文：http://www.cnblogs.com/bbcar/p/3625084.html