首页 > 编程语言 > 详细

在python获取网页的代码中添加头信息模拟浏览器

时间:2018-01-14 19:29:35      阅读:124      评论:0      收藏:0      [点我收藏+]

标签:alt   把他   无法   app   两种   port   tex   方法   vpd   

为什么要添加头部信息,因为有时候有些网页会有反爬虫的设置,导致无法获取正常的网页,在这里,在代码的头部添加一个headers信息,模拟成浏览器去访问网页。

没有添加头部信息的代码

import urllib2
url = "http://blog.51cto.com/lsfandlinux/2046467"
file = urllib2.urlopen(url)
html = file.read()
print html

接下来添加头部信息,首先在浏览器打开百度一下,然后检查网页的头部信息,找到User-Agent,这就是我们用来模拟浏览器要用到的信息,把他复制下来。
技术分享图片

然后在代码里面添加头部信息的变量存储对应的headers信息,定义的格式为(“User-Agent”,具体信息)。
在代码中添加头部信息的方法有两种:
方法1:使用build_opener()来添加

import urllib2
url = "http://blog.51cto.com/lsfandlinux/2046467"
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
opener = urllib2.build_opener()
opener.addheaders = [headers]
file = opener.open(url)
html = file.read()
print html

我们利用opener.open(url)就是打开网页,这个opener就是具有头部信息的操作了。

方法2:利用add_header()来添加

import urllib2
url = "http://blog.51cto.com/lsfandlinux/2046467"
req = urllib2.Request(url)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36")
file = urllib2.urlopen(req)
html = file.read()
print html

该方法是通过urllib2里的Request来创建一个Request对象赋值给变量req,然后使用add_header添加头部信息。

在python获取网页的代码中添加头信息模拟浏览器

标签:alt   把他   无法   app   两种   port   tex   方法   vpd   

原文:http://blog.51cto.com/lsfandlinux/2060824

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号