get函数里面一般有以下参数:
url:网址
headers:请求头(用来说明服务器使用的附加信息)
proxies:ip代理
#可用的User-Agent请求头
headers={
"User-Agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
}
#User-Agent:简称UA,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息.
在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别出为爬虫
response=requests.get(url,headers,proxies)
原文:https://www.cnblogs.com/lnd-blog/p/11592250.html