最近学习到了爬虫，瞬时觉得很高大上，想取什么就取什么，感觉要上天。这里分享一个简单的爬取汽车之家文章列表的图片教程，供大家学习。
本次爬虫脚本依赖两个模块：requests模块，BeautifulSoup模块。其中requests模块完成url的请求，而BeautifulSoup模块负责解析Html标签。
requests.get(url) 向URL发起GET请求
requests.post(url) 向URL发起POST请求
>>> import requests >>> response = requests.get(‘https://www.baidu.com‘) >>> print(response.text) <!DOCTYPE html> <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=styleshee ...... ...... </body> </html> # 上面为页面信息 >>>
可以看到response是服务端返回的信息：在requests内部也被封装成了一个对象，它具有的方法：有response.text,response.content,response.encode
原文：http://www.cnblogs.com/dachenzi/p/7699588.html