首页 > 编程语言 > 详细

【Python爬虫】第三课(提取数据)

时间:2019-09-22 18:22:06      阅读:77      评论:0      收藏:0      [点我收藏+]

提取HTML数据

import requests
from bs4 import BeautifulSoup

url = ‘https://www.douban.com/‘
header = {
‘Accept‘:‘*/*‘,
‘Accept-Encoding‘:‘gzip,deflate,br‘,
‘Accept-Language‘:‘zh-CN‘,
‘Connection‘:‘keep-alive‘,
‘Host‘:‘www.douban.com/‘,
‘Referer‘:‘https://www.douban.com/‘,
‘User-Agent‘:‘……‘}
resp = requests.get(url, headers=header)

print(resp)

soup = BeautifulSoup(resp.text,‘lxml‘)
content = soup.select(‘#anony-time > div > div.main > ul > li:nth-child(5) > a.title‘)

print(content)

 在我爬取链家,携程网站时候遇到问题,明明response 200,但select返回是空值。 目前猜测原因是:存放我想获取数据的网址不是在一开始写入的网址,我resp.text没有看见相关数据。这个以后学习如何处理。

 

提取Json数据

暂时不会,大致看了下,像字典存储

import json
data = ‘{"name":"gy","age":"100","weight":"200"}‘
resp = json.loads(data) #将str型的data通过json.loads转为字典
print(resp[‘name‘])

  

【Python爬虫】第三课(提取数据)

原文:https://www.cnblogs.com/break03/p/11568388.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!