首页 > 其他 > 详细

爬虫抓取表格中的数据

时间:2017-08-18 19:18:15      阅读:246      评论:0      收藏:0      [点我收藏+]

有时候因为某些需求需要爬取某个网页中某个表格里的数据,这时候如果这个页面只有这一个表格的时候,那么抓取就比较容易了,但是当这个页面中有大量的表格的时候,再使用之前的方法,就会发现虽然也能抓取到要的数据,但是还有一大堆冗余。

这时候,就可以使用下面这种方法

就以这个网页里的表格为例

#coding:utf-8

import re
import urllib2

url=http://58921.com/
header={User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36}

request=urllib2.Request(url,headers=header)
page_code=urllib2.urlopen(request).read()

# 从网页源码中找到你要抓取表格的下列信息

# 表格开头
start_code=<table class="table table table-bordered table-condensed">
# 表格结尾
end_code=</tbody>
# 表格中要抓取的数据
find_code=<td><a href=".*?" title=".*?">(.*?)</a></td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td>

# 这里通过 start和end指定在整个页面中你所寻找的表格
start=page_code.find(start_code)
end=page_code.find(end_code)
find=page_code[start:end]

final_find=re.findall(find_code,find)

for x in final_find:
    print ,.join(x)

print finish

 

爬虫抓取表格中的数据

原文:http://www.cnblogs.com/HapyyHao1314/p/7391213.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!