首页 > 编程语言 > 详细

python爬虫训练——正则表达式+BeautifulSoup爬图片

时间:2018-01-24 13:41:36      阅读:266      评论:0      收藏:0      [点我收藏+]

这次练习爬 传送门 这贴吧里的美食图片。

技术分享图片

如果通过img标签和class属性的话,用BeautifulSoup能很简单的解决,但是这次用一下正则表达式,我这也是参考了该博主的博文:传送门

所有图片的src地址前面都是相同的,所以根据这个就可以筛选出我们想要的图片了。也就是在匹配时不用class属性的值,而是用正则表达式去匹配src的值。

 1 from urllib import request
 2 from bs4 import BeautifulSoup
 3 import re
 4 
 5 def get_page(url, tot_page):
 6     url_list = []
 7     for i in range(1,tot_page):
 8         new_url = re.sub((=(.*)),%s%s %(=,i), url)
 9         url_list.append(new_url)
10     return url_list
11 
12 
13 if __name__ == __main__:
14     url = http://tieba.baidu.com/p/4792769205?pn=1
15     path = D:\python\project\爬虫结果
16     count = 0
17     url_list = get_page(url, 4)
18     for url in url_list:
19         print(url)
20         page = request.urlopen(url).read().decode()
21         soup = BeautifulSoup(page, lxml)
22         regex = re.compile("http://imgsrc.baidu.com/forum/w%3D580/sign=.+\.jpg")
23         pic_list = soup.findAll(img, {src: regex})
24         for pic in pic_list:
25             pic = pic[src]
26             request.urlretrieve(pic, %s/%s.jpg % (path, count))
27             count += 1

我就爬了3页的图片:技术分享图片

技术分享图片

 

python爬虫训练——正则表达式+BeautifulSoup爬图片

原文:https://www.cnblogs.com/zyb993963526/p/8341019.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!