首页 > 编程语言 > 详细

python BeautifulSoup获取 网页链接的文字内容

时间:2016-06-27 00:08:36      阅读:245      评论:0      收藏:0      [点我收藏+]


这里和 获取链接略有不同,不是得到链接到url,而是获取每个链接的文字内容


#!/opt/yrd_soft/bin/python

import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup

url = ‘http://www.baidu.com‘

#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link  in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
    print link.get_text()


本文出自 “linux与网络那些事” 博客,请务必保留此出处http://khaozi.blog.51cto.com/952782/1793077

python BeautifulSoup获取 网页链接的文字内容

原文:http://khaozi.blog.51cto.com/952782/1793077

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!