我与“爬虫”的“爱之初体验”

1.主题：西游记小说网站爬取

图片如下

2.源代码：

import requests
from bs4 import BeautifulSoup
url=‘http://www.eywedu.com/Xiyou/01/index.htm‘
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_encoding
txt=r.text
soup=BeautifulSoup(txt,‘html.parser‘)
ls=[]
for item in soup.find_all(‘a‘):
    ls.append(item)   
print(ls)

3.爬取效果

 4.问题

个人水平极度有限，在本专业叶栩同学的帮助下，勉勉强强爬出来一些！说实话还是有点窃喜哈哈哈。

另外，由于水平过低，无法提取出文本，询问同学过后，可在代码后添加print(i.text)。尝试无果，期待大神解答！

我与“爬虫”的“爱之初体验”

原文：https://www.cnblogs.com/houyixuan/p/12822437.html