首页 > 其他 > 详细

书接上回,继续获取各链接内的小说内容

时间:2019-12-07 18:16:17      阅读:107      评论:0      收藏:0      [点我收藏+]

技术分享图片

requests下载

好了,现在开始下载。我们在前面是用requests下载的,那么现在一样还是用这种方法

技术分享图片

我们现在有了每个章节的网页代码,所以只需要重复之前的操作,对下载的文本数据进行清除

技术分享图片

这个地方需要把exit()写上,意思是让循环一次就停下来

需要写在print()后面

技术分享图片

问题来了,匹配字段怎么找呢?

我们需要打开第一章节,chrome浏览器里按F12,检测网页源代码

技术分享图片

去找一下我们所需要的文字字段

看看有什么唯一的,这里可用ctrl+f 来进行查找是否唯一

技术分享图片

你可以注意到‘2008年,4月5日’是我们想要的,所以就需要我们在前面找

这里有个很特殊的字段<div id="content">

又查找了一下,发现是唯一的,所以开头找好了,结尾也是这样

技术分享图片

而这里我们需要用replace替换方法,把特殊的符号替换成空,如果还有其他的符号也要自己替换。

技术分享图片

爬取成功,进行下载

我们不能每次都这样爬取,所以要把小说保存在我们之前建的文件里面

技术分享图片

完成

书接上回,继续获取各链接内的小说内容

原文:https://www.cnblogs.com/oldfish123/p/12002801.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!