首页 > Windows开发 > 详细

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

时间:2020-03-14 15:15:56      阅读:332      评论:0      收藏:0      [点我收藏+]


原本是发布在【原创发布区】板块的,但是审核太慢了,一天了新帖都不超过3个,所以改发布到精品软件区。
因为昨天的帖子还没通过审核,不能修改,但是我今天又升级了一下功能,所以把新版本发布到这里。


2020/03/14更新内容:
1、可以自定义保存图片目录,但还是会保存在软件目录下的images目录下,可以选择当前日期,或者网站域名,或者自己输入文件夹名称,请勿输入特殊字符,支持中文
2、去掉非站内url的跳转,提升爬虫效率
3、软件底部新增正在爬取的链接和正在下载的图片,并显示实时下载速度,每2s更新一次速度
4、更换了新的背景图,减少软件大小

软件是自己编码,visual studio2019 + .net4.5,本人觉得没必要杀毒,如果各位不放心的,请留言,我会进行杀毒测试。

技术分享图片

 

昨天,我发布了一个用C#写的网站图片爬虫软件,由于涉及色情内容,被删除了,我痛定思痛,重新写了一个可以爬取任意网站图片的软件

由于是可以爬取任意输入的网站图片,所以没有做过滤,只要符合图片格式的都会被爬取,可以通过设置图片大小去掉不符合的图片,总之,效率可能一般。

界面很粗糙,为了赶在周末前给大家测试,所有很多细节都没处理,各位在用的时候有什么建议可以提,我会继续完善的。

软件本身很小,但是加了个背景图,大了很多。

使用方式:
1、在地址输入框输入爬取的地址
2、选择爬取深度,深度1层代表只爬取1输入的网站内容,2层表示把1的网站内容中出现的url继续访问,3层在2 的基础上继续跳转,以此类推,一般2层就可以了
3、输入限制图片的大小,小于该数值的图片会被删掉,比如5V网!就是可以采集一下的。
4、输入本次爬取的图片数量,只有符合大小的图片才会增加数量
5、去吧!皮卡丘

爬取过程中,可以随时停止,但是不能继续,只能重来。

最后,按照国际惯例,求免费的评分,昨天被删帖,扣了一些分。

出现爬取失败,可能是由于网站禁止爬虫,亦或是跳转链接是要加前缀,这个问题将在下一个版本改善。

免责声明:请勿用于非法用途,爬取网站是否违法就看网站是否禁止爬虫。

技术分享图片

 

技术分享图片

 

技术分享图片

 

实现一个C#爬虫!可以爬取任意网站的爬虫工具!

原文:https://www.cnblogs.com/xkrj5/p/12492197.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!