首页 > Web开发 > 详细

网站爬取-案例二:天猫爬取( 第一卷:首页数据抓取)

时间:2018-02-14 21:01:33      阅读:193      评论:0      收藏:0      [点我收藏+]

标签:img   .com   我想   提供商   网站   col   class   scoller   bubuko   

说到网站数据的爬取,目前为止我见过最复杂的就是天猫了,现在我想对它进行整站的爬取

我们先来看下天猫主页的界面

技术分享图片    

天猫页面很明显是动态页面 所以我们需要用selenium模块

首先我们抓取下行业列表,留作之后的深度爬取

技术分享图片

我们来看下结果:

技术分享图片

看到商品链接和行业列表的完美展现了吧

可是当前页面并没抓取完毕,我们现在看下首页还有什么内容

技术分享图片

我们顺带抓取下发先并没有我们想要的东西,说明页面没有抓取完毕,熟悉网站制作的同僚们因该知道这样的页面都是用OVERFLOW:hidden的方式来做的布局,所以我们可以利用JS的SCOLLER事件来进行动态加载获取当前整个页面的源码

 技术分享图片我们把打印的源码拿下来分析下抓取优惠卷的价格和提供商品的价格

技术分享图片

由于我的网络和设置的数值过大所以数据加载的不完整:

看下结果:

技术分享图片

好好调整一下 就可以获取所有数据

 

网站爬取-案例二:天猫爬取( 第一卷:首页数据抓取)

标签:img   .com   我想   提供商   网站   col   class   scoller   bubuko   

原文:https://www.cnblogs.com/woshiruge/p/8448832.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号