首页 > Web开发 > 详细

网页抓取解析,使用JQuery选择器进行网页解析

时间:2017-01-22 18:03:52      阅读:231      评论:0      收藏:0      [点我收藏+]

最近开发一个小功能,数据库中一个基础表的数据从另一个网站采集。

因为网站的数据不定时更新,需要更新后自动采集最新的内容。

怎么判断更新数据没有?

好在网站有一个更新日志提示的地方,只需要对比本地保留的更新日志和最新日志是否一致。

解析网页源码是个难点,有使用正则表达式的。

但我对正则表达式使用不多,搜索了下在网上找了个开源类库ScrapySharp。

为什么使用这个类库了?

因为可以使用JQuery的css选择器方便的解析网页。

现在就这块的代码贴出来,需要的人可以参照下。

var browser = new ScrapingBrowser();             
browser.Encoding = System.Text.Encoding.UTF8;

string html = browser.DownloadString(new Uri("urlAddress"));//获取网页的源码

var doc = new HtmlAgilityPack.HtmlDocument();             
doc.LoadHtml(html);
var docNode = doc.DocumentNode;

IEnumerable<HtmlNode> nodes = docNode.CssSelect(".className");//使用css类选择器获取节点
string text = row_0_s.ElementAt(0).InnerText;//获取标签的文本

 

网页抓取解析,使用JQuery选择器进行网页解析

原文:http://www.cnblogs.com/tanpeng/p/6340873.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!