所谓爬虫简单点说，就是把别人网站上的东西爬下来，至于爬做什么用就看你自己了，比如：把别人网站上的东西爬下来放在自己网站中（感觉有点像小偷^v^）.
这里随便写了一个爬虫代码(可以自己再去进行完善)：
protected void Button1_Click(object sender, EventArgs e) { string htmlcode = GetHTML("http://www.imooc.com/learn/348"); Regex reg = new Regex("<strong><i class=\"state-expand\"></i>.*</strong>"); MatchCollection ms = reg.Matches(htmlcode); foreach (Match m in ms) { Response.Write(m.ToString()+"<br>"); }
} public string GetHTML(string url) { WebClient web = new WebClient(); byte[] buffer = web.DownloadData(url); return Encoding.UTF8.GetString(buffer); }
这里是从慕课网的一个网页中爬一些章节信息下来(这不是给慕课网打广告，但是里面确实有一些比较好的学习资料，大家可以直接访问http://www.imooc.com/learn/348看看这页的内容)。
代码分析：
1、通过WebClient将对应网页的源码下载下来(适当的编码好，要不是容易出现乱码问题)
2、从源码中抓取出自己需要的信息，这里用的正则表达式去抓取匹配的信息，然后输出来
这样一个简单的爬虫就做好了，大家可以试一试
原文：http://www.cnblogs.com/tianguook/p/5019881.html