在昨天大致介绍了网站信息自动化采集的基础步骤,但是各位需要在做自动化采集的时候做一个很关键的步骤:排除重复信息!实例方法如下:
private bool CheckUrl(string url) //铜梁视窗 http://www.5atl.com 去重 { string sql = " SELECT COUNT(1) FROM CMS_Collection WHERE NewsFrom=‘" + url + "‘"; object obj = DBHelper.ExecuteScalar(sql); if (obj != null && obj != DBNull.Value) { if (Convert.ToInt32(obj) > 0) { return false; } else { return true; } } return true; }
更多案例请登陆铜梁视窗预览
原文:http://www.cnblogs.com/daneas/p/4848202.html