在互联网上可找到很多关于爬虫系统的设计和实现的相关文档，但仔细阅读后可发现绝大多数的设计方案的可用性、可靠性、高效性、扩展性等方面均存在很多问题。
针对以上问题的存在，本设计方案将以可用性、可靠性、高效性、可扩展性为基本准则重新设计爬虫系统。
图1 爬虫系统时序图
高效爬虫系统的设计
原文：http://blog.csdn.net/qifengzou/article/details/43563971
