1. 可配置爬虫
。爬虫的启动停止（os.system)
。爬虫基本爬取数据的设置（起始网页，解析规则，停止条件）
。爬虫的进度指示
。爬虫的数据存储
2. 增量爬虫
。怎么知道爬取的改变
3. 分布式爬虫
4. 反爬虫
常见的爬虫技术点
原文：https://www.cnblogs.com/wdz1226/p/10461008.html
