我在想的一件事情就是相关的问题关于自己的学习计划的问题，自己的学习计划不断的不能完成每一阶段的任务，真的是比较烦的一件事情。
分类：通用爬虫、聚焦爬虫、分布式爬虫
网络是一个有向图，所以搜索操作可以总结为对有向图的遍历。爬虫通过web页面的图结构从一个页面到另一个页面。
Google具有较少的垃圾结果和公平的搜索结果两大优点，其来源于google的pagerank算法和锚点词权重。
爬虫技术：A，通用爬虫：从每一个网页尽可能多的找寻链接，去点速度慢占带宽。B,聚焦爬虫：爬取某一主题的文件，节省带宽。C分布式爬虫：多线程爬取。
现在爬虫都是同步进行的，有重载、质量和网络等问题。
原文：https://www.cnblogs.com/coder-2017/p/9184460.html