Web爬虫流程

Scrapy开发指南

框架架构

工程目录

API编程说明

Scrapy框架提供可扩展的网页爬取技术方案，开发者只需要遵循接口规范即可开发出定制化的爬虫。

开发爬虫

爬虫Class定义需要放在spiders目录下。

属性

name : 爬虫名字（必有）
start_urls : 爬取起始网址（必有）

方法
parse(self, response) ：获取网页内容后框架执行的回调方法，在该方法中可以对响应进行处理，也可以再次发起Request请求，例如： 

  scrapy.Request(url=link, errback=self.errback_http, callback=self.parse_article)

框架会对url=link的地址发起请求，如果请求出现错误执行用户自定义的errback_http方法，如果请求成功则执行用户自定义的parse_article方法。

1. XPATH，在使用XPATH进行抽取时，需要将response转换成HtmlResponse类型。
2. CSS

运行爬虫
在项目目录下运行以下命令，即可执行爬虫：
scrapy crawl NAME
其中NAME为爬虫属性name

元素容器

自定义元素(Item)在items.py中定义，需要继承scrapy.Item，可以将元素理解成key-value的HashMap。
Spider代码尽可能关注内容抽取，并保存在Item中，后续框架将Item交给管道处理，这种方式很好地对数据抽取和处理进行解耦。
例如上述的 parse_article 方法， API要求返回一个元素或字典类型对象，在管道中可获取该对象并进行数据处理。

配置文件

配置信息都定义在settings中，可以把它理解成Java应用中的application.properties文件，数据库，缓存等信息都保存在这里。
如果需要使用该配置文件中定义的属性，类（爬虫，管道，插件）需要增加额外的类方法： from_crawler(cls, crawler)
框架在实例化类对象时候回调该方法，并传入crawler对象，后者可以获取到定义在settings中的属性值，例如：

 crawler.settings.get(‘URL_FILE‘)

settings中的属性也可以通过在代码中引入from scrapy.utils.project import get_project_settings，显示的调用
settings = get_project_settings()方法然后就可以使用settings中的属性值了。如下：
conn = MySQLdb.connect(
host=settings[‘MYSQL_HOST‘],
user=settings[‘MYSQL_USER‘], 
passwd=settings[‘MYSQL_PASSWD‘], 
db=settings[‘MYSQL_DBNAME‘],
use_unicode=True, 
charset="utf8" 
)

管道开发

管道类似过滤处理链，根据自定义业务依次处理Spider解析后的数据，例如数据验证（去重、转换），计算存储(DB,NOSQL），发送消息（Kafka，MQ），报表生成。
开发自定义管道类需要两步骤：

1. 在pipelines中定义类并实现 process_item(self, item, spider) 方法， 其中item对象为spider解析后待处理的数据。
2. 在settings中开启管道配置信息，ITEM_PIPELINES 中配置自定义管道类名和执行序列。

说明
自定义管道根据序列号从小到大依次执行请求，如果抛出DropItem异常，后续管道将不会执行，例如数据出现重复主键，可以抛出DropItem异常。

日志开发

使用以下代码在管道中定义日志名称

logger = logging.getLogger(‘pipelogger‘)

日志启用也可以在settings中设置如下属性
LOG_ENABLED = True #启用日志
LOG_ENCODING = ‘utf-8‘ #设置日志字符集
LOG_FILE = ‘e://workspace/log/csdncrawl.log‘ #指定日志文件及路径
LOG_LEVEL = ‘INFO‘ #定义日志级别
LOG_STDOUT = True #是否将print语句打印内容输出到日志

扩展插件

开发者可自定义运行在不同阶段的插件，例如打开爬虫、关闭爬虫、数据抓取等。
插件只需要关注：在什么时候做什么事情，即 状态-方法。
开发插件只需要2步：

1. 开发插件类，可定义在extensions.py文件中，在from_crawler中增加状态-方法的映射关系，例如在打开爬虫的时候执行spider_opened方法可这样配置：
   

           crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)
   

1. 在settings中配置插件类，和管道定义类似， 其KEY为EXTENSIONS

代码示例

DEMO示例为爬取网易体育新闻下的头条新闻，将url写到urls.txt文件中并对url进行去重处理，将标题、来源写到datas.txt文件中，通过插件统计爬取总数。
源代码参考附件：