准备

• 安装

  $sudo apt-get install pyspider

• 报错及处理

  [安装及排错 - pyspider]

• 启动

  $pyspider

• 访问

  浏览器访问localhost:5000

• 创建新项目

  • 右上角Create 按钮
    • Project Name项目名称
    • Start URL启动链接(爬虫项目第一个访问的页面链接)

• 基础结构

  #!/usr/bin/env python
  # -*- encoding: utf-8 -*-
  # Created on 2020-03-12 16:23:35
  # Project: test
  
  from pyspider.libs.base_handler import *
  
  class Handler(BaseHandler):
      crawl_config = {
      }
  
      @every(minutes=24 * 60)
      def on_start(self):
          self.crawl('http://www.baidu.com', callback=self.index_page)
  
      @config(age=10 * 24 * 60 * 60)
      def index_page(self, response):
          for each in response.doc('a[href^="http"]').items():
              self.crawl(each.attr.href, callback=self.detail_page)
  
      @config(priority=2)
      def detail_page(self, response):
          return {
              "url": response.url,
              "title": response.doc('title').text(),
          }

进阶

待续

SpiderTool - pyspider(待续)

原文：https://www.cnblogs.com/yangjunh/p/SpiderTool-pyspider.html