Node爬虫之初体验

var express = require(‘express‘),
    app = express(),//基于WEB平台的开发框架
    superagent = require("superagent"),//处理服务端/客户端的http请求
    cheerio=require(‘cheerio‘);//一个 Node.js 版的 jquery，用来从网页中以 css selector 取数据，使用方式跟 jquery 一样
var pathUrl=‘http://www.imooc.com/learn/348‘;
  
/*=========================================================================
|抓取data数据结构如下
|    var courseData = [{
|           chapterTitle:‘‘,
|            videos:[{
|              title:‘‘,
|               id:‘‘
|            }]
|     }]
*==========================================================================*/
function printCourseInfo(courseData){
    courseData.forEach(function(item){
        var chapterTitle=item.chapterTitle;
        console.log(chapterTitle+‘\n‘);
        item.videos.forEach(function(video){
            console.log(‘ 【‘+video.id+‘】‘+video.title+‘\n‘);
        })
    });
}
/*==========================================================================
|   分析从网页里抓取到的数据
==========================================================================*/
function filterChapter(html){
    var courseData=[];
    var $=cheerio.load(html);
    var chapters=$(‘.chapter‘);
    chapters.each(function(item){
        var chapter=$(this);
        var chapterTitle=chapter.find(‘strong‘).text().replace(/(\s*)/g,‘‘); //找到章节标题
        var videos=chapter.find(‘.video‘).children(‘li‘);
  
        var chapterData={
            chapterTitle:chapterTitle,
            videos:[]
        };
        
        //videos
        videos.each(function(item){
            var $that = $(this),
                video=$that.find(‘.J-media-item‘),
                title=video.text().replace(/(\s*)/g,‘‘);
                id=video.attr(‘href‘).split(‘/video‘)[1].replace(/(\s*)/g,‘‘).replace(‘/‘,‘‘);
            chapterData.videos.push({
                title:title,
                id:id
            })
        })
        courseData.push(chapterData);
    });  
    return courseData;
}
/*==========================================================================
| GET method route
===========================================================================*/
app.get(‘/‘, function(request, respones){
   //处理服务端/客户端的http请求
   superagent.get(pathUrl).end(function(error, sres){
       //error
       if(error){
          return next(err);
       }
       //抓取https网址html
       var html = sres.text;
       var courseData=filterChapter(html);
       //打印
       printCourseInfo(courseData);
       //respones
       respones.send((courseData));
    })
})
/*==========================================================================
| listening at port
===========================================================================*/
app.listen(9090, function(){
    console.log(‘app is listening at port 9090‘);
});