45fan.com - 路饭网

搜索: 您的位置主页 > 电脑频道 > 编程代码 > 阅读资讯:如何通过nodeJs爬虫获取数据简单实现代码?

如何通过nodeJs爬虫获取数据简单实现代码?

2016-04-15 06:50:32 来源:www.45fan.com 【

如何通过nodeJs爬虫获取数据简单实现代码?

本文实例为大家分享了nodeJs爬虫获取数据代码,供大家参考,具体内容如下

var http=require('http');
var cheerio=require('cheerio');//页面获取到的数据模块
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
 /*所要获取到的目标数组 
 var courseData=[{
  chapterTitle:"",
  videosData:{
   videoTitle:title,
   videoId:id,
   videoPrice:price
  }
 }] */
 var $=cheerio.load(html);
 var courseData=[];
 var chapters=$(".list-collapse");
 chapters.each(function(item){
  var chapterTitle=$(this).find(".collapse-head").find("label").text();
  var videos=$(this).find(".listview5").children("li");
  var chaptersData={
   chaptersTitle:chapterTitle,
   videosData:[]
  }
  videos.each(function(item){
   var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
   var videoId=$(this).find(".ml10").attr('data-lesson-id');
   var vadeoPrice=$(this).find(".colblue").text();
   chaptersData.videosData.push({
    title:videoTitle,
    id:videoId,
    price:vadeoPrice
   })
  })
  courseData.push(chaptersData) 
 })
 return courseData
}
function printCourseInfo(courseData){
 courseData.forEach(function(item){
  console.log(item.chaptersTitle+'\n');
  item.videosData.forEach(function(item){
   console.log(item.title+'【'+item.id+'】'+item.price+'\n')
  })
 })
}
http.get(url,function(res){
 html="";
 res.on("data",function(data){
  html+=data
 })
 res.on('end',function(){
  var courseData=filterData(html);
  printCourseInfo(courseData)
 })
})

效果图:

如何通过nodeJs爬虫获取数据简单实现代码?

以上就是nodeJs爬虫获取数据的相关代码,希望对大家的学习有所帮助。


本文地址:http://www.45fan.com/bcdm/46158.html
Tags: 获取 爬虫 nodejs
编辑:路饭网
推广内容
推荐阅读
热门推荐
推荐文章
关于我们 | 联系我们 | 友情链接 | 网站地图 | Sitemap | App | 返回顶部