首页 > 其他 > 详细

气象数据集数据和相关源码

时间:2016-04-21 10:02:18      阅读:498      评论:0      收藏:0      [点我收藏+]

http://www.dataguru.cn/thread-260221-1-1.html

今天看了很多帖子,对气象数据集的数据下载都不是很清晰,我特地整理了一个。

老师提供的ftp://ftp3.ncdc.noaa.gov/pub/data/noaa已经转到ftp://ftp.ncdc.noaa.gov/pub/data/noaa了,具体见下:

 

2 下载气象数据集部分数据,写一个Map-Reduce作业,求每年的最低温度,部署并运行之,抓图过程

 

*****************************

下载气象数据集:

1. 下载地址:ftp://ftp.ncdc.noaa.gov/pub/data/noaa

可以通过wget或者ftp方式下载

wget方式:wget -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2008

ftp方式:

kevindemacbook-pro:~ kk$ ftp
ftp> open
(to) ftp.ncdc.noaa.gov      
ftp> ls
227 Entering Passive Mode (205,167,25,101,252,130).
150 Opening ASCII mode data connection for file list
drwxr-xr-x   2 root     root          512 Oct  6  2010 data
drwxr-xr-x   3 root     root          512 May 30  2013 nfs
drwxr-xr-x   8 ftp      ftp         32768 Apr  1 10:00 pub
-rw-r--r--   1 root     root          858 Dec  7  2012 welcome.msg
ftp> cd pub/data/noaa/1950

ftp>get 999999-94224-1950.gz

2.还有一种下载方式,以下的介绍中说明了教科书源码和数据的下载地址(参考 http://www.dataguru.cn/forum.php?mod=viewthread&tid=25921)

http://hadoopbook.com/code.html
Code and Data
The book’s example code is available from GitHub at http://github.com/tomwhite/hadoop-book/.
The code for the third edition is at https://github.com/tomwhite/hadoop-book/tree/3e.
A sample of the NCDC weather dataset that is used throughout the book can be found at https://github.com/tomwhite/hado ... ster/input/ncdc/all

 

另外看到有同学下的地址是:ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2008

这个地址下数据格式与老师给的不同,当然,分析一下改改代码也是可以使用的。

还有同学提供的下载地址:


ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/
这个地址下数据格式与老师给的不同,当然,分析一下改改代码也是可以使用的。

****************************

 

气象数据集数据和相关源码

原文:http://www.cnblogs.com/zkwarrior/p/5415589.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!