首页 > 编程语言 > 详细

Java分布式数据导出实践

时间:2017-02-04 12:32:03      阅读:232      评论:0      收藏:0      [点我收藏+]

伴随业务发展日益剧增,对数据的要求越来越多也越来越高。

用户在浏览器发起导出请求--web服务器接收请求--请求后台获取数据--数据统计后生成excel或其他图标--响应给客户端

整个过程至少5步,才能达成用户目的。

但其中任何一个地方出错,用户只能重新提交请求,然后等待。

由于数据需求越来越大、越多,导致后台服务器压力巨大,需要调配更多的系统资源来支撑。

 

因此,分布式实现主要有以下几个几点步骤:

第一步:受理请求

第二步:生成数据文件、保存到共享目录

第三步:统一下载页面下载

 

这里面使用的技术如下:

resin、kafka、redis、poi、NAS、后台服务器

1、web服务器接收到请求后,将请求格式化后发送到kafka上面,然后给页面一个相应:受理成功。

2、后台服务器订阅kafka特定topic,接收到请求后进行处理,此处可以实现很多个控制来做限流、资源调配等操作。

3、后台服务器通过指定方式获取相关数据、使用poi技术制作excel文件,首先写入到本地临时目录,然后移动到NAS共享目录。

4、生成特定标识,将结果存储到redis

5、用户进入到下载页面,后台根据用户信息算出特定标识,从redis中获取结果后展示在页面上,通过页面下载功能完成最终文件下载。

 

各个模块之间完全解耦,不存在相互影响的关系。

通过以上实现应用在实际生产环境,解决了实际问题。

希望对大家实际工作有所帮助。

Java分布式数据导出实践

原文:http://www.cnblogs.com/orionhp/p/6364521.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!