首页 > 其他 > 详细

当小内存遇上大量数据,你该怎么解决这个问题?

时间:2019-12-18 20:52:06      阅读:82      评论:0      收藏:0      [点我收藏+]

原文链接:https://pythonspeed.com/articles/data-doesnt-fit-in-memory

压缩:能用1个位的,就不要用一个字节
分块:将一个文件分块读入内存,分块处理。
如文件中记录了各种动物的信息,现在要查找熊猫的信息,则要逐块读入文件内容,判断熊猫的信息是否在此块,不在则读取下一块
索引:如按时间分片,将一个大文件写成多个小文件,每个小文件只记录一种类型的内容。
如每个小文件记录一个动物的信息,当要找熊猫时,直接根据文件名找到对应的文件,再载入文件内容到内存

当小内存遇上大量数据,你该怎么解决这个问题?

原文:https://www.cnblogs.com/testzcy/p/12063334.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!