首页 > 编程语言 > 详细

Python 下载超大文件

时间:2019-10-11 14:57:41      阅读:101      评论:0      收藏:0      [点我收藏+]

使用python下载超大文件, 直接全部下载, 文件过大, 可能会造成内存不足, 这时候要使用requests 的 stream模式,

主要代码如下

iter_content:一块一块的遍历要下载的内容
iter_lines:一行一行的遍历要下载的内容

def download_file(url, file_pname, chunk_size=1024*4):
    """
    url: file url
    file_pname: file save path
    chunk_size: chunk size
    """
    # 第一种
    response_data_file = requests.get(url, stream=True)
    with open(file_pname, wb) as f:
        for chunk in response_data_file.iter_content(chunk_size=chunk_size):
            if chunk:
                f.write(chunk)

    # 第二种
    with requests.get(url, stream=True) as req:
        with open(file_pname, wb) as f:
            for chunk in req.iter_content(chunk_size=chunk_size):
                if chunk:
                    f.write(chunk)

python实现文件下载图片视频

如有错误欢迎指出

 

Python 下载超大文件

原文:https://www.cnblogs.com/mswei/p/11653504.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!