Linux系统下利用wget命令把整站下载做镜像网站

时间：2016-01-16 07:32:06 阅读：138 评论：0 收藏：0 [点我收藏+]

2011-05-28 18:13:01 | 1次阅读 | 评论：0 条 | itokit

在linux下完整的用wget命令整站采集网站做镜像的命令是及无视网站根目录下的robots.txt限制。并且可以模拟一个正常浏览者的信息下载该网站。

C/C++ Code复制内容到剪贴板

wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"

wget命令参数注释：

C/C++ Code复制内容到剪贴板

"-e robots=off" 让wget耍流氓无视robots.txt协议
-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" 伪造agent信息

原文：http://www.cnblogs.com/archoncap/p/5134870.html

踩

(0)

评论一句话评论（0）

分享档案

更多>