使用nginx 防止网站爬虫

if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot”)  {

return 403;

        }

本文出自 “12103362” 博客，谢绝转载！

使用nginx 防止网站爬虫

原文：http://12113362.blog.51cto.com/12103362/1856717