首页 > Linux系统管理 > nginx 禁止爬虫
2017
12-18

nginx 禁止爬虫

到conf server段加上

 if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp  China|YoudaoBot|Soso
spider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")
      {
           return 403;
 }
最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员