屏蔽恶意垃圾蜘蛛访问

在伪静态中加入以下代码即可屏蔽垃圾蜘蛛访问

Nginx环境

if ($http_user_agent ~* (SemrushBot|DotBot|MJ12bot|AhrefsBot|ZoominfoBot|BLEXBot|Python|PetalBot|Barkrowler)) {
      return 403;
}

Apache环境

SetEnvIfNoCase ^User-Agent$ .*(SemrushBot|DotBot|MJ12bot|AhrefsBot|ZoominfoBot|BLEXBot|Python|PetalBot|Barkrowler) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT