大佬们，htaccess屏蔽爬虫，姿势怎么摆啊

fifalan

小站被yandex直接爬挂了，写了robots，不过生效太慢，然后网上找了htaccess屏蔽代码，如下
RewriteCond %{HTTP_USER_AGENT} “Bingbot|MSNbot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu” [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]

RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]   这段有点不理解，是只要这些爬虫就让他们访问 robots么，后面的网址是什么意思啊。懂的大佬指点下吧

icefox913

封ip是最简单的办法  现在免费的东西越来越少

fifalan

Abbey 发表于 2018-6-8 20:56
yandex我是直接导向百度的

大佬怎么弄的啊  我被搞的死去活来

Abbey

yandex我是直接导向百度的

fifalan

yanghao54 发表于 2018-6-8 20:34
看日志呀，还要什么ip库，一个蜘蛛也就十几个ip段。

直接屏蔽所有垃圾爬虫不是最省事么

yanghao54

看日志呀，还要什么ip库，一个蜘蛛也就十几个ip段。

fifalan

yanghao54 发表于 2018-6-8 20:27
robots不起作用的，封ip段，来一次封一次。

没IP库...这个htaccess可以么

yanghao54

robots不起作用的，封ip段，来一次封一次。