全球主机交流论坛

标题: 老铁吗，蜘蛛把2t硬盘爬光了，怎么屏蔽 [打印本页]

作者: fengwuhen110 时间: 2019-11-3 16:15
标题: 老铁吗，蜘蛛把2t硬盘爬光了，怎么屏蔽
User-agent:Googlebot
Disallow:/

这个并不管用

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot')){
exit();
}

也不管用
if
($http_user_agent ~* "qihoobot|Googlebot|^$")
{
return 403;
}
还是不管用

作者: hxuf 时间: 2019-11-3 16:16
上宝塔用插件屏蔽

作者: fengwuhen110 时间: 2019-11-3 16:22

hxuf 发表于 2019-11-3 16:16
上宝塔用插件屏蔽

问题是已经在运行的，换bt不现实啊

作者: hxuf 时间: 2019-11-3 16:45

fengwuhen110 发表于 2019-11-3 16:22
问题是已经在运行的，换bt不现实啊

啥网站啊不能备份出来换服务器一天？

作者: cquyf 时间: 2019-11-3 16:47
下午蜘蛛来爬，结果蜘蛛还不爬，哈哈

作者: fengwuhen110 时间: 2019-11-3 16:58

cquyf 发表于 2019-11-3 16:47
下午蜘蛛来爬，结果蜘蛛还不爬，哈哈

把我硬盘爬没了。。

作者: 逗比泡泡糖 时间: 2019-11-3 17:02
直接封IP段不就行了

作者: lonefly 时间: 2019-11-3 18:02

fengwuhen110 发表于 2019-11-3 16:58
把我硬盘爬没了。。

服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html

作者: openshit 时间: 2019-11-3 21:10
我到是希望蜘蛛爬我，可惜权重太低，根本没蜘蛛感兴趣

作者: coxyblog 时间: 2019-11-3 21:22

lonefly 发表于 2019-11-3 18:02
服务器反爬虫攻略 Apache/Nginx/PHP禁止非法抓取内容
https://www.yunloc.com/763.html

没有IP识别意义不大，UA可以伪造的

作者: 55SHO 时间: 2019-11-3 21:22
大佬们怎么屏蔽访客放行蜘蛛？

作者: beixiaoqian 时间: 2019-11-3 23:52
屏蔽IP段就是

作者: fengwuhen110 时间: 2019-11-5 01:16

beixiaoqian 发表于 2019-11-3 23:52
屏蔽IP段就是

deny 46.229.168.0/24;
这样吗，依旧无效

作者: jsdv 时间: 2019-11-5 11:49
采集假冒的蜘蛛ua吧。

作者: 白槐发卡 时间: 2019-11-5 12:44

coxyblog 发表于 2019-11-3 21:22
没有IP识别意义不大，UA可以伪造的

套上cf后，怎么识别访客ip？

作者: 黑街老祖 时间: 2019-11-5 12:46
提示: 作者被禁止或删除内容自动屏蔽

作者: 爱尔兰不动产 时间: 2019-11-5 14:26
爬的日志多?定期删了就行了啊

作者: coxyblog 时间: 2019-11-5 20:15

白槐发卡发表于 2019-11-5 12:44
套上cf后，怎么识别访客ip？

x-forward那个参数吧，在nginx 或者apache里面配置

作者: elvis2003 时间: 2019-11-5 20:16

openshit 发表于 2019-11-3 21:10
我到是希望蜘蛛爬我，可惜权重太低，根本没蜘蛛感兴趣

貌似和权重关键不高，我以前有个站百度权重1，但是蜘蛛爬的我VPS都挂了，还以为是被攻击了呢。

欢迎光临全球主机交流论坛 (https://loc.998820.xyz/)