【已完成】建议能有一个蜘蛛探测禁封的功能

*日发现网站上乱七八糟的爬虫特别多，导致网站负载很大

感觉可不可以给小白开发一个蜘蛛探测的功能，可以通过扫描服务器中所有的日志，了解到有哪些蜘蛛爬取

然后批量通过服务器端给禁掉~

因为在robots上写，对流氓蜘蛛一点效果都没有~~

通过nigux封锁，对于小白来说，还要一个个识别蜘蛛的名字叫什么？然后去手动设置，哪怕设置好了，也不知道有没有效果，也是有一定难度~

如果有这样一个功能，就可以帮助很多小白，直接选中不需要爬取的蜘蛛，通过服务器端给永久禁止掉，还是很香的！

希望宝塔开发团队，可以考虑一波~

买防火墙。根据UA封啊。这个一直都有的。不然你改网站的NGINX配制也可以的。方法你百度啊。不能抢BT的生意呢

已收录

安徽大叔 发表于 2022-11-25 19:32
买防火墙。根据UA封啊。这个一直都有的。不然你改网站的NGINX配制也可以的。方法你百度啊。不能抢BT的生意 ...

嗯。。我发现了。。可行。。把谷歌蜘蛛放进去了。。可以封锁。。但是一些扫描的ip或者其他爬虫不好弄。。