【已完成】建议能有一个蜘蛛探测禁封的功能
本帖最后由 堡塔运维香菜卷 于 2023-3-21 11:50 编辑*日发现网站上乱七八糟的爬虫特别多，导致网站负载很大
感觉可不可以给小白开发一个蜘蛛探测的功能，可以通过扫描服务器中所有的日志，了解到有哪些蜘蛛爬取
然后批量通过服务器端给禁掉~
因为在robots上写，对流氓蜘蛛一点效果都没有~~
通过nigux封锁，对于小白来说，还要一个个识别蜘蛛的名字叫什么？然后去手动设置，哪怕设置好了，也不知道有没有效果，也是有一定难度~
如果有这样一个功能，就可以帮助很多小白，直接选中不需要爬取的蜘蛛，通过服务器端给永久禁止掉，还是很香的！
希望宝塔开发团队，可以考虑一波~
买防火墙。根据UA封啊。这个一直都有的。不然你改网站的NGINX配制也可以的。方法你百度啊。不能抢BT的生意呢 已收录 安徽大叔 发表于 2022-11-25 19:32
买防火墙。根据UA封啊。这个一直都有的。不然你改网站的NGINX配制也可以的。方法你百度啊。不能抢BT的生意 ...
嗯。。我发现了。。可行。。把谷歌蜘蛛放进去了。。可以封锁。。但是一些扫描的ip或者其他爬虫不好弄。。
页:
[1]