【已完成】建议能有一个蜘蛛探测禁封的功能

本帖最后由堡塔运维香菜卷于 2023-3-21 11:50 编辑

*日发现网站上乱七八糟的爬虫特别多，导致网站负载很大

感觉可不可以给小白开发一个蜘蛛探测的功能，可以通过扫描服务器中所有的日志，了解到有哪些蜘蛛爬取

然后批量通过服务器端给禁掉~

因为在robots上写，对流氓蜘蛛一点效果都没有~~

通过nigux封锁，对于小白来说，还要一个个识别蜘蛛的名字叫什么？然后去手动设置，哪怕设置好了，也不知道有没有效果，也是有一定难度~

如果有这样一个功能，就可以帮助很多小白，直接选中不需要爬取的蜘蛛，通过服务器端给永久禁止掉，还是很香的！

希望宝塔开发团队，可以考虑一波~

安徽大叔 · 发表于 2022-11-25 19:32:01

买防火墙。根据UA封啊。这个一直都有的。不然你改网站的NGINX配制也可以的。方法你百度啊。不能抢BT的生意呢

大炮运维V587 · 发表于 2022-11-25 20:13:24

已收录

humengjun2 · 发表于 2022-11-25 23:13:40

安徽大叔发表于 2022-11-25 19:32
买防火墙。根据UA封啊。这个一直都有的。不然你改网站的NGINX配制也可以的。方法你百度啊。不能抢BT的生意 ...

嗯。。我发现了。。可行。。把谷歌蜘蛛放进去了。。可以封锁。。但是一些扫描的ip或者其他爬虫不好弄。。

█ 菠萝云-免费装宝塔,4G内存68 █	█ 易探云·香港/美国vps仅9元 █	▅▆▇ 慈云数据-服务器9.9/月 ▇▆▅	A4招租，联系qq394030111	【多途云】高防CDN
高防服务器，无视一切流量攻击	+++美国百G防护500M带宽29元+++	OV/EV SSL证书，可当日签发	【阿里云】宝塔一键部署，5.5折	宝塔一键部署DV,EV,OV,SSL证书
█ 易探云·高防云4核8G仅88元 █	===真高防===CDN99元起\|全球节点	香港日本美国弹性云19.9	【阿里云】2核2G，3M，45.1元/年	在线网站测速、批量PING运维工具