【已解答】如何屏蔽全部蜘蛛访问网站

为了能快速了解并处理您的问题，请提供以下基础信息：

面板、插件版本：9.2.0，网站监控报表3.8

系统版本：CentOS 7.9.2009 x86_64(Py3.7.9)

问题描述：有个企业网站，正常日访问IP不超过10个，最近一段时间流量暴增，查看日志发现99.9%的都是蜘蛛，海外IP，伪装蜘蛛等。如何屏蔽全部蜘蛛访问网站呢？我设置的Robots.txt也没效果。

相关截图（日志、错误）：

您好，Nginx 防火墙安装最新的，然后开启防爬虫功能
使用教程如下
https://www.bt.cn/bbs/thread-139641-1-1.html

按照教程开启了防爬虫功能，之前开启过禁止国外访问，不起作用。