Nginx防火墙-假蜘蛛拦截

Nginx防火墙-假蜘蛛拦截


这个不是实时去拦截的、需要这个IP访问过来。60秒后会自动查询dns记录、查询完之后再一次访问就会拦截。

如果实时查询的话会阻塞这个请求。那么会导致这个请求会很慢。



2024-07-16 16:52 更新了一个功能、伪造的假蜘蛛拦截



一旦识别为假蜘蛛就会直接封锁IP、


例如这个IP 116.196.115.84 使用了BaiduSpider  。


但是通过IP查询是没任何信息的。




需要注意的点：如果开启了CDN 。就一定要把CDN的选项打开。不然真正的蜘蛛会被拦截的。


如果不把CDN 选项点开。获取的IP是CDN的IP、然后使用的UA为
蜘蛛的UA 这个时候会直接封锁CDN的IP 、就会导致访问不了



对于真假蜘蛛如何鉴别

一、百度蜘蛛
Windows cmd 中执行 nslookup 后面跟IP
例如：nslookup  116.179.32.192



如果出现baiduspider  那为真蜘蛛


二、谷歌蜘蛛

nslookup  34.100.182.103


出现 googlebot 就代表为真蜘蛛

三、搜狗蜘蛛

nslookup 223.109.252.246




出现sogouspider  为真蜘蛛


四、必应蜘蛛

nslookup 40.77.177.83


出现.search.msn.com 为真蜘蛛



五、头条蜘蛛
nslookup 110.249.201.2



出现bytespider 为真蜘蛛


六、神马蜘蛛

nslookup 42.120.160.119




出现shenmaspider 为真蜘蛛。


需要反馈和提出你的建议可以加群

注意的点：这个不是实时去拦截的、需要这个IP访问过来。60秒后会自动查询dns记录、查询完之后再一次访问就会拦截。

需要注意的点：如果开启了CDN 。就一定要把CDN的选项打开。不然真正的蜘蛛会被拦截的。


如果对于拦截的假蜘蛛的IP有疑惑。可以自行使用nslookup 进行查询是否为假蜘蛛。


测试一天的效果


总共拦截1347 次。

我前几天回复的“防火墙没有拦截假蜘蛛选项”的帖子被删除了？

我真的是小白 发表于 2024-7-21 09:56
我前几天回复的“防火墙没有拦截假蜘蛛选项”的帖子被删除了？

更新就有啊。

宝塔技术-小强 发表于 2024-7-22 14:27
更新就有啊。

我已经更新N次了都还没有，真的

宝塔防火墙 强的可怕

测速网 特征和除了国内知名搜索引擎的 其他全干掉
能不能增加 像那些小服务器  2核心到4核心 被人家一测速直接宕机 CPU爆满
我看 知名的 Cloudflare   就具备这样的能力

我真的是小白 发表于 2024-7-22 19:00
我已经更新N次了都还没有，真的

更新之后。用无痕模式打开。

要版本是9.4.8  9.4.9 这两个版本才有

宝塔技术-小强 发表于 2024-7-23 12:03
更新之后。用无痕模式打开。

要版本是9.4.8  9.4.9 这两个版本才有

你好，我更新之后的就是9.4.8版本，就是没有“假蜘蛛”这一选项。我更新、修复好几次了都没有用。

我真的是小白 发表于 2024-7-23 20:53
你好，我更新之后的就是9.4.8版本，就是没有“假蜘蛛”这一选项。我更新、修复好几次了都没有用。 ...

那就更新到9.4.9 用无痕模式打开