宝塔技术-小强 发表于 2024-7-16 14:31:12

Nginx防火墙-假蜘蛛拦截

Nginx防火墙-假蜘蛛拦截


这个不是实时去拦截的、需要这个IP访问过来。60秒后会自动查询dns记录、查询完之后再一次访问就会拦截。

如果实时查询的话会阻塞这个请求。那么会导致这个请求会很慢。



2024-07-16 16:52 更新了一个功能、伪造的假蜘蛛拦截



一旦识别为假蜘蛛就会直接封锁IP、


例如这个IP 116.196.115.84 使用了BaiduSpider。


但是通过IP查询是没任何信息的。




需要注意的点:如果开启了CDN 。就一定要把CDN的选项打开。不然真正的蜘蛛会被拦截的。


如果不把CDN 选项点开。获取的IP是CDN的IP、然后使用的UA为
蜘蛛的UA 这个时候会直接封锁CDN的IP 、就会导致访问不了



对于真假蜘蛛如何鉴别

一、百度蜘蛛
Windows cmd 中执行 nslookup 后面跟IP
例如:nslookup116.179.32.192



如果出现baiduspider那为真蜘蛛


二、谷歌蜘蛛

nslookup34.100.182.103


出现 googlebot 就代表为真蜘蛛

三、搜狗蜘蛛

nslookup 223.109.252.246




出现sogouspider为真蜘蛛


四、必应蜘蛛

nslookup 40.77.177.83


出现.search.msn.com 为真蜘蛛



五、头条蜘蛛
nslookup 110.249.201.2



出现bytespider 为真蜘蛛


六、神马蜘蛛

nslookup 42.120.160.119




出现shenmaspider 为真蜘蛛。


需要反馈和提出你的建议可以加群













宝塔技术-小强 发表于 2024-7-16 16:56:42

注意的点:这个不是实时去拦截的、需要这个IP访问过来。60秒后会自动查询dns记录、查询完之后再一次访问就会拦截。

需要注意的点:如果开启了CDN 。就一定要把CDN的选项打开。不然真正的蜘蛛会被拦截的。


如果对于拦截的假蜘蛛的IP有疑惑。可以自行使用nslookup 进行查询是否为假蜘蛛。


测试一天的效果


总共拦截1347 次。



我真的是小白 发表于 2024-7-21 09:56:23

我前几天回复的“防火墙没有拦截假蜘蛛选项”的帖子被删除了?

宝塔技术-小强 发表于 2024-7-22 14:27:40

我真的是小白 发表于 2024-7-21 09:56
我前几天回复的“防火墙没有拦截假蜘蛛选项”的帖子被删除了?

更新就有啊。

我真的是小白 发表于 2024-7-22 19:00:11

宝塔技术-小强 发表于 2024-7-22 14:27
更新就有啊。

我已经更新N次了都还没有,真的

youxinge 发表于 2024-7-23 02:06:50

宝塔防火墙 强的可怕

youxinge 发表于 2024-7-23 02:10:20

测速网 特征和除了国内知名搜索引擎的 其他全干掉
能不能增加 像那些小服务器2核心到4核心 被人家一测速直接宕机 CPU爆满
我看 知名的 Cloudflare   就具备这样的能力

宝塔技术-小强 发表于 2024-7-23 12:03:16

我真的是小白 发表于 2024-7-22 19:00
我已经更新N次了都还没有,真的


更新之后。用无痕模式打开。

要版本是9.4.89.4.9 这两个版本才有

我真的是小白 发表于 2024-7-23 20:53:06

宝塔技术-小强 发表于 2024-7-23 12:03
更新之后。用无痕模式打开。

要版本是9.4.89.4.9 这两个版本才有

你好,我更新之后的就是9.4.8版本,就是没有“假蜘蛛”这一选项。我更新、修复好几次了都没有用。

宝塔技术-小强 发表于 2024-7-24 13:58:09

我真的是小白 发表于 2024-7-23 20:53
你好,我更新之后的就是9.4.8版本,就是没有“假蜘蛛”这一选项。我更新、修复好几次了都没有用。 ...

那就更新到9.4.9 用无痕模式打开

北京星风传媒 发表于 2025-3-4 14:48:31

我真的是小白 发表于 2024-7-23 20:53
你好,我更新之后的就是9.4.8版本,就是没有“假蜘蛛”这一选项。我更新、修复好几次了都没有用。 ...

新版界面里,左侧栏WAF点开,网站防护一栏内,从APP界面点进去的老版界面没有这个假蜘蛛
页: [1]
查看完整版本: Nginx防火墙-假蜘蛛拦截