【教程帖】Nginx 防火墙-爬虫防御功能使用

Nginx 防火墙-爬虫防御功能使用  -当前为测试功能，谨慎开启



一、动态加密开启条件
1. 不能安装站点加速插件
2.伪静态中不能存在  if (!-e $request_filename) {return 404;} 设置



二、HTML动态加密开启效果
开启之后网页内的所有内容将会被加密，通过浏览器进行解密。
可以防护一些无脑的爬虫进行爬取内容。也能访问一些基础爬虫。后续会增加到10种随机算法进行加密内容。
效果展示


第一次访问需要进行解密，后续会增加不需要解密页面、或者解密页面自定义的功能。



三、图片水印开启效果



暂只支持png jpg 图片加水印。后续会增加其他后缀名
默认是以网站名称为水印的内容、下个版本会开启自定义文字。
不过性能开销有点大
基准测试的服务器：4核4G  40G
现性能消耗如下：（一张图片只会加水印一次）
1.100KB png 图片 150ms
2.200KB png 图片 200ms
3.300KB png 图片 250ms
4.800KB png 图片 400ms


后续会针对性能做优化。目标是1M的图片在200ms 以内
第一次访问之后会将图片保存在/www/server/btwaf/picture 目录。
第二次访问的时候才会显示水印




四、影响

一、HTML动态加密开启影响
    1. 流量影响：经过测试使用加密之后体积会增加1-3倍。平均算下来大概为1.5倍。也就代表着流量会增加1.5倍。
    2. 打开速度：网页打开速度平均增加1-100ms 网页体积内容也大影响越慢。
    3. 加密的标准:   最大加密的网页大小为1M 最小加密内容为1000个字符串 、非GET请求则需要5000个字符串以上才会触发。如果网页很小则不会触发。
    4. 性能影响：经过测试1核心1G的服务影响性能为百分之3.76

二、图片水印开启影响
    1.图片访问第一次访问的时候会比较慢、第二次则正常


五、建议

1.建议先可以玩玩不要放到线上的业务。
2.后续会增加到10个加密算法、会自动应用某个加密算法。

2024-11-21 1、动态加密 增加自定义跳转文字。。

效果如下：


去除了宝塔的标识，然后显示自定义的内容。


2、水印增加自定义文字 （暂不支持中文）




效果如下：

啥时候正式上线