当前位置:论坛首页 > Linux面板 > 求助

【待反馈linux面板apache多个网站如何一键禁止垃圾蜘蛛访问

发表在 Linux面板2024-3-20 12:20 [复制链接] 8 1533

为了能快速了解并处理您的问题,请提供以下基础信息:
面板、插件版本:8.0.5
系统版本:cent7
问题描述:
1.Linux面板
2.Apache环境
3.一台服务器上100多个网站
4.垃圾蜘蛛:AhrefsBot、MJ12bot、dotbot、SemrushBot
怎么设置Apache,让这台服务器上的100多个网站都禁止这些垃圾蜘蛛爬取?PS:可别一个一个的网站设置,这样太麻烦了,感谢管理员给予解答!
相关截图(日志、错误):

使用道具 举报 只看该作者 回复
发表于 2024-3-20 12:58:33 | 显示全部楼层
nginx有防火墙设置垃圾爬虫UA 另外可以开启人机校验:但是要自己收集一些 正常的搜索引擎蜘蛛IP段。宝塔也自带的有
使用道具 举报 回复 支持 反对
发表于 2024-3-20 14:15:29 | 显示全部楼层
youxinge 发表于 2024-3-20 12:58
nginx有防火墙设置垃圾爬虫UA 另外可以开启人机校验:但是要自己收集一些 正常的搜索引擎蜘蛛IP段。宝塔也 ...

第一:是Apache。第二:宝塔自带的防火墙,是收费滴
使用道具 举报 回复 支持 反对
发表于 2024-3-20 14:30:36 | 显示全部楼层
您好,Apache防火墙中可以将这些蜘蛛UA添加到UA黑名单里。
使用道具 举报 回复 支持 反对
发表于 2024-3-20 14:38:51 | 显示全部楼层
大炮运维V587 发表于 2024-3-20 14:30
您好,Apache防火墙中可以将这些蜘蛛UA添加到UA黑名单里。

8.0.5版本,Apache防火墙貌似没有免费版,你的意思是购买收费版Apache防火墙吗
使用道具 举报 回复 支持 反对
发表于 2024-3-20 16:25:58 | 显示全部楼层
onebutton 发表于 2024-3-20 14:38
8.0.5版本,Apache防火墙貌似没有免费版,你的意思是购买收费版Apache防火墙吗 ...

是的,Apache防火墙不是免费的
使用道具 举报 回复 支持 反对
发表于 2024-3-21 09:14:43 | 显示全部楼层
都做了100多个网站,大佬了,咋还想着用免费的,直接上VIP
使用道具 举报 回复 支持 反对
发表于 2024-3-26 18:30:50 | 显示全部楼层
大炮运维V587 发表于 2024-3-20 16:25
是的,Apache防火墙不是免费的

已经购买Linux专业版,请问UA规则怎么添加
使用道具 举报 回复 支持 反对
发表于 2024-4-18 16:54:42 | 显示全部楼层
onebutton 发表于 2024-3-26 18:30
已经购买Linux专业版,请问UA规则怎么添加

参考下面帖子
https://www.bt.cn/bbs/thread-13647-1-1.html
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析
快速回复 返回顶部 返回列表