当前位置:论坛首页 > Linux面板 > 讨论

【已完成】宝塔防火墙如何设置指定UA拦截指定规则的URL

发表在 Linux面板2023-12-6 12:31 [复制链接] 2 2702

宝塔防火墙如何设置指定UA拦截指定规则的URL?
比如最进某个搜索引擎抽风,蜘蛛过来爬的时候都要带查询参数(?hfsdj)之类的,我该如何使用宝塔防火墙进行屏蔽?若是直接屏蔽UA,则搜索引擎所有页面都爬不了了。

而这个搜索引起也不遵守robots.txt文件,明明该目录已经禁止,他仍旧在爬……
使用道具 举报 只看该作者 回复
发表于 2023-12-6 14:19:29 | 显示全部楼层
您好,如果是UA黑名单禁止爬虫,通常是直接禁止蜘蛛名称的,例如是bing/bot,则会直接禁止bing/bot
只要访问连接内存在bing/bot则会直接拦截的,其他蜘蛛是不会受影响的。
使用道具 举报 回复 支持 反对
发表于 2023-12-13 10:44:39 | 显示全部楼层
您好,由于您的帖子长时间未回复,这边将帖子状态修改已完成,如您当前问题未解决,您可以重新在帖子内回复或者重新发帖子反馈,如是有新问题您可以重新发帖子反馈。
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析
快速回复 返回顶部 返回列表