taller1980 发表于 2021-10-17 07:33:46

【已记录】建议增加爬虫规则 user agent

越来越多的爬虫没有下限的抓取网站，而宝塔在这方面的规则是不够用的。

指望用户自己去搜集爬虫规则 user agent 是不理想的，每个人能力水平不同，搞不好还弄巧成拙。

宝塔能否在屏蔽爬虫 user agent 这方面做相应更新？

1、毕竟常见爬虫的 UA 特征还是比较明显的。

2、国外一些数据公司的蜘蛛也在肆无忌惮的抓取全网数据，官方能否考虑增加这方面的屏蔽规则？

堡塔技术阿宏 发表于 2021-10-17 10:27:16

您好，此建议已经记录，已经反馈给对应开发讨论。
感谢宝贵建议。

weincheng 发表于 2021-10-26 18:38:30

支持。非常需要。

堡塔技术阿宏 发表于 2021-10-26 19:03:22

weincheng 发表于 2021-10-26 18:38
支持。非常需要。

感谢宝贵建议
页: [1]
查看完整版本: 【已记录】建议增加爬虫规则 user agent