WAF乱拦,怎么办啊

108.162.221.138 [2017-08-30 09:02:18] "UA **********/robots.txt" "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "(UC|Maxthon|TencentTraveler|TBS|QQ|TIM|LBB|360||Baidu|soso|sougou|Yodao|HaoSou|Yisouspider|HTTrack|Go-http-client|Apache-HttpClient|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf|bench| SF/)"
172.68.10.168 [2017-08-30 02:44:34] "UA **********/robots.txt" "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "(UC|Maxthon|TencentTraveler|TBS|QQ|TIM|LBB|360||Baidu|soso|sougou|Yodao|HaoSou|Yisouspider|HTTrack|Go-http-client|Apache-HttpClient|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf|bench| SF/)"
现在谷歌和Yandex抓取都会变成上面这样,只有必应能抓了,怎么办啊

阿宇 · 发表于 2017-8-31 11:06:15

关闭waf啊

█ 菠萝云-免费装宝塔,4G内存68 █	█ 易探云·香港/美国vps仅9元 █	▅▆▇ 慈云数据-服务器9.9/月 ▇▆▅	█香港站群新年大促█ 免费试用 █	【多途云】高防CDN
高防服务器，无视一切流量攻击	A7招租，联系qq394030111	OV/EV SSL证书，可当日签发	【阿里云】宝塔一键部署，5.5折	宝塔一键部署DV,EV,OV,SSL证书
█ 易探云·高防云4核8G仅88元 █	A12招租，联系qq394030111	A13招租，联系qq394030111	【阿里云】2核2G，3M，45.1元/年	在线网站测速、批量PING运维工具