屏蔽华为的搜索引擎爬虫就是这么简单

2,766次阅读
没有评论
分享至:
屏蔽华为的搜索引擎爬虫就是这么简单

开篇寄语

当前近闻Huawei,华为推出了它自己的搜索引擎,与今日头条搜索一样,不务正业,而且十分没有下限,听说已经有好几个站成为受害者了,你猜怎么着?网络爬虫到某网站就像是DDos攻击一样,那么惨烈,借用一位博主的分享,咱们来屏蔽华为搜索引擎的爬虫爬取。

原文来源

  • https://seo.g2soft.net/2020/08/24/stop-aspiegelbot-petalbot.html

操作方法

根据 Hyypernode.com 主机商的情况报导,华为的搜索引擎蜘蛛对他们的用户的影响,很多人抱怨,机器人淹没了他们的网站,在线服务因被 AspiegelBot 的流量淹没而无法使用。

屏蔽爬虫一般是从robot.txt和在 nginx 配置中禁用。

从robot.txt请输入以下文字:

User-agent: PetalBot
Disallow: /

nginx配置中禁止

在配置文件中,加上一段禁用 IP 地址。

deny 114.119.160.251;

对于不遵守规范的搜索引擎就该被禁止爬取,呸呸呸。

正文完
 0
评论(没有评论)