屏蔽华为的搜索引擎爬虫就是这么简单

开篇寄语

当前近闻Huawei，华为推出了它自己的搜索引擎，与今日头条搜索一样，不务正业，而且十分没有下限，听说已经有好几个站成为受害者了，你猜怎么着？网络爬虫到某网站就像是DDos攻击一样，那么惨烈，借用一位博主的分享，咱们来屏蔽华为搜索引擎的爬虫爬取。

原文来源

• https://seo.g2soft.net/2020/08/24/stop-aspiegelbot-petalbot.html

操作方法

根据 Hyypernode.com 主机商的情况报导，华为的搜索引擎蜘蛛对他们的用户的影响，很多人抱怨，机器人淹没了他们的网站，在线服务因被 AspiegelBot 的流量淹没而无法使用。

屏蔽爬虫一般是从robot.txt和在 nginx 配置中禁用。

从robot.txt请输入以下文字：

User-agent: PetalBot
Disallow: /

nginx配置中禁止

在配置文件中，加上一段禁用 IP 地址。

deny 114.119.160.251;

对于不遵守规范的搜索引擎就该被禁止爬取，呸呸呸。