屏蔽华为的搜索引擎爬虫就是这么简单

百度已收录   阅读次数: 136
2020-09-1210:22:04 发表评论
摘要

当前近闻Huawei,华为推出了它自己的搜索引擎,与今日头条搜索一样,不务正业,而且十分没有下限,听说已经有好几个站成为受害者了,你猜怎么着?网络爬虫到某网站就像是DDos攻击一样,那么惨烈,借用一位博主的分享,咱们来屏蔽华为搜索引擎的爬虫爬取……

屏蔽华为的搜索引擎爬虫就是这么简单

开篇寄语

当前近闻Huawei,华为推出了它自己的搜索引擎,与今日头条搜索一样,不务正业,而且十分没有下限,听说已经有好几个站成为受害者了,你猜怎么着?网络爬虫到某网站就像是DDos攻击一样,那么惨烈,借用一位博主的分享,咱们来屏蔽华为搜索引擎的爬虫爬取。

原文来源

  • https://seo.g2soft.net/2020/08/24/stop-aspiegelbot-petalbot.html

操作方法

根据 Hyypernode.com 主机商的情况报导,华为的搜索引擎蜘蛛对他们的用户的影响,很多人抱怨,机器人淹没了他们的网站,在线服务因被 AspiegelBot 的流量淹没而无法使用。

屏蔽爬虫一般是从robot.txt和在 nginx 配置中禁用。

从robot.txt请输入以下文字:

User-agent: PetalBot
Disallow: /

nginx配置中禁止

在配置文件中,加上一段禁用 IP 地址。

deny 114.119.160.251;

对于不遵守规范的搜索引擎就该被禁止爬取,呸呸呸。

分享至:
  • 我的微信
  • 微信扫一扫加好友
  • weinxin
  • 我的微信公众号
  • 扫描关注公众号
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: