个性化阅读
专注于IT技术分析

如何使用Cloudflare防火墙阻止Bot?

点击下载

从抓取工具和漫游器中收到大量请求, 这对你的业务没有增值作用吗?

每天有成千上万的爬虫/漫游器访问你的站点, 但很少有帮助。其中一些被认为是恶意机器人或垃圾邮件。

你如何知道所有机器人都在访问你的网站?

好吧, 没有简单的答案。要找出答案, 你需要查看你的Web服务器access.log文件, 并查找”用户代理”列。假设你要列出除Googlebot以外的所有bot, 然后可以在存在access.log文件的Web服务器上运行以下命令。

grep bot access.log |grep -v Googlebot

看到这么多, 你感到惊讶吗?

当我检查日志时, 我也是。

[email protected]:nginx# grep bot access.log |grep -v Googlebot | wc -l
616834
[email protected]:nginx#

在阻止任何内容之前, 你需要检查它们以确保你没有阻止, 这可能是你的业务所必需的。而且, 有很多方法可以做到这一点, 但是我总是喜欢在边缘将其阻止。

原因很简单-当你根本不需要这些请求时, 为什么要让它们访问Web服务器。

像标题一样, 让我们​​了解如何使用Cloudflare防火墙阻止你不需要的漫游器。

注意:如果你正在运营大型企业业务, 则可能对Cloudflare机器人管理服务感兴趣。

  • 登录到Cloudflare
  • 转到防火墙选项卡, 然后防火墙规则并创建防火墙规则
如何使用Cloudflare防火墙阻止Bot?2
  • 输入规则名称
  • 选择”字段”作为”用户代理”, “运算符”作为”包含”, 并选择”值”作为你要阻止的机器人名称
  • 使用或条件在单个规则中添加多个机器人
如何使用Cloudflare防火墙阻止Bot?4

注意:上图中提到的机器人仅用于说明。没必要, 它们是坏机器人。

  • 然后选择动作作为阻止并部署
  • 如果你知道该表达式, 则也可以通过单击”编辑表达式”而不是遵循GUI来编写它。部署后, 你应该在列表中看到新创建的规则, 并且状态应该为ON以生效。
如何使用Cloudflare防火墙阻止Bot?6

很简单, 不是吗?

你还可以使用防火墙规则做什么?

好吧, 还有更多更多可以提供更好的安全性。让我们看看以下封锁条件。

  • 如果请求来自特定的ASN, 则IP地址
  • 匹配Cookie, 引荐来源网址, X转发关键字
  • 限制向全国提供服务的请求
  • 禁用不需要的HTTP方法, 例如PUT, DELETE, OPTIONS, PURGE等。

还有更多选择…

你可以通过GUI构建器执行所有操作, 也可以编写你的表达式。应用更改几乎是即时的。

总结

Cloudflare防火墙规则是一种在不停机的情况下为网络边缘的Web应用程序添加保护的好方法。如果还没有, 你可能还需要考虑使用Cloud WAF以获得更好的应用程序安全性和DDoS和其他在线漏洞的保护。

赞(0)
未经允许不得转载:srcmini » 如何使用Cloudflare防火墙阻止Bot?

评论 抢沙发

评论前必须登录!