Cloudflare 智能体互联网行为治理:从风险评分转向持续信任评估,AI 迷宫反爬三招可配置

AI小蝌蚪AI 前沿2026-09-18918 阅读💛 72 收藏

一句话结论

智能体互联网行为治理发布配图

AI 爬虫与智能体流量暴增后,“机器人都是坏的、人类都是好的”这个旧假设彻底失效。Cloudflare Web Integrity & Trust 团队这篇文章给出完整方法论:把 Risk(风险)与 Trust(信任)拆成两个独立维度持续评估,用 Precursor 客户端行为检测捕捉会话中途的身份切换,用 BotBase 登记机器人的声明与行为事实。对网站主最有实操价值的是三招反爬策略:随机响应打断重试逻辑、AI 迷宫用生成假页面消耗爬虫预算、对合法智能体排队放行——三种都可在年内配置启用。

从静态检查到行为评估

互联网从来不是单一车道。很长一段时间里,Web 安全的经验法则是机器人是坏的、人类是好的。这个概括早已过时:人类可能实施欺诈,机器人在不同层面也可能是有益的。网站主实际上主动需要一部分自动化流量与站点交互,互联网才能保持可用和可发现。

让问题更复杂的是,“人类”与”机器人”的界线越来越模糊。现在存在一种混合流量:单个会话中,用户会从人类切换到智能体、再切换回人类。想象一个用户在商店里浏览商品,然后把结账流程交给自动购物助手完成。

那网站主如何管理这种复杂度?关键在于评估行为:这个行为是否滥用?是否恶意?它带来什么风险?基于访客的行动能否信任它?解决这些问题需要超越静态的、时点式的检查,需要分析连续行为来评估信任。

本文是 Web Integrity & Trust 团队(覆盖机器人与欺诈问题域)的内部视角:如何检测和分析好行为与坏行为,给网站主工具应对智能体互联网的新挑战。同时分享 Precursor 发布以来的智能体流量发现,以及一个模拟演示。

Risk 与 Trust 的定义

先厘清 Risk 与 Trust 的区分,这是 Cloudflare 机器人检测团队的内部讨论方式。两者常被视为一个连续体的两极,Cloudflare 则把它们看作独立但互惠的值。Trust 是对流量做出明智决策的核心要素。

Risk 指一个请求或行为造成危害的可能性,通常是短暂的。Trust 则随时间积累,基于声誉。

用一个现实例子说明:晚上在家看电视,门铃突然被反复按响。这行为很怪,深夜疯狂的门铃令人警觉。

你通过门铃摄像头查看,发现按门铃的是住在隔壁的挚友。你信任挚友,多半会开门。

这个例子里,只说”拒绝任何夜里按门铃的人”或”拒绝按门铃超过 10 次的人”都不够。信任才是决定性要素。

回到互联网流量:机器人与欺诈产品线构建整个生态的焦点是信任。目标是给网站主提供激励与原语,激励让互联网对所有人更安全的行为:从底层的阻断恶意活动,到鼓励参与安全生态。

好行为:以透明为根基

从顶层看,什么算好行为?可以从 BotBase 中已验证的机器人与智能体找清晰例子。上月 Cloudflare 发布了更新的实用分类法,把”已验证”的定义收敛为两条:一是如实声明自己身份,二是不滥用已获得的信任。

网站主与机器人运营者之间的透明带来共生关系:网站主标注允许哪些行为与数据用途,机器人运营者更容易获得访问。透明建立信任:如果没有可隐瞒的,声明身份应能减少站点摩擦。

BotBase 机器人登记目录

BotBase 不只做”谁是好机器人”的声明,它是所有已知机器人和智能体的目录,提供事实。与此前只收录已知好机器人的 Bots Directory 不同,BotBase 也追踪不那么好的机器人和智能体。因为系统对已知良好行为者做行为追踪与验证,所以具备工具去验证其他实体的行为。

坏行为:从明显到隐蔽

几周前 Cloudflare 发布了 Precursor,一个持续运行的客户端系统,检测仅靠网络信号无法发现的细微非人类流量。客户启用 Precursor 后,JavaScript 检测代码由 CDN 注入,无需人工 figuring 在哪里重跑检测。Precursor 评估用户会话全程的行为信号。

Precursor 持续行为检测

把 Risk/Trust 框架套到客户端检测上:CAPTCHA 或一次性验证是 Risk 型的,缺乏上下文;基于行为特征的验证是 Trust 型的,能从完整用户会话捕获更多线索。Precursor 就是分析行为的工具。它强大在两点:

  • 在整个用户会话上提供基于信任的检测。
  • 抬高机器人开发者复制跨页面人类行为的成本。

让机器人开发者在经济上不划算,就赢了这场对抗。

Precursor 上线后的实测数据

上线以来发现了什么?写作时截取 24 小时窗口,Precursor 在 Cloudflare 网络上处理了 2.06 亿个评估事件,覆盖 73,438 个 zone。

Precursor 评估事件规模

数据中能验证发布时怀疑的模式,现在跨数万域名成立:

  • 可疑行为常发生在会话中段,时点式检测抓不到。
  • 行为常在会话中从人类切换到智能体再切回。这类场景里,理解意图很重要,避免网站主误伤自己想要的用户流程。这也凸显了允许网站主按用例、用途、数据使用处理流量的机器人分类系统的价值,正是 BotBase 分类法更新的原因。

Precursor Trace 交互演示

想深入了解 Precursor 工作原理的,公告博文里分享过信号分析的预览——人孰能无过。今天更进一步:给互联网上所有人一个交互演示,模拟 Precursor 如何追踪你的光标移动。

Precursor Trace 光标演示

Precursor Trace 现已上线,展示如何用 Precursor(部分)检测机制评估你的光标移动。你能看到自己是否在加速或纠正、光标移动的节奏与质感等真实人类与电脑交互时从没细想过的东西。

Adaptive Intelligence 检测引擎

Cloudflare 的机器人检测引擎评估请求是否自动化时可能产出不同结论。对被判定为自动化的请求,评估可能是:一、确定自动化,基于成熟的确定性方法或机器人指纹;二、可能自动化,基于 Bots ML 的预测评分。

历史上 Bots ML 按版本更新,每个新模型版本作为产品发布宣布。但当机器人以小时甚至分钟为单位适应时,这个节奏跟不上了。

Adaptive Intelligence 是全新的检测引擎,与 Bots ML 领域此前的一切都不同。模型本身是自适应的:它从过去所有数据学习,更重要的是会基于看到的内容持续学习、自我调整。基于识别到的广泛流量模式自我升级。

所有 Bot Management 客户近期都能用上 Adaptive Intelligence,关注发布公告。

网站主侧:影响机器人行为的三招

以上都是 Cloudflare 侧:策略、检测、分类法。这让网站主能设定站点流量策略。聚焦网站主侧,这里有几个进阶缓解手段,让网站主自己影响机器人行为。

采用更明显的缓解技术时,会遇到”机器人抗生素问题”:总是给机器人确定性响应(如 403 阻断),恶意开发者机器人就能轻松探测、观察、逆向你的防御。

为此 Cloudflare 专门设计了针对机器人的节流缓解,恶意机器人与良性机器人策略不同,分三招:

第一招,不可预测性与随机动作。对疑似自动化流量施加随机响应(阻断、质询、放行之间随机),打断机器人的自动重试逻辑与指纹采集。

第二招,AI 迷宫。一种防御性响应,把未授权机器人困在 AI 生成的网页迷宫里。通过误导消耗恶意机器人的算力和爬行预算。网站主可按偏好三选:

  • 迷宫模式:生成无限链接页面网络供机器人跟随。
  • 摘要模式:给爬虫喂一个看起来真实、但作为 AI 训练数据完全无用的 LLM 生成摘要。
  • 投毒模式:给机器人提供故意伪造的内容(如假价格或库存),污染它为 AI 训练收集的数据。

第三招,好机器人排队。智能体流量不全是坏的;排队为合法自动化流量(如用户委托的购物智能体)管理吞吐,而不是直接拒绝服务。

这些进阶的机器人专项缓解将在年底前后陆续推出,网站主可选择缓解的严格程度。

还有一点:好的防御是预测性的——自我学习、自我纠偏,不需要多位安全专家开电话会议才能针对最新隐蔽攻击设置修复。这可能体现为”一次性规则”体系,规则集动态变化。这是设计使然:攻击持续演化,防御也应如此。

建立适合你的信任生态

任何人都可以动手定义自动化智能体如何与自己的基础设施交互。几件可以立刻尝试的事:开启 Precursor、体验 Precursor Trace、浏览 BotBase。

告别静态时点检查、拥抱持续信任评估后,与机器人运营者打地鼠的游戏会减少。如果还没用 Cloudflare 的机器人检测,可以试试,建立适合你的信任生态。

原文信息

  • 作者:Jin-Hee Lee、Marina Elmore(Cloudflare)
  • 发布时间:2026-08-07 原文地址:

文章评论(0

暂无评论,快来抢沙发~