超50%的互联网流量不再是人类:Cloudflare的8月发布潮,与个人开发者现在该做的三件事

源自37位全网作者

15:36

反超点已经来了,而且比所有人预测的都早。

Cloudflare 在 7 月发布的代理互联网机器人流量报告里官方确认:This year, agent traffic crossed a historic threshold for the first time: more than 50% of traffic on the Internet is now non-human——互联网流量里,超过一半已经不再是人类发出的。Cloudflare官网这个反超点其实比官方预期的更早:6 月初,Cloudflare Radar数据显示Bot现在占全球所有指向HTML页面的HTTP请求的57.5%,人类流量降至 42.5%,而 Cloudflare 原本预计这一里程碑要到 2027 年才会出现,AI 代理的爆发把节点整整提前了一年。微博

超50%的互联网流量不再是人类:Cloudflare的8月发布潮,与个人开发者现在该做的三件事

先看一眼流量的构成,变化比占比本身更剧烈。截至今年 6 月,52% 的爬虫请求已经用于 AI 训练,而 2025 年春天这个数字还只有 22%。Cloudflare官网另一大类是业内说的「一鱼多吃」混合爬虫——同一个爬虫既用来建立搜索索引,又用来训练AI大模型。知乎对站长来说这才是最麻烦的地方:你根本分不清进来的爬虫是帮你提升搜索可见度的,还是来白嫖内容喂模型的。

口径本身也要说清楚。Cloudflare 的网络背后是全球超过 20% 的网站,全球访问量最高的网站里有 36% 跑在它的网络上,样本量大到足以说明趋势。Cloudflare官网但别忘了它自己就是卖 CDN 和安全服务的,流量越大它赚得越多,这份出自最大受益方的数据,听的时候留个心眼没坏处。

为什么和你有关:广告模式正在被釜底抽薪

这个数字之所以值得在意,是因为今天互联网的变现模式,几乎全部建立在「人会看到广告、会点广告」的前提上。Prince 的判断很直白:机器人不会点击广告,互联网的广告商业模式面临根本性挑战,而且他预计五年后机器人流量将达到人类流量的 1000 倍。微博这不是某家媒体的渲染,马斯克不但认同这个趋势,甚至直接就说了,未来如果Agent流量远超人类,星链将吃掉其中90%以上的流量。知乎基建巨头们显然没把这件事当玩笑。

Cloudflare 的 8 月发布潮:从保安到收银员

动作最大的是 Cloudflare 自己。互联网最大的「保安」,现在要当最大的「收银员」了。36氪把它 8 月的发布连起来看,是一套完整的 Agent 基建:

  • 8 月 6 日,Kitesurf:一个专门给 AI Agent 用的浏览器,Rust 从零写就、编译成 Wasm 跑在 Workers 上,通过了超过 21.5 万个 Web Platform Tests 兼容性测试,Cloudflare 甚至拿它跑通了 Doom;

  • 8 月 20 日,Cloudflare OS 正式开源:面向企业的智能体工作平台;

  • 8 月 21 日,Billable Usage API:按量计费产品的成本数据从此可以程序化拉取;

  • 8 月 24 日,Cloudflare Wallets 智能体钱包和 x402 支付协议:让网站按请求向 Agent 收稳定币、在边缘结算,已有超过 20 家公司接入这条流程。

其中 Cloudflare OS 值得多看一眼。官方表态是任何组织都可以部署它,将其与内部系统相连,并打造属于自己的专属系统。知乎它不是又一个聊天框,而是集成了智能体会话、持久化状态、隔离运行时和企业上下文技能库的完整工作平台,Cloudflare 内部从 5 月起就让全员拿它创建文档、自动化重复任务、搭小型应用。

超50%的互联网流量不再是人类:Cloudflare的8月发布潮,与个人开发者现在该做的三件事

其实铺垫更早。7 月 8 日,Cloudflare 与 OpenAI 宣布启动一项研究试点项目,探索如何利用 Cloudflare 全球网络的网站洞察数据,帮助 AI 搜索引擎更高效地在开放网络上发现并索引相关内容。界面新闻把这套组合连起来,意图很清楚:浏览器解决 Agent 怎么上网,钱包和 x402 解决怎么收钱,Billable Usage 解决怎么查账,Cloudflare OS 想做上层操作系统,爬虫三通道规则决定谁有资格进来。收保护费的保安,正在变成设卡收费的房东。

Kitesurf:浏览器不是给人用的,省钱是真的

为什么要重造浏览器,而不是给 Chromium 套个壳?因为传统浏览器是给人设计的:标签页、主题皮肤、插件市场、60 帧丝滑滚动,Agent 一样都不需要。Agent 在乎的是机器可读的内容、低 token 开销、横向扩展,以及账单;人用浏览器怕弹窗广告和跟踪脚本,Agent 用浏览器怕的是网页里藏一句「忽略之前指令」的提示注入和工具被滥用——安全设计的优先级天然不同。所以 Kitesurf 的设计假设是每一个打开的页面都是「不可信的输入」,每个页面都被关进独立的隔离沙箱,跑挂了直接杀掉重来,绝不让一个坏页面拖垮整个会话。

对跑 Agent 的开发者来说,它带来的降本非常实际:Kitesurf 说 Chrome DevTools Protocol,意味着你现有的Playwright/Puppeteer脚本几乎不用改。一行endpoint改动,成本砍3到7倍。知乎如果你手上同时跑着好几个 Agent、每月账单是四位数美元,这可能是这个 8 月最值得试的免费功能。

超50%的互联网流量不再是人类:Cloudflare的8月发布潮,与个人开发者现在该做的三件事

个人开发者现在就能做的三件事

人类不会从互联网上消失。只是从今往后,我们不再是唯一的付费用户。36氪与其盯着占比焦虑,不如做三件实际的事:

  1. 查自己站的机器人占比。免费套餐在后台 Security → Bots 里就能看到 Bot 流量比例和类型分布,这个数已经很高的话,后面两件事直接关系到你的收益和成本。

  2. 在 9 月 15 日之前想清楚对 AI 爬虫的态度。那天 Cloudflare 新政生效:AI 流量会被拆成 Search(搜索索引)、Agent(智能代理)、Training(模型训练)三个独立通道,每个通道都可以单独设置允许或屏蔽。知乎带广告的个人站尤其注意——9 月 15 日之后,混合用途爬虫在含广告页面上默认被拦截,不去后台手动放行,原本给你带来搜索曝光的爬虫可能直接消失。不想手动维护 robots.txt 的话,可以打开 Bot Preference Sync:免费客户也能用,Cloudflare 会自动在网站的 robots.txt 文件前面添加各爬虫的策略块,后台改动实时同步。小红书

  3. 在跑 Agent 的,借这波降成本、盯账单。前者就是上面说的,CDP 兼容的 Kitesurf 迁移成本几乎为零;后者用 Billable Usage API,一个端点就能拉到 Workers、R2、D1 等按量计费产品的每日成本明细,字段对齐 FOCUS 开放成本规范,可以直接接进现有的成本告警流程,不用月底对着账单怀疑人生。

超50%的互联网流量不再是人类:Cloudflare的8月发布潮,与个人开发者现在该做的三件事

两个坑要避开

第一个坑:Agent 有钱包了,你就撒手。x402 是按请求计费的,一个写错的循环能在几分钟内刷爆预算。实践者的总结很直接:没有限额+白名单+审计的Agent,第一次「意外账单」会教你做人。知乎人类钱包和 Agent 钱包也必须分开:人类钱包管充值提现,Agent 钱包用独立密钥、只能花不能提,就算密钥泄露,损失上限也只是钱包余额,不是你的全部身家。

第二个坑:把流量数据当圣旨。Cloudflare 在这件事上既是裁判又是运动员,数据天然有放大的动机;社区里也有人提醒,Agent 流量量大但单位价值低,一个爬虫刷你一万次 API,未必比一个真人慢慢逛商品页值钱。决定要不要把站点转向「为机器人服务」之前,看趋势方向就好,别迷信绝对值。

值得继续盯的信号

  • 混合爬虫占比会不会真的降下来。官方承认现在网上超过三分之一的爬虫活动来自无法区分意图的混合爬虫,并承诺在一年内把这个数字打到零。Cloudflare官网如果兑现,「按意图收费」的规则基础才算真正立住。

  • 支付巨头陆续进场。亚马逊AgentCore Payments正式进入GA阶段,可以代替用户直接付钱。36氪支付宝前阵子也上线了agent支付的功能。知乎Agent 付费正在从极客实验变成巨头的真战场。

对个人开发者来说,这不是末日,而是一次新的收费站拔地而起的规则更替。查自己站的机器人占比、在 9 月 15 日前决定让谁爬什么、给 Agent 设好限额和审计——这三件事,不会等你准备好。

内容由AI生成

精选参考来源

1. The Agentic Internet Bot Report: Content Independence Day, one year on

2. 互联网历史上首次,机器人流量正式超过人类流量

3. AI Agent不会点广告,谷歌Meta商业模式怎么办?Cloudflare CEO Matthew Prince 表示

4. Cloudflare 把浏览器拆了重造:这一次,只给 AI 用

5. 隆重推出 Cloudflare OS:面向智能体、应用和工作流的开放平台

6. 隆重推出 Billable Usage API:Cloudflare 的程序化成本可见性

7. Cloudflare给Agent造了浏览器和钱包:AI能自己上网、自己付钱了,无人公司还远吗?

8. Cloudflare新政9月15日生效:AI搜索的"免费午餐"结束了

9. 马斯克赞同 Cloudflare 预测 AI 流量将超人类互联网使用量,这一趋势意味着什么?

10. Cloudflare与OpenAI启动试点项目,拟利用全球网络数据优化AI搜索

11. 赛博菩萨 Cloudflare,AI 爬虫最严厉的父亲

12. 今天,互联网不再只属于人类,Cloudflare实锤机器流量反超

13. 腾讯“测试中”的Agent钱包,被亚马逊抢先了

14. Cloudflare推出robots.txt的AI配置自动化

15. Cloudflare 隆重推出 Billable Usage API

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章