「Kafka 头号"刺客"现身」:Cloudflare K2 开放公测,Serverless 事件流杀入数据基建腹地

背景:被 Kafka 统治的十年,与 Serverless 的缺席
事件流是现代数据架构的神经系统:电商下一单,要同时触发风控、数据分析、消息通知;IoT 设备每秒上报遥测;AI 智能体的每一步动作都要被记录、回放、审计。过去十年,这个位置几乎被 Apache Kafka 垄断。
Kafka 强,但运维重:分区、副本、ISR、rebalance,一套生产级集群养下来需要专职团队伺候;云托管(MSK、Confluent Cloud)又贵得让中小团队肉疼。Serverless 化了计算(Lambda、Workers)、数据库(Neon、PlanetScale)、对象存储(R2),唯独"事件流"这块高地,始终没有真正的 Serverless 原生玩家——直到昨天。
事件:K2 公测,Cloudflare 把日志建在了对象存储上
10 月 1 日,Cloudflare 官宣 K2 进入 public beta。这是 Cloudflare 开发者平台上的一个 durable event streaming primitive:你往 K2 stream 里写事件,它存成一条有序日志;消费者可以分片并行读(read parallelism),也可以每个消费者全量订阅(pub/sub 模式),两种模式还能混搭。
技术上最有意思的一点:K2 并没有自己造一套分布式存储,而是把"分区 durable log"直接建在了自家 R2 对象存储之上。对象存储有 11 个 9 的持久性和强一致 API,把复制和共识甩给存储层,应用层(K2)就可以做得极简、便宜、高性能,还天然存算分离、各自独立扩容。对象存储不支持 append(日志的标准操作),Cloudflare 的解法是:先在边缘服务内存里攒一批,攒够一个 segment file 一次性写入,再用 R2 的原子操作实现有序且严格递增的 offset,不需要额外的协调服务。
代价是写入延迟:对象存储写入比本地磁盘慢,还要等本地 batch 攒满,首版 K2 的 produce 延迟 p99 约 1 秒。Cloudflare 自己承认这是 trade-off,并预告了后续的 Express tier 来压低延迟。
计费方面,公测期免费,正式计费后预计:写入 0.04 美元/GB,读取 0.04 美元/GB,留存 0.02 美元/GB/月。公测限制:单账号最多 10GB 存储、每条 stream 30MB/s 写入。
定位上,Cloudflare 明确区分了自家三件套:Queues 面向"单个耗时任务"的异步执行(重试、延迟、死信队列);K2 面向高吞吐数据搬运、长期留存和扇出消费,消息按 batch 处理;Basin Pipelines 则是 serverless ingestion 服务,终点是写 R2 或 Iceberg 表。K2 最初就是为 Basin Pipelines 造的 ingestion 缓冲层——Cloudflare 自己的边缘跑不了 Kafka(335+ 城市、机器切片小且易失、跨公网传输),只好重新发明轮子。
路线图已经画好:multi-GB/s 级写入并行度、message key 与 key 级有序保证、push 式 Worker 消费者、Express 低延迟 tier,以及——对 Apache Kafka 客户端的 drop-in 兼容。Hacker News 上这条官宣拿下 130+ 点、近 50 条评论,开发者社区反响热烈。

分析:Serverless 化的最后一块拼图,为什么是现在
第一,对象存储造日志,是"存算分离"思潮的又一次胜利。WarpcStream 等新贵已经证明了这条路走得通;Cloudflare 的版本更进一步,直接复用 R2 的 11 个 9,连 ZooKeeper/KRaft 那套协调都省了。架构越简单,故障域越小。
第二,定价模型在"偷袭"Confluent。0.04 美元/GB 的读写加 0.02 美元/GB/月的留存,配合 Cloudflare 招牌的零 egress 费,对日志这种"写一次、读 N 次、存很久"的工作负载极其友好。长期留存(long-term retention)正是 K2 主打的差异点:消费者宕机几周,数据不丢,回来接着读。
第三,Kafka 客户端兼容是阳谋。一旦 drop-in 支持落地,存量 Kafka 工作负载可以零改代码迁移——这是当年 S3 兼容接口(R2、MinIO)用过的老剧本,屡试不爽。
第四,与 Basin GA 打配合。同一天,Cloudflare 还宣布数据平台 Basin 正式 GA(Pipelines、Catalog、SQL 三件套),Anomaly(开源 AI 编程智能体 OpenCode 背后的公司)已经把整条数据管线从 AWS S3+Athena 搬了过去。K2(流)+ Basin(存/查)= 一套完整的 serverless 数据栈,Cloudflare 的开发者平台拼图正在闭环。
风险也有:1 秒的 p99 写入延迟,实时风控、交易撮合这类场景现阶段不用考虑;公测 10GB/30MB/s 的上限说明 multi-GB/s 还在路上;以及 Serverless 的老问题——用量计费在大规模下可能反超自建,精打细算的团队得自己算账。

展望:事件流正在变成"水电煤"
K2 的象征意义大于产品本身:计算、存储、数据库之后,"流"这块最后的硬骨头也被 serverless 化了。未来三到五年,事件流很可能像对象存储一样变成按量付费的水电煤——你不再需要为"可能到来的峰值"提前买好 Kafka 集群。
对开发者的直接启示:如果你正在用 Cloudflare Workers 构建应用,K2 是第一款"边缘原生"的事件流,不用再为了一条日志管线去维护一套 Kafka;如果你在选型,Kafka 客户端兼容落地之日,就是可以认真做 PoC 对比之时。
一句话:Kafka 不会被 K2 一夜取代,但"运维 Kafka"这件事,正在从必修课变成选修课。
Comments
…

















AI 生成示意图:中央计算芯片以激光光束连接周围的内存芯片——Volantis 的「光互连」愿景。
AI 生成示意图:微型 VCSEL 激光器阵列——这项 iPhone 人脸识别同源技术,如今被用来连接 AI 芯片与内存。
AI 生成示意图:未来的 AI 数据中心——中央处理器与数百颗内存模块以光束织成网络。




