暂无菜单项

Fable 5 手搓 CUDA“超级内核”:2.5 小时跑出 18.71x,AI 开始优化自己的算力底座?

发布于
2
Fable 5 KernelBench-Mega CUDA 超级内核
Fable 5 在 KernelBench-Mega 上的表现,把“AI 写高性能底层代码”从概念讨论推到了更具体的工程现场。

AI 写代码并不新鲜,但 AI 写出接近硬件极限的 CUDA 内核,意义完全不一样。在 KernelBench-Mega 的一项 Kimi-Linear W4A16 混合解码任务中,Fable 5 被报告写出了一个真正的单次启动 CUDA “megakernel”,相对优化 PyTorch 基线取得 18.71x 的速度提升。

这件事值得关注,不只是因为数字漂亮,而是因为它触到了 AI 研发最底层的一个环节:模型能不能自己优化运行自己的算力底座。如果这个方向持续成立,AI 辅助工程会从“写业务代码”继续下沉到编译器、算子、内核和硬件利用率。

做视频网观点:这不是“AI 立刻替代 GPU 工程师”的故事,而是一个更现实也更重要的信号:前沿模型已经开始进入高性能计算的黑盒地带,未来真正稀缺的能力,会变成提出正确优化目标、验证结果正确性、判断方案是否可维护

KernelBench-Mega 到底在测什么?

普通代码基准往往看模型能不能写对函数,或者优化一个孤立算子。KernelBench-Mega 更进一步,它测试的是whole-block megakernels:让 Agent 把一个完整模型计算块尽量融合进一个内核里执行。

这次被讨论最多的任务是 02_kimi_linear_decode,也就是 Kimi-Linear W4A16 混合解码:4-bit 权重、bf16 激活,在解码阶段考验模型对内存、并行、同步和算子融合的综合处理能力。

Fable 5 18.71x 成绩
18.71x 指的是相对优化 PyTorch 基线的解码速度提升,不是简单的“跑分百分比”。
KernelBench-Mega 模型成绩对比
在同一类任务上,Fable 5 的结果高于多个使用 Triton 或多内核方案的前沿模型。

18.71x 之外,真正关键的是“一次启动”

GPU 内核性能里,有一个常被内容创作者忽略的细节:内核启动不是免费的。如果一个推理步骤被拆成很多个小内核,中间就会反复发生调度、同步和等待,吞吐会被这些固定开销吃掉。

Fable 5 的特别之处在于,相关分析显示它在每个 decoded token 的路径里只需要一次 cooperative kernel launch。相比之下,其它高分方案通常要拆成 4 到 14 次内核启动。这个差别不是“写法优雅”这么简单,而是直接关系到 GPU 是否能把时间用在真正计算上。

一句话理解:别人是把一顿饭分十几次端上桌,Fable 5 更像是把整套流程压成一次完整流水线。少一次切换,就少一次等待;对长上下文解码来说,这种节省会被持续放大。

Jack Clark 对 Fable 5 的观点
Jack Clark 在 Import AI 中将这类 GPU 内核能力视为 AI 研发自动化的重要信号。
KernelBench-Mega 任务说明
KernelBench-Mega 关注的是完整计算块融合,而不是单个孤立算子的局部优化。
Fable 5 与其它模型性能结果
在这组公开讨论的结果中,Fable 5 的速度提升达到 18.71x。

为什么上下文越长,优势反而更明显?

按直觉看,解码上下文越长,KV Cache 越大,注意力相关计算和内存压力都会上升,性能应该更难看。但 Fable 5 的方案被报告在更长上下文下仍然保持更强优势:2K、8K、16K 场景里,差距没有被压缩,反而继续拉开。

这背后的核心不是“模型变魔法”,而是内核融合带来的固定开销摊薄,以及 int4 数据路径接近硬件内存带宽上限。当任务压力越大,能减少中间落地、同步和重复启动的方案越容易体现价值。

上下文长度与速度提升
长上下文会放大解码瓶颈,也会放大高质量内核融合带来的优势。

2.5 小时和 55 万 token,说明了什么?

更值得工程团队关注的,是 Fable 5 的优化过程。根据公开 trace 和讨论,它并不是一开始就疯狂堆代码,而是先花大量时间做基准、分析屏障同步成本、估算 roofline 上限,再进入实现和迭代。

这很像资深性能工程师的工作方式:先理解瓶颈,再选择路线,最后通过 profiler 和回归测试收敛。区别在于,这一轮过程由 AI 在一个相对短的自主会话中完成。

Fable 5 单次内核启动 profiler
相关 profiler 信息显示,Fable 5 的方案把多个计算阶段压进一次 cooperative kernel launch。
Fable 5 优化过程 trace
公开 trace 让外界可以看到模型从基准测量到内核实现的优化路径。
Claude Fable 5 模型信息
需要注意的是,Fable 5 并不是普通用户熟悉的公开 Claude 产品线名称,而是此次 benchmark 语境中的模型标识。

“递归自我提升”为什么被提起?

Anthropic 联合创始人 Jack Clark 在 Import AI 中把这件事描述为递归自我提升循环的一个早期信号。逻辑并不复杂:AI 如果能写更好的 GPU 内核,训练和推理就可能更快;更快的训练和推理又会帮助下一代模型变得更强;更强的模型继续写更好的基础设施。

但这类判断需要保持边界。一次 benchmark 结果不能等同于“AI 已经能独立改进全部 AI 系统”。它更像是一个方向性证据:在高性能代码、自动化实验、性能分析这些基础任务上,模型能力正在接近或进入专业工程区间。

递归自我提升观点
递归自我提升的核心,不是单次性能成绩,而是 AI 能否持续改进构建 AI 所需的底层任务。
AI 自我改进循环示意
当模型、工具链和算力优化形成闭环,AI 研发自动化的讨论会变得更现实。

对普通创作者和技术团队有什么影响?

短期看,这件事不会直接改变大多数视频创作者、设计师或自媒体团队的日常工作。但它会影响底层工具的速度和成本。推理内核更快,意味着同样硬件能跑更多 token、更长上下文、更低延迟,也可能让本地模型和视频生成工作流变得更可用。

对 AI 产品团队来说,真正应该关注的是:模型不只是会写应用层代码,它正在学习如何改造系统性能瓶颈。未来做 AI 工具,性能优化可能会变成“人类提出目标 + AI 生成候选方案 + 自动基准测试 + 人类审核”的组合流程。

Remote Labor Index 自动化能力变化
AI 能力的外溢不只发生在底层代码,也发生在更广泛的数字劳动任务上。

落地建议:如果团队已经在做本地推理、视频生成、RAG 或多 Agent 工作流,可以开始关注 AI 辅助 kernel / Triton / CUDA 优化,但不要跳过正确性测试、性能复现和不同硬件上的稳定性验证。

也要看到风险:快,不等于可用

超级内核的工程价值很高,但风险也同样高。越是把流程融合得深,越需要严谨验证:数值是否一致、边界 case 是否正确、不同 batch 和上下文长度是否稳定、硬件迁移是否会退化、后续维护是否可理解。

对于 AI 生成的底层代码,最危险的不是“明显跑不起来”,而是看起来跑得很快,但在某些输入上悄悄错。所以这类能力真正进入生产之前,测试、形式化验证、profiling 和回滚机制都要跟上。

通用计算风险想象
Jack Clark 在同一期内容里也讨论了通用计算风险,显示出对能力进展和安全边界的双重关注。

结论:这不是终点,是一个很硬的信号

Fable 5 的 18.71x 成绩,最值得记住的不是“谁打败了谁”,而是 AI 已经能在复杂 GPU 内核设计里展现出系统性优化能力。它会先影响研究团队和基础设施公司,然后通过更快、更便宜的推理,逐渐传导到普通 AI 工具和创作工作流。

AI 研发自动化不会一夜完成,但这类 benchmark 正在告诉我们:它已经开始从论文标题,走进 profiler、trace 和真实硬件计时里。

KernelBench 进展对比
从早期 KernelBench 到 KernelBench-Mega,高性能内核生成正在成为衡量模型工程能力的重要方向。

参考信息

常见问题(FAQ)

Fable 5 这次的 18.71x 是什么意思?
这是 KernelBench-Mega 榜单中相对优化 PyTorch 基线的解码速度提升,任务是 Kimi-Linear W4A16 混合解码,测试硬件包括 RTX PRO 6000 Blackwell。
megakernel 为什么重要?
megakernel 把原本需要多次内核启动的模型计算块融合进一个内核执行,可以减少启动和同步开销,但实现难度、验证难度和维护成本都很高。
这是否意味着 AI 已经能完全替代 GPU 工程师?
不能这么理解。它说明 AI 在高性能内核搜索和优化上出现强信号,但实际工程仍需要人类做正确性验证、性能复现、可维护性评估和安全审查。
0 点赞
0 收藏
分享
0 讨论
反馈
0 讨论
热门最新
总结
暂无总结
0 / 600