跳转到正文
如何打破缩放之墙

如何打破缩放之墙

, 阅读时间 3 分钟, By Jaber Jaber

Research

当研究人员把模型的交叉熵损失与计算量画在对数-对数坐标上时,结果接近一条直线:随着计算量、模型规模或训练 token 的增加,损失可预测地下降。这一经验规律(缩放定律)让团队能预测回报,但它也显示了一个极限:购买更多 GPU 的边际回报递减。

DeepMind 的计算最优工作后来表明,在固定的计算预算下,以合适的模型规模训练更多 token 可以胜过单纯增加参数量。这就是 token 和数据清洗与原始模型规模同样重要的原因。

这两个事实确定了我们关心的问题。工程问题不是缩放定律是否存在,而是如何移动这条对数-对数线的截距,让同样的 FLOPs 买到更低的损失。

下面我概述能可靠移动截距的机制,并给出一周行动手册,可在任何技术栈上运行。

真正移动截距的是什么

1) 让每个 token 信息更多:数据清洗与定向。 去除重复和低价值文本。对高信号样本打分并加权。生成小而定向的合成数据集,针对真实失败模式,而不是把随机合成文本倒进训练。这些步骤提高样本效率,提升每个训练步的有效价值。

2) 不付线性 FLOPs 就提高有效容量:算法技巧。 条件计算(稀疏化、MoE)只激活每个 token 需要的参数。低秩适配器(LoRA)让你用少得多的可训练参数微调能力。实用的量化(如 4-bit 工作流)在保持精度的同时降低内存和带宽成本。

这些技术改变缩放定律中的常数:斜率不变,截距下降。

3) 挤压硬件:把买来的周期转化为有用进展的系统工程。 剖析真实运行,修复热点路径。用感知 IO 的内核(FlashAttention)替换 IO 密集的注意力,融合内核以消除多余拷贝,优化内存布局,调优流水线/张量/数据并行的组合。内存分片(ZeRO)降低单 GPU 内存压力和通信停顿。

这些修复把空闲或阻塞的周期变成真正降低损失的 FLOPs。

把这三组叠起来,同样的 FLOP 预算就得到更低损失:等于把整条线在对数-对数图上向下移。

缩放可视化

Loss (log)
  │
  │\
  │ \\
  │  \\\    original scaling (Kaplan-style power law)
  │   \\\
  │    \\\     ← after systems optim (FlashAttention, ZeRO)
  │     \\\
  │      \\\   ← after algorithmic optim (MoE, LoRA, quant)
  │       \\\  ← after data optim (dedupe, targeted synth)
  └──────────────────────────────────── Compute (log)
     C0     C1     C2     C3

解读: 斜率(缩放指数)保持不变。数据、算法和系统的介入降低截距:同样的计算量,更低的损失。

买来的计算量通常丢在哪里(先测量)

Typical waste breakdown (illustrative)
┌─────────────────────────────────────┐
│ Duplicates / low-value tokens : 30% │
│ Kernel inefficiencies         : 25% │
│ Communication / imbalance     : 20% │
│ Checkpoint / IO overhead      : 15% │
│ Suboptimal hyperconfig        : 10% │
└─────────────────────────────────────┘

找回这些损失的一部分,就能产出相当于一个大得多的集群的有效产出。

一周行动手册(实用:现在就运行)

  • 第 1 天:剖析一次完整运行。 采集内核和通信 trace;按墙上时钟时间找出前三个热点。

  • 第 2 天:数据清洗。 在有代表性的一切片上跑去重和质量打分。重训一个 epoch,比较验证损失。

  • 第 3 天:低成本微调。 用针对失败模式的 LoRA/QLoRA 替代完整重训,测量每 GPU 小时的收益。

  • 第 4 天:内核修复。 把一个关键算子换成感知 IO 的实现(如 FlashAttention),融合内核,或改变张量布局。测量墙上时钟变化。

  • 第 5 天:分布式调优。 在合适之处应用分片/ZeRO;重新剖析,消除不均衡。

  • 第 6 天:小规模条件计算探针。 在一个子集上原型化一个微型 MoE 或条件块,验证容量收益。

  • 第 7 天:合成并迭代。 为剩余错误生成定向合成样本,适配并测量。

始终把改进换算成美元或实验数:省下的秒数 → 省下的 GPU 小时数 → 每月多出的实验数。

快速的科学依据

  • 缩放定律:计算量、token 数与模型规模之间的经验幂律关系为规划提供斜率。(Kaplan et al., 2020)

  • 计算最优权衡:Chinchilla 表明 token 重要;在计算最优点训练往往偏向以合适模型规模用更多 token。(Hoffmann et al., 2022)

  • 系统收益:感知 IO 的注意力和融合内核在注意力密集的运行中大幅缩短墙上时钟时间(FlashAttention)。

  • 算法效率:LoRA 和低秩适配器让微调便宜;MoE 与条件计算以更低的活跃 FLOPs 产出更大的有效模型。

  • 内存分片:ZeRO 及相关分片技术让你跨节点扩展模型而没有线性内存爆炸。