用10%预算拟合Scaling Law：新论文实证结果解读

它不仅需要传递信息，更需要帮助用户建立思考框架。

传统随机或均匀采样实验点的方式，在高成本目标区域的外推准确性上表现有限。尤其当小规模试点廉价而大规模验证昂贵时，盲目分配预算容易造成资源浪费。许多团队在前期消耗大量GPU小时，却只获得泛化能力一般的曲线，难以可靠预测真正的大规模训练行为。

论文把Scaling Law拟合形式化为预算感知的序贯实验设计。给定候选实验池，每个实验有不同计算成本，方法顺序决定下一步跑哪个，以最大化高成本目标区域的外推精度。核心是不确定性感知的分配策略，通过后验近似分解目标区域预测误差为intra-basin方差和inter-basin分歧两部分，然后设计采集函数，综合考虑减少不确定性的收益和实验成本的惩罚。

对AI工程师和中小团队而言，这个方法短期就能带来实打实的好处。pilot成本大幅降低后，迭代周期加快，你可以多尝试几条不同的Scaling假设，而不用担心预算瞬间见底。以前因为pilot太贵只能保守规划，现在预算紧张的项目也能更从容地做前期探索。

Scaling Law拟合长期困扰着LLM训练团队。百万美元级的预训练规划依赖这些定律，但传统pilot实验本身就可能消耗掉不菲预算。arXiv最新论文《Spend Less, Fit Better》提出预算感知的主动实验选择方法，将拟合过程转化为顺序决策，只需约10%的总训练预算，就能接近全实验集在外推高成本目标区域的精度，尤其在词汇量（V）与模型大小（N）、数据量（D）的联合scaling上表现突出。

从行业实践看，大模型开发成本压力持续上升，单纯堆实验点来探索超参数已越来越不现实。这项工作提供了一个smarter的路径：不是简单减少实验数量，而是通过成本加权的采集函数，让主动过程兼顾异质性与目标导向。开源代码仓库的发布，也为团队在自家流水线中集成类似逻辑创造了条件。

论文的核心方法论将scaling law拟合公式化为不确定性感知的顺序实验设计。给定一池成本各异的候选实验，它通过分解目标区域的均方预测误差（MSPE），区分盆地内部方差和盆地间分歧，再结合成本惩罚构建采集分数，优先选择那些对高成本目标区域外推最有信息的run。跑完一个实验后更新后验，再决定下一个，逐步从模糊到精炼。

真实benchmark进一步印证了其优势。论文在8类多样任务（涵盖学习率优化、MoE配置、稀疏性设计等）构建的65个实例中，主动方法在1%、5%、10%预算水平下均显著优于随机、最便宜优先及经典最优设计基线。在10%预算时，多数任务的目标区域R²已接近甚至达到全集水平。前后对比清晰：经典基线在低预算下外推误差较大，而主动选择通过优先覆盖高信息增益试点，快速收敛到高精度。ablation也证实，不确定性分解的两部分都不可或缺。

对LLM团队而言，这意味着规划百万级训练前，无需再盲目依赖大量Pilot实验。采用类似不确定性感知策略，或直接参考开源实现，能大幅压缩前期成本，加速从idea到规模化验证的迭代。长期看，它推动行业向更高效的compute optimal allocation演进，让资源有限的中小项目也能更可靠地预测参数-数据-计算配比，而非被Pilot开销卡住门槛。

在当前大模型训练实践中，Scaling Law已成为规划数百万美元预算的核心依据，尤其在学习率与批大小这类超参数的探索上。传统拟合方式往往需要密集的试点实验，成本迅速累积。一篇最新arXiv论文（2604.22753）提出预算感知的主动实验选择方法，将拟合过程重构为序贯决策问题，仅用约10%的预算即可逼近全量实验的精度。

在当前大模型训练实践中，学习率与批大小的Scaling Law拟合往往成为前期预算的黑洞。传统随机采样或均匀实验设计容易在低成本区域过度积累数据，却难以精准捕捉高计算预算下的外推规律。这篇最新arXiv论文《Spend Less, Fit Better》提出的预算感知主动实验选择方法，正好针对这一痛点。它将拟合过程重构为序贯决策问题，根据每个候选实验的异质成本和对目标区域预测误差的预期贡献，动态挑选最有价值的运行。

但现实更复杂，很多光鲜案例的背后都有大量不为人知的调整。