Scaling Law外推准确性优化：主动选择实验 vs 传统方法

不少从业者在一元一分手机红中麻将群的工具链管理上，越来越注重数据整合和洞察提炼。

更深层来看，这篇论文把“实验设计”从预处理环节升级为LLM训练预算规划的核心。方法早期阶段聚焦解决“盆地模糊”——不同外推趋势间的全局歧义，通过挑选能快速区分趋势的实验来消除不确定性；后期则转向精炼局部相关趋势，降低目标区域内的预测方差。成本感知分数的设计，将目标区域均方预测误差分解为盆地内和盆地间方差，再结合实验成本进行平衡，避免了“便宜实验堆积却无助于外推”的常见陷阱。

新方法的核心在于不确定性感知的主动选择策略。它采用高斯混合近似来建模参数不确定性，捕捉Scaling Law可能存在的多个局部最优盆地。每次迭代中，算法计算每个候选实验对目标区域均方预测误差的预期减少量，并结合成本归一化（除以成本的α次方），从而优先挑选单位成本下效用最高的实验。这种设计让早期迭代侧重全局盆地分辨，后期转向局部趋势精炼，完美适配预算受限的现实场景。

对AI实验室而言，这类预算高效路径短期内就能落地。pilot阶段引入类似主动选择策略，可显著压缩Scaling Law拟合开支，中小团队或早期探索尤为受益。长期看，它可能推动大模型开发从“跑更多实验”转向“选更聪明实验”，让资源分配更智能。不过，如果目标区域定义大幅变动，或实验池成本异质性不明显，实际收益仍需具体验证。

论文的深层贡献在于引入混合高斯近似来建模拟合不确定性，并将其分解为不同“盆地”——代表全局不同的外推趋势。早期选择阶段聚焦解决盆地模糊，即快速区分哪些趋势更可能主导目标区域；后期则转向局部方差精炼。这种自适应过程，结合成本感知分数（平衡均方预测误差与实验成本），让每单位预算的收益最大化。类比Chinchilla对Kaplan Scaling Law的迭代，这次优化直接作用于拟合环节本身，而非最终分配公式。

在当前大模型训练实践中，Scaling Law已成为提前规划数百万美元预算的核心依据，其中学习率与批大小的Scaling行为直接决定了训练稳定性和最终性能。然而，拟合这些规律本身往往需要大量试点实验，成本容易失控。

这篇论文的核心贡献在于将Scaling Law拟合重构为目标导向的顺序实验设计问题。作者不是一次性耗尽预算，而是基于当前不确定性动态分配资源，优先选择那些能最大化减少目标区域预测误差的实验配置。这种主动视角直接挑战了“多跑总没错”的惯性思维，转而追求“少跑但跑对”。

后验逼近技术进一步支撑了不确定性感知分配。高斯混合模型被用于近似参数后验，捕捉scaling law中可能存在的多个局部最优“盆”。每次新实验完成后，观测数据更新混合权重和协方差，重新计算剩余候选的效用分数S(x)。这个闭环过程像一个自适应过滤器：早期实验倾向于区分不同趋势，后续则专注降低目标区域的预测方差。

这篇论文将Scaling Law拟合重新表述为预算感知的顺序实验设计问题。给定一个有限的候选实验池——包含不同学习率与批大小组合、数据分配方案或MoE架构变体等，成本可用6ND等代理指标估算——目标是在有限预算下，优先选择那些能最大化高成本目标区域（如亿级参数在万亿token规模）预测准确性的实验。传统基线在多模态Scaling Law景观下容易陷入局部最优，而新方法通过不确定性感知主动选择，显著提升了效率。

最近一篇arXiv论文（2604.22753）将Scaling Law拟合重新定义为预算感知的序贯实验设计问题。传统观点认为，要保证高算力目标区域的外推可靠性，就必须跑大量pilot实验，成本往往与正式训练相当。新方法引入不确定性感知的主动实验选择策略，在有限候选池中优先挑选对目标区域预测最有信息的点。实证结果显示，在多种基准任务上，仅用约10%的总训练预算，就能逼近全实验集的外推精度。

在Scaling Law拟合领域，传统方法往往面临高昂的预算压力。大模型训练规划高度依赖这些律则，但收集足够pilot实验来拟合参数本身就可能消耗百万美元级别资源。arXiv最新论文《Spend Less, Fit Better》将这一过程重构为预算感知的序列实验设计问题：在异构成本的候选实验池中，智能选择那些对高成本目标区域外推最有价值的run。

优化打法的下一步走向，仍充满变量。