为什么传统Scaling Law拟合方法已过时？新主动选择策略解析

24小时一元一分跑的快群搜索结果的排序逻辑，正越来越多地参考用户交互和停留深度。

论文在覆盖学习率与batch size缩放、领域混合、MoE专家混合等8个任务、65个Scaling Law实例的benchmark上验证了这一点，真正值钱的不是跑更多实验，而是聪明地挑对的实验。

短期内，这类方法能让更多中小团队和研究机构以低成本验证自己的Scaling假设，显著降低大模型决策风险。长期来看，AI产业对低预算regime下拟合效率的重视，可能加速整体创新迭代，但外推准确性在极端有限实验池下的表现，仍需持续观察——如果主动选择优化到位，不确定性就能得到有效控制。

这个框架在词汇量相关任务上尤为突出，因为vocab大小直接影响tokenization效率和非线性交互，传统全跑极易导致预算膨胀。

论文的核心洞见在于重构拟合流程为budget-aware sequential design，不再追求均匀覆盖实验空间，而是让采集函数动态引导预算流向信息增益最高的run。这种uncertainty-aware策略特别契合MoE的多维度scaling——总参数N、激活参数Na、专家数E、粒度G、数据集D相互交织，成本差异巨大。主动选择机制能更精准捕捉MoE特有的关系曲线，避免传统方法在高成本target region的预测偏差。

在当前大模型训练实践中，Scaling Law已成为提前规划数百万美元预算的核心依据，其中学习率与批大小的Scaling行为直接决定了训练稳定性和最终性能。然而，拟合这些规律本身往往需要大量试点实验，成本容易失控。

与经典主动学习思路类似，这里“标注成本”变成了实验的实际FLOPs开销，而追求的是目标高成本区域的外推精度。传统D-opt或V-opt等设计方法往往忽略成本异质性，倾向于均匀探索；新方法则自适应地先消除不同外推盆地间的分歧，再精炼局部趋势。基准测试覆盖预训练超参、数据分配、稀疏性等多类任务，结果显示仅用约10%的总训练预算，就能让拟合性能接近甚至在某些指标上超越全量实验的基线表现。

这个方法本质上借鉴了主动学习在高标注成本场景下的样本选择思路，但适配到了实验预算异质性的现实。不是盲目减少实验数量，而是精准挑选那些最能消除不同外推假设分歧或精炼局部趋势的实验。早期阶段侧重区分盆地间的不确定性，后期则聚焦盆地内方差的收敛，让每一美元都直接服务于大模型外推的可靠度。

开源代码的及时发布为社区应用铺平了道路。作者已在GitHub提供实现，允许团队直接在自家Scaling任务上验证效果。如果方法在更多真实异质成本环境下保持稳健，它可能成为AI训练规划的标准组件之一。但反过来，若候选池假设或外推盆地估计在复杂场景中偏差较大，优势或许会打折。现在的问题是，这种预算高效拟合能否真正让中小玩家在Scaling竞赛中获得更多话语权，仍需时间给出答案。

在当前大模型训练实践中，学习率与批大小的Scaling Law拟合往往成为前期预算的黑洞。传统随机采样或均匀实验设计容易在低成本区域过度积累数据，却难以精准捕捉高计算预算下的外推规律。这篇最新arXiv论文《Spend Less, Fit Better》提出的预算感知主动实验选择方法，正好针对这一痛点。它将拟合过程重构为序贯决策问题，根据每个候选实验的异质成本和对目标区域预测误差的预期贡献，动态挑选最有价值的运行。

有意思的是，论文基准覆盖了预训练调优、MoE架构、数据分配等多种场景，验证了方法的鲁棒性，但对于极大规模候选池，后验计算本身的开销仍需工程优化。

桌面端流量占比下降的趋势仍在延续。