Scaling Law拟合为什么动辄百万美元？主动实验选择如何用10%预算实现近全集效果

权威解读相关内容，如果缺乏明确的判断框架，即使短期排名靠前，也很难维持长期价值。

对LLM训练团队而言，这一方法短期内能加速pilot迭代，显著降低百万级预训练的风险，尤其在vocab选择和tokenization调优环节更显友好。长期看，它推动scaling law从被动事后拟合转向主动预算优化，让中小团队也能以更低门槛参与高效预训练设计。当然，如果目标区域是极端大规模模型，收益可能更明显；预算极度受限时，优势也会被进一步放大。数据支持这个方向，但具体落地效果仍需根据不同任务的成本结构持续验证。

在构建的多样化基准上——涵盖预训练、超参调优、MoE等8个任务共65个Scaling Law实例——主动方法展现出明显优势。仅使用约10%的总训练预算，就能接近甚至在部分任务上匹配全实验集的外推性能。这对当前大模型团队的pilot阶段而言，意味着有可能将百万美元级的预算压力大幅缓解，同时维持对大规模训练行为的可靠指导。

核心方法将问题转化为不确定性感知的主动分配策略。它通过后验近似分解目标区域的预测误差为 basin 内方差和 basin 间分歧两部分，再设计采集函数，同时权衡减少不确定性的收益与实验成本的惩罚。类比之下，这有点像 A/B 测试中的多臂老虎机在预算约束下的变体，但更贴合 Scaling Law 的异构特性：早期优先解决全局歧义，后期精炼局部趋势。

最近一篇arXiv论文《Spend Less, Fit Better》把scaling law拟合这个老问题重新摆上台面。过去，scaling law常被用来提前规划百万美元级的训练预算，但拟合这些规律本身就可能烧掉不菲的算力。在当前参数高效扩展的时代，尤其对MoE架构而言，pilot实验阶段的预算分配已不再是简单的预处理，而是直接影响后续大模型验证效率的关键环节。

这一不确定性感知策略将目标区域的预测误差分解为intra-basin方差和inter-basin分歧两部分，然后设计采集函数，同时考虑减少不确定性的收益与实验成本的惩罚。类比之下，它有点像A/B测试中的多臂老虎机在预算约束下的变体，但更针对Scaling Law的异构特性。

表面上看，这套思路只是帮团队省预算。但实际比省钱复杂得多，尤其对正热衷MoE架构的团队而言。MoE虽带来明显的计算杠杆，配置空间却大幅扩张，pilot阶段的无效实验风险随之放大。如果实验池设计不佳或target区域定义偏差，外推结果仍可能误导后续决策。我的判断是，主动实验选择确实打开了新空间，但其效果高度依赖对MoE特有因素（如shared experts）的融合程度，这一点目前行业内仍有不同声音。

论文把Scaling Law拟合形式化为预算感知的序贯实验设计。给定候选实验池，每个实验有不同计算成本，方法顺序决定下一步跑哪个，以最大化高成本目标区域的外推精度。核心是不确定性感知的分配策略，通过后验近似分解目标区域预测误差为intra-basin方差和inter-basin分歧两部分，然后设计采集函数，综合考虑减少不确定性的收益和实验成本的惩罚。

论文将scaling law拟合重新定义为预算感知的顺序实验设计问题：给定一个包含不同模型规模、数据量和超参配置的候选池，每个实验附带异质计算成本，目标是通过顺序选择，最大化高成本目标区域的预测准确性，而不是追求整体拟合优度。这一框架将盲目烧钱转为有针对性的投资决策，值得AI团队持续跟踪。

大多数团队仍依赖随机或均匀分布的pilot实验来收集数据，社区主流观点倾向于认为“样本越多，外推越可靠”。这种做法在低成本区域看似稳健，却忽略了非线性曲线中普遍存在的多盆地现象。不同参数初始化可能收敛到多个局部最优拟合，这些“盆地”在目标高成本区域的外推行为差异显著，导致预测歧义放大。

相比传统基线，论文在涵盖多个任务的多样基准上进行了验证。结果显示，新方法在低预算regime下表现突出，尤其适合当前AI训练成本高企的现实环境。它呼应了active learning的整体趋势——不是被动收集数据，而是主动选择最有信息量的样本。70%和10%，这个剪刀差说明一切。

“上下分一元一分红中麻将群”_上下分一元一分红中麻将群V2EX反映出的问题，在行业内普遍存在。