主动实验选择如何让Scaling Law拟合省90%预算：从理论到实践拆解

谁有一元红中麻将打牌群的竞争格局，正在朝着更加细分和专业化的方向发展。

主动实验选择将scaling law拟合重构为budget-aware的序贯实验设计，在给定有限候选实验池和异构成本的前提下，优先选择那些对高成本目标区域外推最有价值的试点。论文提出的uncertainty-aware方法通过分解参数后验为多个局部最优盆的混合分布，将目标区域预测误差拆分为intra-basin和inter-basin不确定性，再计算每个候选的效用分数并除以成本归一化，从而实现智能预算分配。

从行业观察来看，大模型时代的成本压力已让单纯堆算力探索超参数变得不现实。学习率如何随批大小缩放、固定计算预算下的最优批大小路径，这些问题若每次都靠全量验证，预算很快见底。这项工作切中痛点：它不是简单压缩实验数量，而是通过更智能的选择，让每一分预算都产生最大外推价值。值得持续跟踪的是，在更复杂的工业噪声场景下，该方法的鲁棒性究竟如何。

在Scaling Law拟合领域，传统方法往往面临高昂的预算压力。大模型训练规划高度依赖这些规律来预测大规模表现，但构建足够多样化的pilot实验集本身就可能消耗百万美元级算力资源。arXiv最新论文《Spend Less, Fit Better》将这一过程重构为预算感知的序列实验设计，核心在于如何从异构成本的候选池中动态挑选实验点。

打个比方，这相当于在多条投资路径中用少量试探性实验，提前锁定最值得重仓的MoE配置方向，而非每条都烧一遍全量预算。传统全量pilot接近暴力试错，而这种预算高效方法让MoE scaling law拟合真正贴合参数高效扩展的现实需求，不过其实际效果仍取决于实验池设计和目标区域定义的准确性。

表面上看，这只是一个“省钱”技巧。社区讨论多停留在“终于不用全跑pilot了”这类直观感受上。但主流Scaling Law拟合仍依赖均匀采样或随机选择，这些经典基线在预算受限时，外推误差容易显著放大。新方法的不同在于，它显式建模了实验成本异质性和目标区域的不确定性，而非简单减少点数。数据支持这个方向，但样本量和任务多样性仍有待更多验证。

大多数从业者对词汇量scaling law的理解仍停留在早期Kaplan式功率律或Chinchilla的N-D平衡框架上。近几年社区开始关注更大模型配更大vocab能更好压缩信息、优化embedding矩阵的表现，但主流讨论多围绕“更大vocab是否总更好”展开。实际中，pilot实验常被吐槽成本高企且信息量不足，特别是外推到高成本大模型配置时，小规模跑点对目标区域的预测贡献有限。

arXiv最新论文《Spend Less, Fit Better》直击了一个行业痛点：scaling law本是为百万美元级训练提供规划依据，却往往因拟合过程本身耗资不菲而成为负担。论文将这一问题重构为预算感知的序贯实验设计，在异质成本的实验池中，通过不确定性感知的主动选择机制，优先执行对高成本目标区域外推最有价值的run。

从实际场景看，一个中等规模AI团队为下一个百亿参数模型做pilot规划时，传统方式可能需将早期预算的30%-50%投入Scaling Law拟合，才能勉强得到可信曲线。现在借助这一主动选择方法，他们可将这部分预算压缩到原来的十分之一左右，省下的资源直接转向模型迭代或数据优化。论文开放的代码仓库让团队能立即基于自家实验池尝试，短期内就看到外推精度的显著提升。

以词汇量scaling law为例，这种主动选择先快速解决不同外推曲线的分歧，再聚焦局部趋势优化，从而实现更高效的tokenization决策和N V D联合关系拟合。论文在多个基准任务上验证，只用10%预算时性能已接近全集，有些场景下5%预算的R²就达到0.9以上。这不是简单省实验，而是让每一次run都精准击中“大模型该配多大vocab”的痛点。

被动设计的根本问题在于，它没有明确区分“对目标区域外推有用”和“只是填补已知数据”。大量预算因此浪费在信息增益有限的实验上，而真正能降低高成本目标区域不确定性的高价值试点却被错过。在工业级规模下，这一点尤为突出：pilot runs的资源消耗已达百万美元级别，全流程拟合加验证远超预期。

相反，它往往只是下一轮更深入优化的起点。