异构实验成本下，Scaling Law拟合如何用10%预算实现接近全集效果？

这种策略降低了试错成本，却也延长了整体见效周期。

论文的核心突破在于将Scaling Law拟合重构为预算感知的顺序主动实验选择问题。作者提出通过不确定性感知的预算分配，先在当前数据集上多次refit得到不同盆地，然后在预测空间而非参数空间进行basin consolidation，合并那些外推行为相似的模式。这一设计避免了冗余，聚焦真正影响高成本区域预测的歧义。

论文方法论的核心在于把拟合过程转化为主动、顺序的决策过程。给定候选实验池后，系统先分解目标区域的预测不确定性——包括盆地内部方差（intra-basin）和盆地间分歧（inter-basin）。随后用cost-aware score排序：预期误差降低量除以成本（附加惩罚），优先执行那些能同时削减两种不确定性且性价比高的实验。跑完一个后更新后验，再决定下一个，逐步收敛。

大型语言模型训练往往涉及数百万美元预算，团队在正式启动前高度依赖Scaling Law来预测参数、数据与计算的最优分配。然而，拟合这些Scaling Law所需的Pilot实验本身已成为一项重大开销。传统方法多依赖随机采样或经典实验设计，跑大量小规模训练来支撑外推，这不仅效率低下，还容易在高成本目标区域产生显著偏差。

更深层来看，这篇论文把“实验设计”从预处理环节升级为LLM训练预算规划的核心。方法早期阶段聚焦解决“盆地模糊”——不同外推趋势间的全局歧义，通过挑选能快速区分趋势的实验来消除不确定性；后期则转向精炼局部相关趋势，降低目标区域内的预测方差。成本感知分数的设计，将目标区域均方预测误差分解为盆地内和盆地间方差，再结合实验成本进行平衡，避免了“便宜实验堆积却无助于外推”的常见陷阱。

在大模型训练规划中，Scaling Law 早已成为避免盲目烧钱的关键工具。它允许团队通过小规模 pilot 实验外推大规模表现，但拟合这些定律本身却可能耗资百万美元。arXiv 上最新论文《Spend Less, Fit Better》提出了一种预算感知的主动实验选择方法，将拟合过程转化为序列决策问题：在异构成本的候选实验池中，优先挑选对高成本目标区域外推最有价值的 run。

把这个思路放到更广泛的机器学习实验设计背景下看，它的意义远超Scaling Law本身。它与主动学习、序贯优化一脉相承，却特别强调了异构成本这一现实约束。在超参数搜索中，不同组合的训练耗时差异巨大，有的需要多卡跑几天，有的单卡几小时即可。用类似预算感知的选择逻辑，就能避免大量无效试错。在异构硬件实验或AI代理训练场景里，这种方法也有明显扩展潜力——不再是穷举所有可能，而是智能挑选信息增益最大的那几个。

这件事比表面上的“省钱拟合”复杂得多。它本质上是让Scaling Law拟合从“烧钱验证”变成“智能投资”。在低预算时代，这可能重塑整个游戏规则。值得持续跟踪，现在下结论为时尚早。

对计算最优分配的实际指导意义在于，资源有限的团队不再需要为保险起见过度跑实验，而是能更精准地预测参数-数据-计算配比。开源代码的出现进一步降低了门槛，下一次规划百万级训练时，或许值得先在小规模基准上测试这种不确定性感知分配。究竟主动方法普及后，整体训练预算利用率能提升多少，现在下结论仍为时尚早。

对大多数AI工程师而言，这套主动实验选择机制的吸引力在于，它让pilot阶段从“被动烧钱”转向“精准投资”。中小团队以往因预算限制，只能保守选择少量实验点，现在可以更从容地探索多种Scaling假设，而不用担心早期迭代就见底。长期观察下来，这种方法有望降低整个行业对巨额pilot投入的依赖，推动Scaling Law在开源社区和资源受限场景的更广泛应用。

论文的核心洞见在于，它把scaling law拟合从“跑多少实验”转向“聪明选哪些实验”。提出的uncertainty-aware采集函数，会优先锁定那些能显著降低目标高成本区域不确定性、或帮助区分不同外推basin的实验点。这一框架自然延伸到MoE上：MoE的scaling涉及总参数N、激活参数Na、专家数E、粒度G以及数据集D等多维度，成本分布远非均匀。

SEO资讯站的结尾段文本批量生成如下，每行一条：