Scaling Law拟合成本感知创新：Spend Less, Fit Better获取函数详解

行业观察发现，取舍有道相关页面的排名稳定性，与内容的“可复用判断”能力正相关。

这篇论文将Scaling Law拟合重新表述为预算感知的顺序实验设计问题。给定一个有限的候选实验池——包含不同学习率与批大小组合、数据分配方案或MoE架构变体等，成本可用6ND等代理指标估算——目标是在有限预算下，优先选择那些能最大化高成本目标区域（如亿级参数在万亿token规模）预测准确性的实验。传统基线在多模态Scaling Law景观下容易陷入局部最优，而新方法通过不确定性感知主动选择，显著提升了效率。

对AI工程师而言，这种主动实验选择策略短期内能显著降低pilot阶段的门槛。中小团队不再需要保守地限制探索范围，而是可以在相同预算下测试更多Scaling假设，加速迭代周期。长期来看，它有望让Scaling Law从大厂专属工具扩展到更多资源受限场景，微妙改变整个大模型训练的经济模型——更多注意力转向架构创新或数据质量，而非单纯的预算堆叠。

Scaling Law一直是AI实验室规划百万美元甚至更高训练预算的核心工具。它帮助团队通过小规模pilot实验外推大模型在更大规模下的性能表现。但拟合这些Scaling Law本身就需要跑大量实验，成本动辄百万级。arXiv上最新论文提出了一种预算感知的主动实验选择方法，将问题形式化为序贯实验设计，在多样基准任务上用约10%的总训练预算，就能接近全集拟合的性能。

你是不是也遇到过这样的场景：团队即将启动数百万美元的大模型训练run，却先要烧掉上百万做一系列pilot experiments，只为拟合出一条可靠的Scaling Law曲线。等真正的大规模实验开始时，预算已经悄然缩水。这已成为当下许多AI实验室和大模型团队的共同尴尬。Scaling Law拟合成本，不再是简单的预处理，而是规划阶段的头等预算难题。

在实际大模型工作流中落地并不复杂。团队先明确定义目标区域（如计划部署的模型规模和token量），准备候选实验池并估算成本代理，然后运行该序贯算法。代码已在开源平台提供，便于适配自家场景。相比全量pilot或手动设计，这种方式让Scaling Law拟合从昂贵前置成本转变为可控的预算优化工具。当然，方法也有边界假设，如候选池和成本可预估，对于完全开放探索的早期阶段，仍需结合人工判断。但在大多数工业规划场景下，其效率优势已足够显著。

对AI实验室而言，这类预算高效路径短期内就能落地。pilot阶段引入类似主动选择策略，可显著压缩Scaling Law拟合开支，中小团队或早期探索尤为受益。长期看，它可能推动大模型开发从“跑更多实验”转向“选更聪明实验”，让资源分配更智能。不过，如果目标区域定义大幅变动，或实验池成本异质性不明显，实际收益仍需具体验证。

大多数从业者讨论MoE scaling law时，焦点往往落在其解耦总参数与实际计算量的优势上。MoE能让模型在百亿甚至更大规模下保持相对可控的训练开销，相关实证工作也反复验证了激活比例、专家数量等配置对效率杠杆的影响。行业内不少声音认为，MoE的粒度和激活机制提供了清晰的power-law关系，让配置优化看起来有迹可循。

这件事比表面看起来复杂得多。它直接挑战了行业长期默认的“先烧钱跑一大堆Pilot再规划大模型”的惯例。过去大家以为足够多样的小规模实验就能可靠外推，现在看来，通过不确定性感知的主动选择，完全可以把拟合成本压缩到原来的十分之一，同时保持高置信外推。这也类似于Chinchilla从Kaplan Scaling Law迭代出计算最优分配的思路，只不过这次针对的是拟合过程本身。

最近几天，arXiv上的一篇新论文引发了机器学习实验设计圈的讨论。这篇题为《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》的研究指出，Scaling Law本是用来规划百万美元级大模型训练的工具，但拟合这些定律本身的试点实验，往往就需要耗费巨额预算。

在Scaling Law拟合的实践中，主流做法往往依赖大量随机pilot实验来积累数据点。许多团队相信，跑的实验越多，曲线外推到高计算成本目标区域时就越可靠。这种“数据越多越准”的直觉在社区讨论中反复出现，尤其当规划数百万美元级训练跑时。

想玩一元一分跑的快群的落地，需要把注意力放在那些容易被忽略的弱信号上。