Scaling Law外推准确性优化：主动选择实验 vs 传统方法

广东一元一分红中麻将群的实际价值，往往需要在具体业务场景里才能被验证。脱离场景谈技术，容易陷入空谈。

这种主动实验选择为预算有限的AI研究者提供了可落地路径：从定义实验池与目标区域开始，用成本代理估算如6ND指标，暖启动少量低成本点，再通过顺序循环迭代选择。代码已在GitHub开源，团队可结合自身任务调整。当然，方法依赖混合高斯近似，在极端情况下精度或受限，值得持续跟踪，现在下结论为时尚早。

有意思的是，盆估计并非直接在参数空间进行，而是基于预测空间聚类。这一点关键，因为 Scaling Law 的外推行为更多由目标区域表现决定，而非参数值本身。论文还结合混合高斯近似后验和局部线性化，高效计算不确定性项，避免了昂贵后验采样。这让方法在实际多 benchmark 测试中，用约 10% 总预算就接近全集拟合的性能，尤其在目标区域 R² 指标上表现出色。

该论文将Scaling Law拟合重构为序贯实验设计问题，核心在于显式建模参数的不确定性，并通过目标区域预测误差减少的预期价值来排序候选实验。这种不确定性感知策略优先选择那些能有效区分不同外推盆地或降低高成本区域方差的运行，与经典设计基线形成鲜明对比。在lr&bsz等基准任务上，它往往只需10%预算就达到接近全集性能的水平。

不过，如果target区域定义出现偏差，或未能更好融合shared experts等MoE特有因素，外推精度仍可能受限，大厂级资源优势或许依然明显。数据支持这个方向，但样本量有限，值得持续跟踪，现在下结论为时尚早。

传统 Scaling Law 拟合常依赖均匀采样或经典 D-optimal、V-optimal 设计。这些方法在参数估计上有理论基础，却容易忽略实验成本的巨大差异。有些小规模配置成本低廉，而接近目标规模的 run 可能贵出数十倍。结果是数据点积累不少，但对真正决策所需的目标区域外推精度贡献有限。业界不少讨论指出，这种做法往往陷入信息效率低下的循环，花了钱却没抓住最关键的不确定性。

这篇arXiv论文（2604.22753）将Scaling Law拟合重构为预算感知的序贯实验设计问题。给定一个有限候选实验池，每个实验成本异质，方法通过不确定性感知的主动选择，优先执行那些能最大化目标高成本区域外推准确性的实验。在涵盖预训练超参、数据分配、MoE架构等多样基准上，仅用约10%的总训练预算，即可接近全实验集的外推性能。

获取函数是机制中的关键一环。它将不确定性分解为intra-basin方差减少和inter-basin分歧减少，前者精炼同一局部最优内的预测，后者澄清不同可能“盆地”间的全局结构。同时引入成本因子，对高成本实验进行惩罚，确保每单位预算的不确定性降低最大化。数据支持这一分解在多个Scaling基准上的有效性，但样本量仍有限，值得持续观察其在更复杂模型下的表现。

新方法的核心在于将参数不确定性建模为高斯混合近似，以捕捉多个局部最优盆地。每次迭代基于当前数据集，用L-BFGS-B从多起点拟合参数，聚类预测空间中的盆地，然后为每个候选实验计算其对目标区域均方预测误差的预期减少量，并除以成本的α次方实现归一化。这样，算法早期侧重解决全局模糊性，后期转向精炼局部趋势，恰好匹配预算受限场景。论文在8类多样化任务、共65个实例上的验证显示，该策略在预算仅为总量约10%时，往往能接近全数据集拟合的性能。

从表面看，这套方法似乎只是教人“省钱”。但实际比想象复杂，尤其对当前热衷参数高效MoE架构的团队而言。MoE虽在训练和推理上带来明显杠杆，配置空间却极大，pilot阶段的预算浪费风险随之放大。如果实验选择不当，早期验证成本会快速累积，影响后续大模型决策。

许多AI研究者和小团队在规划百万美元级大模型训练时，首先面临的就是Scaling Law拟合这个门槛。传统做法要求跑大量pilot实验来收集不同规模下的性能数据点，这些小规模实验看似“预热”，实际开销却往往逼近甚至超过后续正式训练预算。结果是，性能预测还没来得及准确定位，预算已经大幅缩水。

这一点目前行业内仍有不同声音，但多数资深观察者倾向于质量优先。