大模型微调时，”每层应该分配多少资源”长期以来靠经验。现在有人试图把它变成一个可优化的数学问题。图为神经网络结构的抽象表示。
背景：一个被忽视的”经验活”
如果你做过或者了解大模型的微调，应该对这个场景不陌生：
- 你要做 LoRA 微调，但不确定每层应该用多大的 rank。A 层用 8，B 层用 16，C 层用 32——这个分配怎么定？
- 你要做模型剪枝，但不确定哪些层”更重要”。是梯度大的层更重要，还是参数多的层更重要？
- 你要做稀疏化，但不确定资源应该往哪倾斜。是均匀分配，还是有策略地”保重点”？
这些问题在学术论文里很少讨论，但在工程实践中天天遇到。“每层该分多少资源”长期以来是一个”经验活”——靠试、靠感觉、靠玄学。
为什么这么难？
因为层与层之间的重要性不是均匀的。有些层对模型输出有关键影响，有些层则相对”冗余”。传统方法只看梯度大小，但梯度大不代表”这个层需要更多资源”——梯度大可能只是方向不对，白费力气。
一篇新提交的论文《Curvature-Weighted Capacity Allocation》试图改变这个状况。它的核心问题是：能否把”层重要性”从经验评分变成可优化的数学问题？
核心方法：曲率修正后的层增益
论文的核心创新是引入了一个新的指标：曲率修正后的层增益。
这个指标的数学形式是 $\zeta_k^2 = g_k^\top \widetilde{H}_{kk}^{-1} g_k$。我们来拆解一下它在说什么：
- $g_k$ 是第 k 层的梯度
- $\widetilde{H}_{kk}$ 是局部二阶信息（ Hessian 矩阵的对角块）
- 关键在于引入了二阶信息
传统的梯度范数只告诉你”这个层变化了多少”，但没有告诉你”这个变化有没有意义”。二阶信息告诉你的是”这个变化的方向对不对”——如果梯度很大但方向不对，二阶信息会把它”降权”。
这就避免了”梯度大但方向无效”的误判。
两个优化程序
有了这个指标，论文构造了两个具体的优化程序：
1. 容量分配程序
问题很实际：在预算有限的情况下（比如你只有 100 个 LoRA rank 可以分配），怎么把这些资源分配到不同的层？
传统做法是”均匀分配”或者”凭经验”。这篇论文的做法是：把有限资源优先分配给 $\zeta_k^2$ 高的层，因为这些层的”边际收益”更高。
但这不是简单的”谁分高谁拿更多”——论文还考虑了收益递减的问题。如果一个层已经分配了很多资源，继续增加资源的边际收益会下降。容量分配程序会找到全局最优的分配方案。
2. 剪枝程序
另一个问题是模型剪枝：如果要压缩模型，哪些层应该被保留、哪些层可以”放弃”？
传统做法是”均匀剪枝”或者”按参数数量比例”。这篇论文的做法是：更激进地压缩 $\zeta_k^2$ 低的层，同时保护高收益层。
两个程序的特点：闭式解
更值得注意的是，这两个问题都有闭式解。
这意味着什么？
在优化领域，”需要迭代求解”和”有闭式解”是两种完全不同难度的问题。有闭式解意味着你不需要复杂的迭代优化，只需要代入公式就能算出结果，计算复杂度是可控的。
论文通过引入对偶变量和二分法，实现了闭式求解。这对于工程落地是友好的——不需要引入复杂的优化库，直接集成到训练 pipeline 里就行。
它能解决什么问题？
对于做模型训练和优化的团队来说，这个方向有几个现实价值：
把”调参玄学”变成”可解释策略”：过去你说”这个层应该用更大的 rank”，需要靠经验和试错。现在可以算出每层的”曲率修正增益”，决策有据可循
预算敏感场景的直接帮助：如果你在边缘设备上做微调，显存和计算资源都很紧张，这种”有理论依据的资源分配”能帮你最大化有限预算的效果
为自动化调优奠基：如果这个方向被验证有效，未来可以做到”自动为每个模型计算最优的层级资源配置”，减少人工试错
适用边界：它不能做什么？
目前这个研究还在早期阶段，以下边界需要注意：
缺乏大规模工业验证：论文的方法在理论上很优雅，但大规模工业场景的复现数据还比较有限。实际效果需要更多场景的检验
二阶近似的局限性：在超大模型和动态任务分布下，Hessian 近似可能带来估计偏差。模型越大，这个近似的准确性可能越难保证
工程集成成本：如果你的训练流水线不支持 Hessian 近似相关的统计，落地门槛不低。需要评估与现有系统的集成成本
任务差异问题：不同任务对层重要性的分布差异很大。在这个任务上最优的配置，迁移到另一个任务上可能不 work
行业意义：从”经验工程”到”理论工程”
这个研究方向的可贵之处在于：它试图把”模型工程经验”沉淀成”可复用、可解释的策略框架”。
过去几年，大模型领域的很多进展靠的是”大力出奇迹”——更大的模型、更多的数据、更强的算力。这种路径当然有效，但成本极高。
随着模型规模增长放缓，行业开始关注”如何更聪明地使用资源”：如何用更少的计算达到同样的效果、如何把资源分配到最需要的地方。
层级资源优化正是这个方向的一个子领域。它不追求”更大的模型”，而是追求”更聪明的配置”。
这让人想起传统软件工程中”编译器优化”的演进——早期也是靠经验和启发式规则，后来慢慢引入数学模型和自动优化。
大模型领域可能也在经历类似的转变：从”调参玄学”到”系统化方法”。