LoRA 只训练少量参数,究竟改了模型的哪里?

要让一个通用模型适应特定任务,最直接的方法是用任务数据继续训练全部权重。但全参数微调需要为大量参数保存梯度和优化器状态,多个任务还可能各自保存一份庞大模型。LoRA 冻结基础权重,在选定的线性变换上学习较小的低秩增量,让不同任务共享底座,只分别保存适配参数。

这项设计的关键不在于“少量参数一定够用”,而在于把任务更新限制在一个更经济的表示中。它减少了训练状态和任务副本的成本,也引入了秩、目标层和合并方式等取舍。Hu 等的原论文检验了多个模型与任务;具体任务能否以低秩更新达到要求,仍然需要独立验证。LoRA 原论文

深色大幅织物上叠放两块狭长的亮色织片
AI 生成配图 · 织物浮雕 · 未完纪

低秩约束加在更新上,而非整个模型上

设线性层计算 y=Wx,权重 W 的形状为输出维度乘输入维度。LoRA 把计算改成 y=Wx+sBAx,其中 A 的形状为 r 乘输入维度,B 的形状为输出维度乘 r,s 是缩放系数。训练只改变 A、B,基础矩阵 W 保持冻结。两个小矩阵的乘积 BA,就是本次任务学到的权重更新。

这个更新的秩最多为 r,但 W+sBA 的秩不必很小。原模型仍保留已有的丰富变换能力,适配器只是沿受限制的方向调整。把 LoRA 解释成“把整台大模型压成一个低秩模型”会混淆两件事。它主要是一种参数高效适配方法,并不会仅凭加入适配器就减少基础权重的保存需求。

低秩意味着更新中的许多输入输出关系通过一个较小的中间空间表达。这是一种结构约束,不保证任务的真正最优更新恰好低秩。若任务只需要重组已有能力,约束可能足够;若需要大幅改变表示、学习新的复杂映射,则可能需要更大秩、更多目标层或其他训练方式。应让验证数据来判断,而不是事先宣布低秩普遍成立。

一个二乘二的合成例子可以说明限制在哪里。假设理想更新是对角矩阵 diag(1,0.1),它包含两个独立方向。秩为一的更新无法把它精确表示;若保留较大的方向、舍去较小方向,得到 diag(1,0),两者的弗罗贝尼乌斯距离为 0.1。增加到秩二则能够表达这两个方向。这只说明表示约束,不是在预测真实任务的损失。

实际任务还受到输入分布影响。即使两个更新矩阵在整体距离上不同,若测试输入几乎不经过被舍弃的方向,输出差异仍可能很小。反过来,一个数值较小的更新方向,若恰好决定少见但重要的案例,也不能轻易忽略。因此,分析更新矩阵的奇异值可以提供线索,最终仍需按任务和子群体检验输出。

用一个合成矩阵算清参数节省

考虑一个 4096×4096 的线性层,完整权重有 16,777,216 个参数。若 LoRA 的秩 r=8,A、B 合计只有 8×4096+4096×8=65,536 个参数,相当于原矩阵的二百五十六分之一。按每参数两字节,仅适配权重约为 128 KiB,而原矩阵约为 32 MiB。这是教学用规模估算,不是某个模型的实测总显存。

节省还会影响梯度和优化器状态。以保存两份单精度动量状态的优化器为例,每个可训练参数还对应八字节相关状态,实际框架可能另有主权重与缓存。冻结大矩阵后,这些与训练参数数量直接相关的开销可以显著减少。但前向仍需基础权重,反向传播还要经过相关计算,激活也仍占内存。

因此,训练参数减少二百五十六倍,不等于总显存或总耗时也减少同样倍数。若长序列激活已经成为主要开销,缩小适配器只能改善一部分。研究或部署报告应把权重、梯度、优化器和激活分别估算,再用实际峰值测量核对。只展示适配器文件大小,很容易低估训练设备需求。

打开 HTML 互动演示 · 秩改变时,适配器增加多少可训练参数?

初始化、缩放与学习率怎样相互影响

一种常用初始化让 A 随机、B 为零,使 BA 起初为零,模型开始时保持原行为。此时 B 可以获得非零梯度,A 的梯度则在初始步受 B 为零的影响。若两个矩阵都初始化为零,乘积结构会使训练陷入不同的梯度问题,不能把“更新从零开始”简单实现为所有参数都置零。

常见缩放采用 α/r,但 r 改变时,初始化、缩放和优化动态会共同变化。比较不同秩时,如果学习率、缩放和训练步数一概不检查,性能差异可能同时来自表示容量与优化设置。可以先做小范围学习率搜索,再在固定数据与预算下比较,记录训练稳定性和验证波动。

适配器仍可能过拟合。低秩约束减少了自由度,却没有消除标签错误和模板偏好。若训练示范总用同一种开场,模型可能先学会文风,而非任务规则。应设置内容正确性与格式遵循的独立评价,并观察未见实例。多个随机种子有助于识别某个配置的收益是否稳定,避免只选择一次表现最好的运行。

把适配器放在哪些层,比只问秩多大更重要

LoRA 可以放在线性投影中的不同位置。只更新注意力中的部分投影,训练参数较少;同时更新更多注意力和前馈层,能提供更广的调整范围,也增加内存与优化难度。相同总参数预算下,把秩均匀分给所有层,不一定比集中在关键位置更有效。

AdaLoRA 研究了根据重要性为不同权重更新分配预算,提供了区别于固定均匀秩的一种思路。它说明“秩是多少”应该与“预算分配在哪里”一起讨论。选择方法时仍需考虑额外计算、超参数和任务规模,不能只看某个数据集上的最终分数。AdaLoRA 原论文

受控实验可以比较三组配置:固定目标层增加秩,固定总参数改变目标层,以及固定目标层与秩改变数据量。这样能区分容量不足、位置不合适和数据不足。对分类、信息抽取和长文生成等不同任务,合理配置可能不同。若用一种任务选择超参数,再宣布对所有任务有效,会超出实验支持范围。

合并与多任务服务有哪些实际限制

对普通线性层,可以预先计算 W′=W+sBA,把更新并入权重。合并后的前向不再需要额外低秩分支,因此与逐次执行两条路径相比更方便部署。但数值精度、保存格式和合并实现仍可能造成细微差异。上线前应使用固定输入核对合并前后的输出,再用任务指标检查差异是否可接受。

如果服务需要频繁切换多个适配器,保持底座共享并动态加载可能更经济。此时要处理不同请求的适配器标识、缓存和批处理;把不同任务混在一个批次里,未必还能使用最简单的单一权重路径。适配器小并不意味着调度开销为零,收益应在真实请求分布下测量。

多个适配器也不能因为维度相同就随意叠加。各自训练时依赖同一底座和任务分布,合并可能相互干扰。更换底座版本后,词元表、层定义或权重本身的变化,都可能使旧适配器不兼容。任务文件应记录基础检查点、目标模块、秩、缩放和训练配置,避免留下无法复现的孤立权重。

量化底座之后,LoRA 的作用改变了吗

QLoRA 把冻结底座以低比特形式保存,再通过它把梯度传到低秩适配器,同时结合相应的数值格式与内存管理设计。它把基础权重存储与适配训练的节省结合起来,但“量化”和“低秩更新”仍是两个部件。前者改变底座的数值表示,后者改变任务更新的参数化。QLoRA 原论文

训练时的计算精度与保存位宽也需要分开。低比特权重可以在计算时按需要还原到较高精度,适配器和梯度则使用自己的格式。总显存仍包括激活、临时缓存及优化器峰值。若只看“底座四位”就按完整模型大小乘四分之一估算全部内存,通常会漏掉这些部分。

合并到量化权重时,还可能引入一次重新量化误差。可以比较保留独立适配器、先高精度合并再量化等方案,检查同一任务上的准确率与速度。专业术语、长输出和边界数值应单列测试,避免总体平均分掩盖特定退化。量化适配的优势应以指定设备和任务测量,不宜从论文中的单一配置直接外推。

怎样证明学到的是任务能力,而非训练样式

先按文档来源、模板家族或时间划分数据,避免相似记录同时进入训练与测试。再准备保持任务规则但改变实体、措辞和长度的实例。如果训练是把记录转为摘要,测试应包含新的字段组合和缺失条件;如果训练是格式化输出,还应检查内容正确与格式合法是否同时满足。

基线可以包括未适配模型、提示改进、全参数微调,以及不同 LoRA 配置。比较时记录训练词元、步数、优化器和总设备时间,而不是只对齐轮数。小数据下全参数微调可能更容易过拟合,因此任何胜负都需要结合数据与超参数解释。目标任务之外,还应保留希望维持的通用能力,测量是否出现遗忘或行为偏移。

最后保存能够独立加载的适配器和完整配置,并执行一次干净环境中的加载验证。训练进程内效果正常,不代表导出的文件已经包含所需设置。低秩适配真正有用的地方,是以可维护的成本获得可验证的任务改善;参数少只是手段,任务边界、数据质量和可复现部署才决定它能否长期使用。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞12