PEFT

Parameter-Efficient Fine-Tuning

只更新很小一部分参数或新增很少的附加模块，就让大模型适应新任务。LoRA、QLoRA、Adapter 是最常见的路线。

核心概念

• LoRA 通过低秩矩阵分解近似参数更新，常见写法是 W + BA。
• QLoRA 把基础权重量化存储，再在量化底座上训练 LoRA 适配器。
• Adapter 则是在网络中插入小模块，只训练新增模块。
• PEFT 的核心权衡是：更省显存和算力，但表达能力通常不如全量微调。
• 论文里还会看到 prefix tuning、prompt tuning、IA3、DoRA 等变体。