参数高效微调（PEFT）

参数高效微调（PEFT）是一种人工智能（AI）和自然语言处理（NLP）领域的创新方法，通过仅更新大型预训练模型中极少量的参数，实现模型对特定任务的适应。与重新训练整个模型（通常计算量巨大、资源消耗高）相比，PEFT 只需微调模型的部分参数或在模型结构中添加轻量级模块，大幅降低了计算成本、训练时间和存储需求，使得在多种专业应用场景中部署大型语言模型（LLMs）成为可能。

参数高效微调的重要性

随着 AI 模型规模和复杂度持续增长，传统微调方式的实用性逐渐减弱。PEFT 针对以下挑战提供了解决方案：

• 降低计算成本：仅微调模型一小部分参数，显著减少计算和内存需求。
• 提升可扩展性：企业可高效地将大型模型适配至多个任务，无需庞大资源投入。
• 保留预训练知识：冻结大部分参数，有助于保留模型已习得的通用知识。
• 加快部署速度：缩短训练周期，加速模型上线和生产环境部署。
• 利于边缘计算：模型可在计算能力有限的设备上高效部署。

参数高效微调的工作原理

PEFT 包含多种针对预训练模型高效更新或增强的技术。主要方法如下：

1. 适配器（Adapters）

概述：

• 功能：适配器是插入到预训练模型各层中的小型神经网络模块。
• 操作：微调时，仅更新适配器参数，原有模型参数保持冻结。

实现方式：

• 结构：
  • 降维投影：降低维度（W_down）。
  • 非线性激活：如 ReLU 或 GELU。
  • 升维投影：恢复原始维度（W_up）。

优点：

• 模块化：可灵活增删适配器以应对不同任务。
• 高效性：大幅减少需训练参数量。
• 灵活性：支持多任务学习，可快速切换适配器。

应用示例：

• 领域适应：跨国企业希望语言模型理解地区俚语，只需训练区域适配器即可，无需完全重训。

2. 低秩适配（LoRA）

概述：

• 功能：引入可训练的低秩矩阵以近似权重更新。
• 操作：将权重更新分解为低维表示。

数学基础：

• 权重更新：ΔW = A × B^T
  • A 与 B 为低秩矩阵。
  • r 远小于原始维度 d。

优势：

• 大幅减少参数量：显著降低微调所需参数。
• 内存高效：训练时内存消耗更低。
• 良好可扩展性：适合超大规模模型。

注意事项：

• 秩的选择：需要权衡性能与参数效率。

应用示例：

• 专业翻译：将通用翻译模型通过 LoRA 微调，适配法律等专业领域。

3. 前缀微调（Prefix Tuning）

概述：

• 功能：为每层 Transformer 输入添加可训练前缀 token。
• 操作：通过修改自注意力机制，影响模型行为。

机制：

• 前缀：训练过程中优化的一组虚拟 token 序列。
• 自注意力影响：前缀作用于注意力层的 key 和 value 投影。

优点：

• 参数高效：仅需训练前缀参数。
• 任务适应性强：可有效引导模型完成特定任务。

应用示例：

• 对话式AI：让聊天机器人回复更贴合企业品牌语调。

4. 提示微调（Prompt Tuning）

概述：

• 功能：调整输入中加入的可训练提示向量。
• 与前缀微调区别：通常只作用于输入层。

机制：

• 软提示：在微调中优化的连续向量。
• 优化方式：模型学习如何从提示映射到目标输出。

优点：

• 极致参数高效：只需微调数千参数。
• 实现简单：对模型结构改动极小。

应用示例：

• 创意写作辅助：引导模型以特定风格生成诗歌。

5. P-Tuning

概述：

• 提示微调的扩展：在多层插入可训练提示。
• 目标：提升在小样本任务上的表现。

机制：

• 深层提示：提示贯穿模型多层。
• 表征学习：增强模型捕捉复杂模式的能力。

优点：

• 提升性能：尤其适合小样本学习场景。
• 更强适应性：可应对比单纯提示微调更复杂的任务。

应用示例：

• 技术问答：适配模型用于工程等专业领域的问答。

6. BitFit

概述：

• 功能：仅微调模型中的偏置项（bias）。
• 操作：网络权重保持不变。

优点：

• 最小参数更新：偏置项仅占极小比例。
• 意外高效：在多种任务上表现良好。

应用示例：

• 快速领域迁移：用极少训练将模型适配到新情感数据。

PEFT 与传统微调对比

应用场景与案例

1. 专业语言理解

场景：

• 医疗行业：解析医学术语和病历报告。

方法：

• 适配器或 LoRA：用少量参数在医学数据上微调模型。

效果：

• 精度提升：更好解读医学文本。
• 资源高效：无需大量算力即可适配。

2. 多语言模型

场景：

• 扩展语言支持：为现有模型添加低资源语言。

方法：

• 为每种语言训练适配器。

效果：

• AI 更易普及：无需重训即可支持更多语言。
• 节约成本：添加新语言所需资源低。

3. 小样本学习

场景：

• 新任务数据有限：在现有数据集中分类新类别。

方法：

• 提示微调或 P-Tuning：通过提示引导模型。

效果：

• 快速适应：用极少数据快速调整模型。
• 性能保障：可达可接受准确率。

4. 边缘部署

场景：

• 移动设备上部署 AI：智能手机或 IoT 端运行 AI 应用。

方法：

• BitFit 或 LoRA：微调轻量模型便于边缘部署。

效果：

• 高效：所需内存与算力更低。
• 强大功能：无需依赖服务器即可实现 AI 能力。

5. 快速原型开发

场景：

• 测试新想法：研究中快速尝试不同任务。

方法：

• PEFT 技术：用适配器或提示微调快速微调模型。

效果：

• 高效迭代：加快实验测试速度。
• 节省成本：减少资源消耗。

技术要点

PEFT 方法选择

• 任务类型：不同方法适应不同任务。
  • 适配器：适合领域迁移。
  • 提示微调：文本生成类任务表现良好。
• 模型兼容性：确保所选 PEFT 方法与模型架构兼容。
• 资源状况：评估可用的计算资源。

超参数调整

• 学习率：根据 PEFT 方法适当调整。
• 模块规模：适配器和 LoRA 的规模会影响性能。

与训练流水线集成

• 框架支持：PyTorch、TensorFlow 等主流框架均支持 PEFT。
• 模块化设计：采用模块化便于集成与测试。

挑战与注意事项

• 欠拟合：参数太少可能无法拟合任务复杂性。
  解决方案：尝试不同模块规模和层级。
• 数据质量：PEFT 无法弥补劣质数据。
  解决方案：确保数据干净且具代表性。
• 过度依赖预训练知识：部分任务需更多适配。
  解决方案：尝试混合方法或局部全量微调。

最佳实践

数据处理

• 高质量数据集：关注数据相关性与清晰度。
• 数据增强：采用扩充手段丰富小样本数据。

正则化手段

• Dropout：在 PEFT 模块中防止过拟合。
• 权重衰减：参数正则化保持模型稳定。

监控与评估

• 验证集：训练期间持续监控性能。
• 偏差检查：评估微调过程引入的潜在偏见。

进阶话题

基于超网络的 PEFT

• 概念：利用超网络生成任务特定参数。
• 优势：动态适配多任务场景。

PEFT 方法融合

• 复合技术：结合适配器与 LoRA 或提示微调。
• 优化策略：联合优化多种 PEFT 模块。

常见问题解答

1. PEFT 方法能否应用于所有模型？
   虽然主要是为 Transformer 架构开发，但部分 PEFT 方法经调整后也可用于其他模型。

2. PEFT 性能能否总与全量微调相当？
   多数情况下 PEFT 能取得相近效果，但在极为专业的任务上，全量微调可能略有提升。

3. 如何选用合适的 PEFT 方法？
   需考虑任务要求、资源状况和历史经验。

4. PEFT 适用于大规模部署吗？
   适用，PEFT 的高效性非常适合模型在多任务、多领域的大规模扩展。

关键术语

• 迁移学习：在新任务上利用预训练模型。
• 大型语言模型（LLMs）：在大规模文本数据上训练的 AI 模型。
• 灾难性遗忘：新训练过程中已学知识丢失。
• 小样本学习：仅用少量样本进行学习。
• 预训练参数：模型初始训练时学得的参数。

参数高效微调相关研究

近期关于参数高效微调的技术取得了诸多科学进展，以下为部分代表性研究论文摘要，揭示了提升 AI 模型训练效率的创新方法：

1. Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates（发表于：2024-02-28）
   作者：Kaifeng Lyu, Haoyu Zhao, Xinran Gu, Dingli Yu, Anirudh Goyal, Sanjeev Arora
   本文研究了大型语言模型（LLMs）微调后的一致性安全性。作者指出，即便是良性的微调也可能带来不安全行为。通过在 Llama 2-Chat 和 GPT-3.5 Turbo 等多个聊天模型上的实验，发现提示模板对于安全对齐至关重要。文中提出了“纯微调，安全测试”原则，即微调时不加安全提示，但在测试阶段加入安全提示以缓解不安全行为。实验结果表明，该策略能大幅减少风险行为，凸显了提示模板的重要性。阅读全文

2. Tencent AI Lab – Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task（发表于：2022-10-17）
   作者：Zhiwei He, Xing Wang, Zhaopeng Tu, Shuming Shi, Rui Wang
   本文介绍了腾讯 AI Lab 和上海交通大学联合开发的 WMT22 英语-利沃尼亚低资源翻译系统。该系统采用 M2M100，并结合跨模型词嵌入对齐、渐进适应等新技术。研究表明，采集验证集微调和在线回译能进一步提高 BLEU 分数，有效提升翻译准确率，弥补 Unicode 归一化带来的低估。阅读全文

3. Towards Being Parameter-Efficient: A Stratified Sparsely Activated Transformer with Dynamic Capacity（发表于：2023-10-22）
   作者：Haoran Xu, Maha Elbayad, Kenton Murray, Jean Maillard, Vedanuj Goswami
   本文关注稀疏激活（MoE）模型的参数效率问题。作者提出了分层专家混合（SMoE）结构，为不同 token 分配动态容量，提升参数效率。该方法在多语言机器翻译基准测试中表现优异，显示了在降低计算负担下提升模型训练效果的潜力。阅读全文