LoRA（Low-Rank Adaptation）是一种高效的微调技术，主要用于大型预训练语言模型的适应和优化。其核心思想是通过引入少量的额外参数来实现模型的微调，而不是改变模型的全部参数。具体来说，LoRA通过对大型模型的权重矩阵进行隐式的低秩转换，从而降低计算和存储的开销。
LoRA的主要优势在于它能够大幅降低微调过程中所需的GPU资源需求和计算复杂度。此外，LoRA通过在原始预训练语言模型旁边增加一个旁路，并训练降维与升维矩阵来模拟内在秩，实现了高效的参数微调。这种方法不仅减少了参数量，还节省了显存，使得训练好的权重可以合并到原始权重上，推理架构不需要作出改变。
例如，在GPT-3 175B模型上，LoRA可以将可训练参数数量减少10,000倍，同时将GPU内存需求减少3倍。尽管LoRA减少了可训练参数的数量，但它在RoBERTa、DeBERTa、GPT-2和GPT-3等模型上的性能表现与全参数微调相当或更好。这表明LoRA不仅提高了效率，而且保持了模型的质量。
然而，LoRA也存在一些局限性。例如，LoRA块的大小是固定的，不能在训练后修改（如果需要改变LoRA块的秩，则必须从头开始重新训练）。此外，优化LoRA块的秩需要大量的搜索和努力。为了解决这些问题，研究者提出了动态低秩适应（DyLoRA）技术，该技术通过在不同秩下对适配器模块的学习表示进行排序，训练一系列秩的LoRA块，从而至少可以将训练速度提高4到7倍，而且不会显著牺牲性能。
此外，还有研究提出了通用化的LoRA（GLoRA），它通过使用一个通用的提示模块来优化预训练模型权重并调整中间激活，提供了更多的灵活性和能力，适用于多种任务和数据集。GLoRA还采用了可扩展的、模块化的、逐层结构搜索，学习每个层的个体适配器，展示了强大的迁移学习、少样本学习和领域泛化能力。
LoRA定义
低秩适应方法
用于大型预训练语言模型的适应和优化
微调原理
通过引入额外参数实现微调
对原模型参数进行低秩转换，降低计算复杂度
分解原始参数矩阵为较小矩阵乘积形式
主要优势
减少GPU资源需求和计算复杂度
节省显存，减少参数量
推理架构无需改变即可使用训练好的权重
应用场景
大规模预训练模型的适应和优化
适合任何通过W ∈ R^m×n参数化的线性操作
实施步骤
冻结预训练模型的权重
在每个Transformer块中注入可训练层（秩-分解矩阵）
与其他技术的比较
相比SFT、P-tuning v2等，LoRA通过低秩分解减少参数量，节省成本且效果接近全模型微调
资讯来源：Metaso.cn
2 个月前
BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年发布的一种预训练语言模型，基于Transformer架构，用于自然语言处理（NLP）任务。它的双向（Bidirectional）上下文理解能力使其在文本理解、问答系统、文本分类等任务中表现卓越。 BERT的核心特点 1. 双向上下文理解 传统语言模型（如GPT）通常是单向的（从左到右或从右到左）。 BERT采用Masked Language Model（MLM，掩码语言模型），即在训练过程中随机遮挡部分词语，并让模型根据上下文预测这些被遮挡的词，从而实现双向理解。 2. 预训练+微调（Pre-training & Fine-tuning） 预训练（Pre-training）：在海量无标注文本数据（如维基百科、BooksCorpus）上进行训练，使BERT学会通用的语言知识。 微调（Fine-tuning）：针对具体任务（如情感分析、问答系统、命名实体识别）进行轻量级训练，只需少量数据，即可获得良好效果。 3. 基于Transformer架构 BERT使用多层Transformer编码器，通过自注意力（Self-Attention）机制高效建模文本中的远程依赖关系。 Transformer结构相比RNN和LSTM，更适合并行计算，处理长文本能力更强。 BERT的两大核心任务 Masked Language Model（MLM，掩码语言模型） 在训练时，随机遮挡输入文本中的15%单词，让模型根据上下文预测这些词。 这种方法使BERT学习到更深层次的语言表示能力。 Next Sentence Prediction（NSP，下一句预测） 让模型判断两个句子是否是相邻句： IsNext（相关）：句子A和B是原始文本中相连的句子。 NotNext（无关）：句子B是随机选择的，与A无关。 这一任务有助于提高BERT在问答、阅读理解等任务中的能力。 BERT的不同版本 BERT-Base：12层Transformer（L=12）、隐藏层768维（H=768）、12个自注意力头（A=12），总参数110M。 BERT-Large：24层Transformer（L=24）、隐藏层1024维（H=1024）、16个自注意力头（A=16），总参数340M。 DistilBERT：更小更快的BERT变体，参数量约为BERT的一半，但性能接近。 RoBERTa：改进版BERT，去除了NSP任务，并采用更大数据量进行训练，提高了性能。 BERT的应用 BERT可以应用于多种NLP任务，包括： 文本分类（如垃圾邮件检测、情感分析） 命名实体识别（NER）（如人名、地名、组织识别） 阅读理解（QA）（如SQuAD问答） 文本摘要 机器翻译 搜索引擎优化（SEO）（Google已将BERT用于搜索算法） BERT的影响 推动NLP进入预训练时代：BERT的成功引发了NLP领域的“预训练+微调”范式（如GPT、T5、XLNet等）。 提升搜索引擎性能：Google 在搜索引擎中使用BERT，提高查询理解能力。 加速AI技术发展：BERT的开源推动了自然语言处理技术在学术界和工业界的广泛应用。 总结 BERT是Transformer架构的双向预训练模型，通过MLM和NSP任务学习通用语言知识，在NLP领域取得巨大突破。它的成功奠定了现代大模型预训练+微调的范式，被广泛用于搜索、问答、文本分类等任务。
2 个月前
模型微调（Fine-tuning）与模型蒸馏（Knowledge Distillation）的比较 1. 定义与核心思想 模型微调 在预训练模型的基础上，通过目标任务的数据调整模型参数（通常仅调整部分层或全网络），使其适应新任务。例如，将ImageNet预训练的ResNet用于医学图像分类时，微调全连接层。 模型蒸馏 将大型教师模型（Teacher）的知识迁移到更小的学生模型（Student），使学生模仿教师的输出或中间特征。核心是通过软化输出（如带温度的Softmax）或特征对齐传递知识，实现模型压缩或性能提升。 2. 共同点 迁移学习：均利用已有模型的知识，避免从头训练。 依赖预训练模型：微调依赖预训练权重初始化，蒸馏依赖教师模型的输出作为监督信号。 提升目标性能：两者均旨在提升模型在目标任务上的表现。 3. 核心差异 -- 4. 优缺点对比 模型微调 ✅ 优点： 简单直接，快速提升目标任务性能 保留预训练模型的表征能力 ❌ 缺点： 模型大小与计算成本不变 小数据任务易过拟合 模型蒸馏 ✅ 优点： 生成轻量级模型，降低推理成本 软标签提供类别间相似性信息 ❌ 缺点： 依赖高质量教师模型 知识迁移设计复杂 5. 应用场景 模型微调： 目标任务与预训练任务相似（如不同领域的图像分类） 数据量中等，需快速适配新任务 模型蒸馏： 资源受限的部署场景（移动端、边缘设备） 利用教师模型提升小模型性能 6. 协同使用 微调教师模型：在目标任务上微调大型模型（如BERT） 蒸馏到学生模型：将知识迁移到轻量学生模型（如TinyBERT） 👉 兼顾性能与效率，适用于工业级部署 7. 总结 选择微调：保持原结构 + 数据充足 选择蒸馏：压缩模型 + 降低计算成本 联合使用：先微调教师，再蒸馏学生
9 个月前
在大模型（如深度学习模型）中，微调（Fine-Tuning）是指在预训练模型的基础上，对模型进行进一步的训练，以适应特定任务或数据集的需求。
9 个月前
LoRA 通过低秩近似的方式，在保持模型性能的同时，显著降低了微调大语言模型的计算和存储成本，提高了训练效率和灵活性。
