LoRA（Low-Rank Adaptation）是一种高效的微调技术，主要用于大型预训练语言模型的适应和优化。其核心思想是通过引入少量的额外参数来实现模型的微调，而不是改变模型的全部参数。具体来说，LoRA通过对大型模型的权重矩阵进行隐式的低秩转换，从而降低计算和存储的开销。
LoRA的主要优势在于它能够大幅降低微调过程中所需的GPU资源需求和计算复杂度。此外，LoRA通过在原始预训练语言模型旁边增加一个旁路，并训练降维与升维矩阵来模拟内在秩，实现了高效的参数微调。这种方法不仅减少了参数量，还节省了显存，使得训练好的权重可以合并到原始权重上，推理架构不需要作出改变。
例如，在GPT-3 175B模型上，LoRA可以将可训练参数数量减少10,000倍，同时将GPU内存需求减少3倍。尽管LoRA减少了可训练参数的数量，但它在RoBERTa、DeBERTa、GPT-2和GPT-3等模型上的性能表现与全参数微调相当或更好。这表明LoRA不仅提高了效率，而且保持了模型的质量。
然而，LoRA也存在一些局限性。例如，LoRA块的大小是固定的，不能在训练后修改（如果需要改变LoRA块的秩，则必须从头开始重新训练）。此外，优化LoRA块的秩需要大量的搜索和努力。为了解决这些问题，研究者提出了动态低秩适应（DyLoRA）技术，该技术通过在不同秩下对适配器模块的学习表示进行排序，训练一系列秩的LoRA块，从而至少可以将训练速度提高4到7倍，而且不会显著牺牲性能。
此外，还有研究提出了通用化的LoRA（GLoRA），它通过使用一个通用的提示模块来优化预训练模型权重并调整中间激活，提供了更多的灵活性和能力，适用于多种任务和数据集。GLoRA还采用了可扩展的、模块化的、逐层结构搜索，学习每个层的个体适配器，展示了强大的迁移学习、少样本学习和领域泛化能力。
LoRA定义
低秩适应方法
用于大型预训练语言模型的适应和优化
微调原理
通过引入额外参数实现微调
对原模型参数进行低秩转换，降低计算复杂度
分解原始参数矩阵为较小矩阵乘积形式
主要优势
减少GPU资源需求和计算复杂度
节省显存，减少参数量
推理架构无需改变即可使用训练好的权重
应用场景
大规模预训练模型的适应和优化
适合任何通过W ∈ R^m×n参数化的线性操作
实施步骤
冻结预训练模型的权重
在每个Transformer块中注入可训练层（秩-分解矩阵）
与其他技术的比较
相比SFT、P-tuning v2等，LoRA通过低秩分解减少参数量，节省成本且效果接近全模型微调
资讯来源：Metaso.cn
5 个月前
LoRA（Low-Rank Adaptation）是一种对大模型进行“轻量级微调”的技术。
1 年前
BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年发布的一种预训练语言模型，基于Transformer架构，用于自然语言处理（NLP）任务。它的双向（Bidirectional）上下文理解能力使其在文本理解、问答系统、文本分类等任务中表现卓越。 BERT的核心特点 1. 双向上下文理解 传统语言模型（如GPT）通常是单向的（从左到右或从右到左）。 BERT采用Masked Language Model（MLM，掩码语言模型），即在训练过程中随机遮挡部分词语，并让模型根据上下文预测这些被遮挡的词，从而实现双向理解。 2. 预训练+微调（Pre-training & Fine-tuning） 预训练（Pre-training）：在海量无标注文本数据（如维基百科、BooksCorpus）上进行训练，使BERT学会通用的语言知识。 微调（Fine-tuning）：针对具体任务（如情感分析、问答系统、命名实体识别）进行轻量级训练，只需少量数据，即可获得良好效果。 3. 基于Transformer架构 BERT使用多层Transformer编码器，通过自注意力（Self-Attention）机制高效建模文本中的远程依赖关系。 Transformer结构相比RNN和LSTM，更适合并行计算，处理长文本能力更强。 BERT的两大核心任务 Masked Language Model（MLM，掩码语言模型） 在训练时，随机遮挡输入文本中的15%单词，让模型根据上下文预测这些词。 这种方法使BERT学习到更深层次的语言表示能力。 Next Sentence Prediction（NSP，下一句预测） 让模型判断两个句子是否是相邻句： IsNext（相关）：句子A和B是原始文本中相连的句子。 NotNext（无关）：句子B是随机选择的，与A无关。 这一任务有助于提高BERT在问答、阅读理解等任务中的能力。 BERT的不同版本 BERT-Base：12层Transformer（L=12）、隐藏层768维（H=768）、12个自注意力头（A=12），总参数110M。 BERT-Large：24层Transformer（L=24）、隐藏层1024维（H=1024）、16个自注意力头（A=16），总参数340M。 DistilBERT：更小更快的BERT变体，参数量约为BERT的一半，但性能接近。 RoBERTa：改进版BERT，去除了NSP任务，并采用更大数据量进行训练，提高了性能。 BERT的应用 BERT可以应用于多种NLP任务，包括： 文本分类（如垃圾邮件检测、情感分析） 命名实体识别（NER）（如人名、地名、组织识别） 阅读理解（QA）（如SQuAD问答） 文本摘要 机器翻译 搜索引擎优化（SEO）（Google已将BERT用于搜索算法） BERT的影响 推动NLP进入预训练时代：BERT的成功引发了NLP领域的“预训练+微调”范式（如GPT、T5、XLNet等）。 提升搜索引擎性能：Google 在搜索引擎中使用BERT，提高查询理解能力。 加速AI技术发展：BERT的开源推动了自然语言处理技术在学术界和工业界的广泛应用。 总结 BERT是Transformer架构的双向预训练模型，通过MLM和NSP任务学习通用语言知识，在NLP领域取得巨大突破。它的成功奠定了现代大模型预训练+微调的范式，被广泛用于搜索、问答、文本分类等任务。
1 年前
模型微调（Fine-tuning）与模型蒸馏（Knowledge Distillation）的比较 1. 定义与核心思想 模型微调 在预训练模型的基础上，通过目标任务的数据调整模型参数（通常仅调整部分层或全网络），使其适应新任务。例如，将ImageNet预训练的ResNet用于医学图像分类时，微调全连接层。 模型蒸馏 将大型教师模型（Teacher）的知识迁移到更小的学生模型（Student），使学生模仿教师的输出或中间特征。核心是通过软化输出（如带温度的Softmax）或特征对齐传递知识，实现模型压缩或性能提升。 2. 共同点 迁移学习：均利用已有模型的知识，避免从头训练。 依赖预训练模型：微调依赖预训练权重初始化，蒸馏依赖教师模型的输出作为监督信号。 提升目标性能：两者均旨在提升模型在目标任务上的表现。 3. 核心差异 -- 4. 优缺点对比 模型微调 ✅ 优点： 简单直接，快速提升目标任务性能 保留预训练模型的表征能力 ❌ 缺点： 模型大小与计算成本不变 小数据任务易过拟合 模型蒸馏 ✅ 优点： 生成轻量级模型，降低推理成本 软标签提供类别间相似性信息 ❌ 缺点： 依赖高质量教师模型 知识迁移设计复杂 5. 应用场景 模型微调： 目标任务与预训练任务相似（如不同领域的图像分类） 数据量中等，需快速适配新任务 模型蒸馏： 资源受限的部署场景（移动端、边缘设备） 利用教师模型提升小模型性能 6. 协同使用 微调教师模型：在目标任务上微调大型模型（如BERT） 蒸馏到学生模型：将知识迁移到轻量学生模型（如TinyBERT） 👉 兼顾性能与效率，适用于工业级部署 7. 总结 选择微调：保持原结构 + 数据充足 选择蒸馏：压缩模型 + 降低计算成本 联合使用：先微调教师，再蒸馏学生
1 年前
在大模型（如深度学习模型）中，微调（Fine-Tuning）是指在预训练模型的基础上，对模型进行进一步的训练，以适应特定任务或数据集的需求。
21 天前
AiPPT: 一句话、一分钟、一键搞定
28 天前
Ralph 就是一个让 AI "自己干活直到做完"的循环机制，特别适合复杂的编程任务，解放人力。这里介绍具体怎么搭建和使用 Ralph 循环。 📋 前置准备 你需要准备以下内容： 工具 用途 Claude Code Anthropic 的 AI 编程助手 CLI Docker Desktop 提供隔离的沙盒环境 Anthropic API Key 调用 Claude API 🛠️ 搭建步骤 方法一：使用 Claude Code 插件（推荐） Step 1: 安装 Claude Code # 安装 Claude Code CLI npm install -g @anthropic-ai/claude-code Step 2: 初始化项目 mkdir my-ralph-project cd my-ralph-project claude init Step 3: 添加插件市场 claude plugins add-marketplace Step 4: 安装 Ralph Wiggum 插件 claude plugins install ralph-wiggum Step 5: 配置 Stop Hook 在 .claude/hooks/ 目录下创建 stop-hook.json： { "hook_type": "stop", "decision": "block", "conditions": { "check_tests": true, "check_type_errors": true, "check_git_changes": true }, "max_iterations": 20, "prompt": "任务未完成，请继续迭代修复问题" } 方法二：手动搭建（完全控制） Step 1: 创建项目结构 my-ralph-project/ ├── .claude/ │ ├── hooks/ │ │ └── stop-hook.sh │ ├── skills/ │ │ └── ralph-loop.json │ └── config.json ├── prd/ │ └── requirements.json └── workspace/ Step 2: 配置核心文件 config.json - 核心配置 { "max_iterations": 15, "auto_commit": true, "run_tests_after_each_iteration": true, "stop_conditions": { "all_tests_pass": true, "no_type_errors": true, "prd_completed": true } } skills/ralph-loop.json - 技能定义 { "name": "ralph-loop", "description": "自主迭代循环实现 PRD 任务", "trigger": "when_task_incomplete", "actions": [ "analyze_current_state", "identify_blockers", "fix_issues", "run_tests", "commit_if_passing" ] } hooks/stop-hook.sh - Stop Hook 脚本 #!/bin/bash # 检查测试是否通过 TESTS_PASS=$(npm test 2>&1 | grep -c "passed") # 检查是否有类型错误 TYPE_ERRORS=$(npx tsc --noEmit 2>&1 | grep -c "error") # 检查 PRD 是否完成 PRD_COMPLETE=$(node check-prd.js) if [ "$TESTS_PASS" -eq 0 ] || [ "$TYPE_ERRORS" -gt 0 ] || [ "$PRD_COMPLETE" = "false" ]; then echo "BLOCK: 任务未完成，继续迭代" exit 1 else echo "ALLOW: 任务已完成" exit 0 fi Step 3: 准备 PRD 文件 prd/requirements.json { "project_name": "My Feature", "tasks": [ { "id": 1, "description": "创建用户登录页面", "criteria": ["表单验证正常", "API 调用成功", "错误处理完善"], "status": "pending" }, { "id": 2, "description": "实现用户注册功能", "criteria": ["邮箱验证", "密码强度检查", "重复密码确认"], "status": "pending" } ] } 🚀 使用方法 启动 RALPH 循环 # 方法一：插件方式 claude run --skill ralph-loop --prd ./prd/requirements.json # 方法二：Docker 隔离环境 docker run -it \ -v $(pwd):/workspace \ -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \ claude-ralph:latest 监控循环状态 # 查看当前迭代次数 cat .ralph/iteration_count # 查看任务完成状态 cat .ralph/task_status.json # 查看日志 tail -f .ralph/loop.log 🔧 高级配置 1. 自定义 Stop Hook 规则 { "stop_conditions": { "all_tests_pass": { "enabled": true, "command": "npm test", "success_pattern": "all tests passed" }, "no_lint_errors": { "enabled": true, "command": "npm run lint", "success_pattern": "no problems" }, "coverage_threshold": { "enabled": true, "threshold": 80 } } } 2. 添加代码审查步骤 { "after_each_iteration": [ "run_tests", "run_linter", "code_review", "commit_if_passing" ], "code_review_prompt": "审查代码质量、安全性、性能问题" } 3. 设置成本控制 { "cost_limits": { "max_tokens_per_iteration": 50000, "max_total_cost": 50, "alert_at_cost": 30 } } 📊 典型工作流程 ┌─────────────────────────────────────────────┐ │ 1. Claude 读取 PRD 任务列表 │ └─────────────────┬───────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ 2. 选择下一个待完成任务 │ └─────────────────┬───────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ 3. 实现代码、编写测试 │ └─────────────────┬───────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ 4. 运行测试套件 │ └─────────────────┬───────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ 5. Stop Hook 检查是否完成 │ │ • 测试通过？ │ │ • 无类型错误？ │ │ • PRD 要求满足？ │ └─────────────────┬───────────────────────────┘ ↓ ┌───────┴───────┐ ↓ ↓ 未完成 完成 ↓ ↓ 返回步骤 2 结束循环 💡 最佳实践 建议 说明 PRD 要清晰 任务描述具体、可验证，避免模糊需求 设置最大迭代 防止无限循环消耗过多成本 使用 Docker 隔离环境，避免污染本地系统 定期检查 每 10 轮查看一次进度和日志 成本监控 设置预算警报，避免超支 ⚠️ 注意事项 成本控制：每次迭代消耗 tokens，长时间运行成本较高 质量检查：AI 可能"认为"完成但实际有 bug，需要严格测试 安全边界：在沙盒环境运行，避免 AI 误删重要文件 人工介入：复杂任务仍需人工审查结果
28 天前
Ralph Loop 是一种让 AI 自主迭代的机制，主要用于解决 AI 编程助手"半途而废"的问题。
1 个月前
OpenClaw 本质是“开发者基础设施”，而非面向大众的 SaaS 产品。
Minimax（海螺AI）已由大模型名Minimax替换原海螺AI。现海螺AI为Minimax视频生成产品名。
海螺AI