在AI Agent体系中,大模型是核心大脑,Memory(记忆)、RAG(检索增强生成)是大模型的能力延伸底座,MCP(模型上下文协议)是工具/能力的标准化调用桥梁,SKILLS(技能)是封装后的可复用任务单元;五者形成「大脑驱动→底座支撑→桥梁连接→单元落地」的层级协作关系,最终让Agent从“单一大模型对话”升级为“有记忆、能检索、可调用工具、懂执行任务”的自主智能体。
所有组件均围绕大模型展开,解决其「无长期记忆、知识过时、不会用工具、能力碎片化、执行无标准」的核心痛点,共同支撑Agent完成复杂、个性化、跨工具的自主决策与执行任务。
先明确每个组件的基础定位,这是理解关联的前提,所有组件的最终目标都是让Agent更智能、更实用、更能落地业务。
五者在Agent中形成清晰的四层架构,从核心到落地层层支撑,无任何一个组件是孤立的,所有外部组件最终都通过MCP桥梁向大模型大脑赋能,再通过SKILLS落地为实际能力。
大模型(决策中枢) → Memory+RAG(能力底座) → MCP(标准化桥梁) → SKILLS(执行单元)
补充:工具(如搜索/Excel/数据库)是SKILLS的底层支撑,属于SKILLS的“执行原料”。
大模型是Agent的核心,但原生能力有明显缺陷,Memory和RAG是大模型的“左膀右臂”,直接解决其最核心的两个痛点,是Agent能实现「个性化、精准化」的基础:
MCP是Agent的“交通规则”,所有组件之间的交互都必须遵循MCP规范,没有MCP,大模型无法调用Memory/RAG/SKILLS,组件之间也无法传递数据:
SKILLS是Agent的“最终产品”,是所有上游组件(大模型、Memory、RAG)的组合封装与落地形式,没有SKILLS,Agent仅有推理/记忆/检索能力,无法完成实际业务任务:
用一个具体的业务场景,还原五者的实时协作过程,更直观理解其关联:
用户向Agent发送指令:“帮我调研2026年AI Agent市场规模,生成一份500字以内的简洁简报,我上次要的报告也是这个风格”
单独的大模型只是“对话工具”,而大模型+Memory+RAG+MCP+SKILLS的组合,让Agent实现了从“只会说”到“会思考、会记忆、会检索、会做事、会复用”的本质升级,这也是AI Agent能落地企业级业务的核心原因:
| 组件 | 核心定位 | 与大模型的关联 | 与MCP的关联 | 与其他组件的核心关联 |
|---|---|---|---|---|
| 大模型 | 决策中枢 | 自身为核心,无依赖 | 按MCP格式调用所有组件 | 驱动Memory/RAG/SKILLS执行 |
| Memory | 记忆系统 | 为大模型提供记忆能力,被大模型调用 | 按MCP格式与所有组件交互 | 为RAG/SKILLS补充个性化信息 |
| RAG | 外置知识库 | 为大模型提供精准知识,被大模型调用 | 按MCP格式与所有组件交互 | 为SKILLS补充专属/实时知识 |
| MCP | 标准化桥梁 | 是大模型与外部组件的通信格式 | 自身为协议,无依赖 | 所有组件的交互都遵循MCP |
| SKILLS | 可复用执行单元 | 封装大模型的推理能力 | 按MCP规范封装与被调用 | 组合调用Memory/RAG/工具,实现能力落地 |
🔚 结语
AI Agent 的真正智能,来自于知识获取(RAG) + 协作协议(MCP) + 执行能力(SKILLS)的统一协同,而不是单一大模型孤立输出。
未来的 Agent 不再是“聪明的回答机器”,而是具备完整认知与动态执行能力的智能体系统——这将是下一阶段智能应用的根本趋势。

1 个月前
Xiaomi-Robotics-0 预训练了大量跨身体机器人轨迹和视觉语言数据,使其能够获得广泛且可推广的动作生成知识,同时保持强大的VLM能力。

1 个月前
在2026年开发AI产品时,搭建一个生产级(production-grade)RAG系统已经不再是“简单接个向量数据库就行”,而是需要系统性工程化思维。以下是从0到1再到生产可用的完整路径,按实际优先级和踩坑顺序组织。 一、生产级RAG ≠ Demo级RAG 的本质区别(2025-2026共识) 维度 Demo级(常见教程) 生产级(真正能上线赚钱) 为什么重要 文档量 几MB ~ 几百页 几万 ~ 几百万文档 / 多模态 / 每天增量更新 决定了分块、索引、召回策略完全不同 召回准确率 60-75% 目标88-95%+(视场景) 差10%召回率,用户体验天差地别 延迟 2-8秒随便 <1.5秒(p95),理想<800ms 用户流失率与延迟呈指数关系 幻觉控制 看运气 需要多重机制把幻觉率压到<5% 企业客户最怕胡说八道 可维护性 脚本跑一遍就行 需要数据质量pipeline、版本控制、监控告警 半年后没人敢碰代码 成本 不care embedding + LLM + vectorDB 每月几千到几十万刀 直接影响商业模式能否跑通 二、2026年主流生产级RAG搭建完整路径(推荐路线) Phase 0:先别写代码,先做这两件事(很多人跳过直接失败) 明确业务成功标准(最重要一步) 准确率目标:≥88%(RAGAS faithfulness & answer relevancy) 幻觉率:<5% 响应时间:p95 < 2秒(或按产品定位) 支持的文档类型:PDF/Word/Excel/网页/Markdown/扫描件/表格/图片? 更新频率:实时 / 每天 / 每周? 用户问题类型:单轮 / 多轮 / 带表格 / 需要推理? 准备评估集(金标准) 至少200-500条 真实用户问题 + 人工标注的完美答案 后续所有优化都拿这个集子打分 Phase 1:数据摄入与预处理(决定天花板,占60%工作量) 现代顺序(2025-2026主流做法): 文档清洗与质量分级(最被低估的一步) 运行一个轻量文档质量打分模型(或规则+小型LLM) 分三类:Clean / Decent / Garbage Garbage类直接人工干预或低权重处理 结构化解析(别直接喂Unstructured) PDF:用Marker / PyMuPDF + table detection(Marker 2025年后很强) Word/Excel:python-docx / pandas 保留层级:标题 → 段落 → 表格 → 图片说明 → 元数据 高级Chunk策略(2026年最核心差异化点) 策略 Chunk大小 适用场景 召回提升 Fixed-size 512 token 快速验证 baseline Semantic 200-800 主流生产 +15-25% Hierarchical 父子chunk 长文档、合同、手册 +20-35% Proposition-based 小粒度命题 法律/医疗/技术文档 +30%+ 推荐起步组合:Semantic + 父子索引 + 100-200 token重叠 Phase 2:Embedding 与 向量存储(2026主流选型) Embedding模型推荐(2026.2月时点性价比排序): bge-m3 / Snowflake Arctic Embed(开源王者) voyage-3-large / Cohere embed-v4(闭源但效果顶尖) text-embedding-3-large(稳定但已被超越) 向量数据库主流选择: 场景 首选数据库 次选 备注 < 100万向量 Chroma / Qdrant本地 PGVector 开发快 100万-1亿 Qdrant / Milvus Weaviate Qdrant 2025-2026口碑最佳 亿级 + 高并发 Pinecone serverless Zilliz Cloud 省心但贵 极致私有化 pgvector + pgvectorscale Milvus standalone 强烈建议:hybrid search(dense + sparse / BM25)几乎成为2026标配。 Phase 3:检索与后处理(拉开差距的关键层) 现代检索流水线(2026主流): 用户问题 ↓ Query分类与改写(是否需要检索?多意图拆分?) ↓ 多路召回(vector + BM25 + 知识图谱等) ↓ 初筛 top-30~100 ↓ 重排序(Cohere Rerank3 / bge-reranker-v2 / flashrank) ↓ 上下文压缩 / 抽取(LLM summarize top-8) ↓ 最终给LLM的上下文(带清晰source引用) Phase 4:生成与防幻觉 Prompt工程模板(必须有): 强制要求:只用提供的内容回答 / 不知道就说不知道 / 标注来源 结构化输出(JSON)便于下游解析 防幻觉组合拳: Self-Check / Self-RAG Corrective RAG Groundedness check(RAGAS / TruLens) 后置事实核查(小模型或规则) Phase 5:评估、监控、迭代闭环(生产级灵魂) 必须上的指标: Retrieval:Recall@K, MRR, NDCG Generation:Faithfulness, Answer Relevancy, Context Precision/Recall End-to-End:用户打分 / A/B测试 / 业务指标(解决率、CSAT) 推荐工具组合(2026主流): 评估:RAGAS / DeepEval / TruLens / Phoenix 监控:LangSmith / Helicone / Phoenix / PromptLayer Orchestration:LangGraph / LlamaIndex Workflows / Haystack / Flowise(低代码) 三、2026年推荐最小可用生产技术栈(性价比最高) 极简但能上线(适合小团队) 解析 → Marker / LlamaParse 向量化 → bge-m3 或 voyage-3 向量库 → Qdrant (docker) 召回+重排 → Qdrant + bge-reranker-v2 框架 → LlamaIndex 或 LangGraph LLM → DeepSeek-R1 / Qwen2.5-72B-Instruct / Claude-3.5-Sonnet (根据预算) 评估 → RAGAS + 人工golden set 进阶企业级(已验证可支撑十万+文档) 加:混合检索 + 父子索引 + query分解 + 多路召回 + 上下文压缩 + corrective RAG + 在线监控 一句话总结2026年RAG哲学: “70%的效果提升来自于数据质量、切块策略和检索后处理;20%来自embedding和重排序模型;只有10%靠换个更强的LLM。” 先把前70%做好,后面自然水到渠成。 ( Grok )

1 个月前
作者: Augusto Marietti(Kong CEO & 联合创始人)、YJ Lu(Teachers’ Venture Growth 总监)、Yiran Wu(Teachers’ Venture Growth 投资分析师) 背景:上下文是新的算力 过去几年,AI 以史无前例的速度发展。从传统机器学习系统跃迁到能写作、编程、推理的生成式 AI 模型,这一变化彻底改变了我们与 AI 的互动方式。但旅程并未结束。 我们正进入一个新的阶段:具备上下文理解与自主行动能力的 Agentic AI(代理式 AI)。它们能自主设定目标、执行任务,并且几乎不需要人工干预。 支撑这一转变的核心是 Model Context Protocol(MCP)模型上下文协议 —— 一个新兴标准,用于将基于提示的生成式 AI 模型连接到真实世界的数据、工具与操作。 上一阶段的问题:缺失的上下文(404) 直到最近,大多数前沿大模型都运行在“围墙花园”中: 它们能理解用户提示并生成文本,但无法标准化地访问个人或企业数据、内部工具、API 或其他关键上下文来源。 企业若想让模型具备上下文能力,只能构建昂贵、脆弱且难以维护的定制集成(“胶水代码”)。 2024 年 11 月,Anthropic 推出开源框架 MCP,旨在通过通用协议将上下文引入 LLM,使其能发现、调用并认证外部系统的 API。 MCP 很快成为行业标准,被 OpenAI、Google 等巨头采用。 随着生态成熟,AI 系统将能在不同工具之间保持上下文,实现可持续的架构。 MCP 如何工作? 在 MCP 之前,每个 LLM 都有自己的插件格式,需要为每个工具写独立的集成代码,形成 N × M 的复杂矩阵。 MCP 将这一矩阵折叠为一个供应商中立的系统,通过定义清晰的角色(host、client、server),让工具能以一致方式被发现与调用。 只需为每个上下文源构建一个 MCP server,任何兼容 MCP 的 AI 助手都能像使用工具箱一样使用它。 流程如下: 用户输入提示 模型解析意图 模型不再“猜测”,而是向 真实上下文 请求信息 MCP client 将意图转为标准化请求 MCP server 执行 API 调用并返回结构化结果 模型基于真实数据生成上下文感知的输出 最重要的是:不再需要 N × M 的胶水代码。 承API之踵,拓更阔之路 科技行业并非第一次需要通用标准来实现规模化。 API 曾是软件互联的关键: 它定义了软件之间如何交流、返回什么、如何安全交换信息。 API 真正爆发是在 REST、JSON、OAuth 等标准化之后,开发者终于能以可移植、可预测的方式构建软件。 这催生了 Stripe、Twilio、Plaid 等“API 即业务”的公司。 MCP 正在走类似的道路: 标准化模型访问工具与数据的方式。 随着 MCP 采用率提升,我们将看到 API 生态曾经出现的配套设施: 注册表、可观测性、审批系统、策略引擎、更好的工具链等。 我们的判断:上下文 + API + 工作流 = Agentic AI 我们押注两个方向: Anthropic 的 MCP 正成为连接 LLM 与工具/数据的行业标准,为代理式工作流与多代理系统(A2A)奠定基础。 Kong 将其在 API 管理领域的领先地位扩展到 AI 连接层,成为企业系统与新一代 AI 代理之间的“连接组织”。 Anthropic Anthropic 推出 MCP,是因为 AI 的未来不仅在于更大的模型,还在于将模型连接到正确的上下文。 2025 年 5 月,Anthropic 发布 Integrations,将 MCP 支持扩展到 Claude API,使 Claude 能无代码连接任何远程 MCP server。 未来路线图从单一代理转向多代理协作(A2A): 一个代理获取客户数据 一个代理做投资组合分析 一个代理生成合规报告 全部通过 MCP 与 A2A 无缝协调 AI 将从单一助手变成专业代理网络。 Kong Kong 正将其 API 管理平台扩展到 AI 连接层,推出: AI Gateway:将 LLM/MCP/API 调用视为 API 流量进行路由、安全、监控与优化 MCP Server for Konnect:将企业系统(API、服务、分析等)通过 MCP 暴露给 AI 代理,使其能用自然语言查询并获取洞察 Kong 的愿景是: “没有 API,就没有 AI。” MCP 的下一章:Linux 基金会托管 2025 年 12 月,Anthropic 将 MCP 捐赠给 Linux 基金会旗下的新机构 Agentic AI Foundation(AAIF)。 AAIF 由 Anthropic、Block、OpenAI 共同创立,并获得 Google、Microsoft、AWS、Cloudflare、Bloomberg 支持。 MCP 的开源治理模式类似 Linux、Kubernetes、Node.js、PyTorch 等项目,预计将加速其采用。 目前 MCP 已实现: 每月 9700 万+ SDK 下载 1 万+ 活跃服务器 深度集成到 Claude、ChatGPT、Gemini 等产品 MCP 正从开发者框架走向下一代 AI 工作流的关键基础设施。 未来的机会 MCP 通过提供一个中立、通用的语言,让模型能访问工具、数据与系统,从而降低摩擦、提升互操作性。 随着采用率提升,我们将看到类似 API 生态的爆发: 新商业模式 新工具链 新应用类别 但机会伴随风险: 工具滥用 数据暴露 安全治理需求 生态必须在开放与安全之间取得平衡。 标准本身不会改变世界,生态系统才会。 如果成功,MCP 将成为未来几十年 AI 智能如何被封装、共享与扩展的基础设施。 (文章来源otpp.com )

1 个月前
命令优先,而非图形界面。

2 个月前
这正是当前 AI 视频生成领域最前沿的突破方向。你提出的这个问题,本质上是在问如何让 AI 从“画皮”进阶到“画骨”——即不仅画面好看,运动逻辑也要符合现实世界的物理法则。 结合最新的技术进展(如 2025 年的相关研究),要让 AI 生成符合真实规律的视频,我们可以通过以下几种“高级语言描述法”来与模型沟通: 1. 使用“力提示”技术:像导演一样指挥物理力 🎬 这是谷歌 DeepMind 等团队提出的一种非常直观的方法。你不需要懂复杂的物理公式,只需要在提示词中描述“力”的存在。 描述力的方向与强度: 你可以直接告诉 AI 视频中存在某种力。例如,不只是写“旗帜飘动”,而是写“旗帜在强风中剧烈飘动”或“气球被轻轻向上吹起”。 区分全局力与局部力: 全局力(风、重力): 影响整个画面。例如:“Global wind force blowing from left to right”(从左到右的全局风力)。 局部力(碰撞、推力): 影响特定点。例如:“A ball rolling after being kicked”(球被踢后滚动)。 效果: AI 模型(如 CogVideoX 结合特定模块)能理解这些力的矢量场,从而生成符合动力学的运动,比如轻的物体被吹得更远,重的物体移动缓慢。 2. 调用“思维链”与物理常识:让 LLM 当质检员 🧠 有时候直接描述很难精准,我们可以借助大型语言模型(LLM)作为“中间人”来审核物理逻辑。这种方法(如匹兹堡大学的 PhyT2V)利用 LLM 的推理能力。 分步描述(Chain-of-Thought): 你可以在提示词中要求 AI “思考过程”。例如,不只是生成“水倒入杯子”,而是引导它:“首先,水从壶嘴流出,形成抛物线;然后,水撞击杯底,产生涟漪;最后,水位上升,流速减慢。” 明确物理规则: 在提示词中直接嵌入物理常识。例如:“根据重力加速度,球下落的速度应该越来越快”或“流体具有粘性,流动时会有拉丝效果”。 回溯修正: 如果第一版视频不符合物理规律(比如球浮在空中),你可以通过反馈指令让系统进行“回溯推理”,识别出视频与物理规则的语义不匹配,并自动修正提示词重新生成。 3. 参数化控制:像物理老师一样给定数值 📏 如果你需要极其精确的物理运动(例如做科学实验模拟或电影特效),可以使用类似普渡大学 NewtonGen 框架的思路,直接给定物理参数。 设定初始状态: 在语言描述中包含具体的物理量。 位置与速度: “一个小球从坐标 (0, 10) 以初速度 5m/s 水平抛出”。 角度与旋转: “一个陀螺以角速度 10rad/s 旋转”。 质量与材质: “一个轻质的泡沫块”与“一个沉重的铁球”在相同力作用下的反应是不同的。 指定运动类型: 明确指出是“匀速直线运动”、“抛物线运动”还是“圆周运动”。AI 会根据这些语义,调用内置的“神经物理引擎”来计算轨迹,确保视频中的物体运动轨迹符合牛顿定律。 4. 结合物理引擎的混合描述:虚实结合 🧩 更高级的方法是让语言描述直接驱动物理模拟器(如 Blender, Genesis),然后将结果渲染成视频。 描述物理属性: 在提示词中指定物体的密度、弹性系数、摩擦力等。 事件驱动描述: 描述物体间的相互作用。例如:“一个刚性的小球撞击一个柔软的布料,布料发生形变并包裹住小球”。 通用物理引擎: 像 Genesis 这样的新模型,允许你用自然语言描述复杂的物理场景(如“一滴水滑落”),它能直接生成符合流体动力学的模拟数据,而不仅仅是看起来像视频的图像帧。 📝 总结:如何写出“物理级”提示词? 为了更直观地掌握这种描述方式,这里总结了一个对比表: 一句话总结: 要用语言描述物理运动,关键在于将“视觉结果”转化为“物理过程”。多用描述力(风、推力)、属性(重力、粘性)、参数(速度、角度)的词汇,甚至直接告诉 AI 要遵循某种物理规律,这样生成的视频才会有真实的“重量感”和“真实感”。

2 个月前
利用大语言模型(LLM)构建虚拟的“世界模型”(World Models),以此作为 KI 智能体(AI Agents)积累经验和训练的场所。 核心概念:让 LLM 成为 AI 的“模拟练习场” 目前,开发能在现实世界执行复杂任务的 AI 智能体(如机器人、自动化软件助手)面临一个巨大挑战:获取实际操作经验的成本极高且充满风险。 如果让机器人在物理世界中通过“试错”来学习,不仅效率低下,还可能造成硬件损毁。 研究人员提出的新思路是:利用已经掌握了海量人类知识的大语言模型(LLM),由它们通过文字或代码生成一个模拟的“世界模型”。 1. 什么是“世界模型”? 世界模型是一种模拟器,它能预测特定行为可能产生的结果。 传统方式: 需要开发者手动编写复杂的代码来定义物理法则和环境规则。 LLM 驱动方式: 预训练的大模型(如 GPT-4 或 Claude)已经具备了关于世界运行逻辑的知识(例如:知道“推倒杯子水会洒”)。研究人员可以利用 LLM 自动生成这些模拟环境的逻辑。 2. 研究的具体内容 来自上海交通大学、微软研究院、普林斯顿大学和爱丁堡大学的国际研究团队对此进行了深入研究。他们测试了 LLM 在不同环境下充当模拟器的能力: 家庭模拟(Household Simulations): 模拟洗碗、整理房间等日常任务。 电子商务网站(E-Commerce): 模拟购物行为、库存管理等逻辑。 3. 关键发现: 强结构化环境表现更佳: 在规则清晰、逻辑严密的场景(如简单的文本游戏或特定流程)中,LLM 驱动的模拟效果非常好。 开放世界的局限性: 对于像社交媒体或复杂的购物网站这类高度开放的环境,LLM 仍需要更多的训练数据和更大的模型参数才能实现高质量的模拟。 真实观察的修正: 实验显示,如果在 LLM 模拟器中加入少量来自现实世界的真实观察数据,模拟的质量会显著提升。 对 AI 行业的意义 加速 AI 智能体进化: 这种方法让 AI 智能体可以在几秒钟内完成数千次的虚拟实验,极大加快了学习速度。 降低训练门槛: 开发者不再需要搭建昂贵的物理实验室,只需要调用 LLM 接口就能创建一个“训练场”。 2026 年的趋势: 这预示着 2026 年及以后,“自主智能体”将成为 AI 发展的核心,而这种“基于模拟的学习”将是通往通用人工智能(AGI)的关键一步。 总结 该研究证明,LLM 不仅仅是聊天机器人,它们可以演变成复杂的“数字世界创造者”。在这个虚拟世界里,新一代的 AI 智能体可以安全、低成本地反复磨练技能,最终再将学到的能力应用到现实生活和工作中。 ( 根据海外媒体编译 )

3 个月前
Nova 2是亚马逊于2025年12月在re:Invent 全球大会上推出的新一代基础模型家族,共包含4款模型,均需通过Amazon Bedrock平台使用,兼顾行业领先的性价比与多场景适配性,具体介绍如下 : 1. Nova 2 Lite: 主打快速、高性价比的日常推理任务,可处理文本、图像和视频输入并生成文本。能通过调节“思考”深度平衡智能、速度与成本,适合客服聊天机器人、文档处理等场景。在基准测试中,它对标Claude Haiku 4.5、GPT - 5 Mini等模型,多数项目表现持平或更优。 2. Nova 2 Pro(预览版): 是该家族中智能度最高的推理模型,可处理文本、图像、视频和语音输入并生成文本。适配代理编码、长期规划等复杂任务,还能作为“教师模型”向小型模型传递能力,在与Claude Sonnet 4.5、Gemini 2.5 Pro等主流模型的对比中,多项基准测试表现出色。 3. Nova 2 Sonic: 专注端到端语音交互的模型,能实现类人化实时对话。它支持多语言与丰富音色,拥有100万token上下文窗口,可支撑长时交互,还能与Amazon Connect等语音服务、对话框架无缝集成,适配客服、AI助手等语音场景。 4. Nova 2 Omni: 业内首款统一多模态推理与生成模型,可处理文本、图像等多种输入,还能同时生成文本和图像。它能一次性处理海量多格式内容,比如数百页文档、数小时音频等,适合营销素材一站式制作等需要整合多类信息的场景。 这4款模型均具备100万token上下文窗口,且内置网页查找和代码执行能力,能保障回答的时效性与实用性 。

3 个月前
LoRA(Low-Rank Adaptation)是一种对大模型进行“轻量级微调”的技术。
Minimax(海螺AI)已由大模型名Minimax替换原海螺AI。现海螺AI为Minimax视频生成产品名。
海螺AI