MiniRAG

港大轻量级RAG系统

开发框架

1 年前

7659

640

MiniRAG 是香港大学数据科学实验室（HKUDS）开发的一种新型检索增强生成（RAG）框架，旨在解决小型语言模型（SLMs）在现有 RAG 系统中面临的性能下降问题。MiniRAG 通过创新的架构设计，使得 SLMs 在资源受限的场景下也能高效运行，同时显著降低了计算和存储需求。以下是 MiniRAG 的核心特点、技术原理和应用场景的详细介绍：

1. 核心特点

MiniRAG 的主要目标是通过极简和高效的设计，提升小型语言模型在 RAG 任务中的表现。其核心特点包括：

高效的知识检索：基于独特的异构图索引机制，能够快速从大量数据中检索出与用户查询最相关的知识，支持生成准确的回答。
轻量级模型兼容性：专为 SLMs 设计，显著降低了对计算资源和存储空间的需求，仅需大型语言模型（LLMs）25% 的存储空间即可实现相当的性能。
强大的推理能力：通过查询引导的推理路径发现机制，能够处理复杂的多步推理任务，即使在 SLMs 语义理解能力有限的情况下，也能有效找到正确答案。
适应性强：适用于多种应用场景，包括即时通讯、个人内容管理、本地文档检索等。

2. 技术原理

MiniRAG 的核心技术包括语义感知的异构图索引机制和轻量级拓扑增强检索方法，这两项创新使其在效率和效果上实现了优化。

（1）语义感知的异构图索引机制

文本块节点（Vc）：保留原始文本的上下文完整性，直接参与检索阶段，确保识别出最相关的上下文内容。
实体节点（Ve）：从文本块中提取的关键语义元素，如事件、地点、时间引用和领域特定概念，用于锚定语义理解。
实体-实体连接（Eα）：捕捉命名实体之间的语义关系、层次结构和时空依赖关系。
实体-文本块连接（Eβ）：连接命名实体及其对应的上下文，保持上下文相关性和语义连贯性。
边的语义描述：基于语言模型生成的描述，为连接的节点提供明确的关系上下文，增强图的语义理解能力。

（2）轻量级拓扑增强检索方法

查询语义映射：利用实体提取和轻量级句子嵌入模型，将用户查询与图索引数据进行对齐，识别与查询相关的文本块。
查询驱动的推理路径发现：基于智能查询引导机制，在异构图中构建推理路径，综合考虑查询与实体节点的语义相关性和实体之间的结构连贯性。
拓扑增强的图检索：结合基于嵌入的相似性搜索和图结构的拓扑信息，识别与查询相关的高质量实体-实体连接，提取逻辑相关的推理链。
融合增强生成：将检索到的关键关系和最优文本块与先前确定的答案节点进行整合，构建全面且结构化的输入表示，用于最终的增强生成过程。

3. 性能与实验评估

MiniRAG 在实验中展现出与基于 LLM 的方法相当的性能，同时显著降低了存储需求。例如：

存储效率：MiniRAG 仅需 25% 的存储空间即可达到与 LightRAG 等基线系统相当的性能水平。
性能稳定性：在迁移至 SLMs 时，MiniRAG 的性能损失最大仅为 21.26%，最小降幅低至 0.79%，展现出优异的模型适应性。
基准数据集：MiniRAG 提供了 LiHua-World 数据集，用于评估轻量级 RAG 系统在复杂查询下的表现。该数据集覆盖单跳查询、多跳推理和信息总结等多种问题类型，特别适配端侧 RAG 系统的评测需求。