BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年发布的一种预训练语言模型，基于Transformer架构，用于自然语言处理（NLP）任务。它的双向（Bidirectional）上下文理解能力使其在文本理解、问答系统、文本分类等任务中表现卓越。
Masked Language Model（MLM，掩码语言模型）
Next Sentence Prediction（NSP，下一句预测）
BERT可以应用于多种NLP任务，包括：
BERT是Transformer架构的双向预训练模型，通过MLM和NSP任务学习通用语言知识，在NLP领域取得巨大突破。它的成功奠定了现代大模型预训练+微调的范式，被广泛用于搜索、问答、文本分类等任务。
13 天前
Alice AI：俄罗斯搜索引擎Yandex推出的人工智能助手 从日常任务到城市生活，Yandex的Alice AI正在重新定义人与机器的互动方式。 在2025年10月28日的“Alice，what‘s new？”大会上，俄罗斯科技巨头Yandex推出了全新升级的Alice AI——一个强大的通用神经网络，能够帮助用户在聊天中解决几乎任何任务。 这项技术代表了过去几十年聊天机器人从简单模式匹配到智能交互的演进历程。Alice AI不同于传统的规则驱动聊天机器人，它基于最先进的生成模型，不仅能理解复杂请求，还能主动协助用户完成从信息查询到实际行动的全流程任务。 01 从ELIZA到Alice AI，技术革命的演进历程 聊天机器人的发展始于20世纪60年代，当时麻省理工学院教授魏岑鲍姆发明了世界上第一个聊天机器人ELIZA，它通过模式匹配和替换方法来模拟对话。 受到ELIZA的启发，理查德·华莱士博士在1995年开发了ALICE系统（Artificial Linguistic Internet Computer Entity）。 ALICE采用启发式模式匹配的对话策略，并支持基于人工智能标记语言（AIML）的规则定义。 这一系统在人工智能领域获得了高度认可，在2000年、2001年和2004年三次获得洛伯纳奖（Loebner Prize）。 然而，传统的ALICE系统仍然依赖于预设的模板和规则，需要大量人力进行设计和制定。 Yandex的Alice AI则代表了技术演进的新阶段，它不再局限于规则驱动，而是基于大规模训练的神经网络，具备真正的理解和生成能力。 02 多模态架构，Alice AI的技术内核 Alice AI由三个核心模型共同驱动，构成了其多功能的技术基础。 Alice AI LLM负责处理语言相关的任务，包括回答问题、生成文本和逻辑推理。 Alice AI ART专注于视觉内容生成，能够根据文本描述创建图像和视频内容。 Alice AI VLM作为视觉语言模型，专精于图像分析、理解和与图像相关的任务解决。 这一模型家族将继续扩展，例如图像编辑模型即将推出。 Alice AI支持多种交互方式，包括文本输入、语音对话和实时摄像头交互。 用户可以通过手机摄像头获取实时视觉分析，使Alice AI能够成为识别物体、解释场景的随身助手。 03 四大应用场景，从聊天到实际行动 Alice AI的能力体现在多个实际应用场景中，使其成为用户日常生活的有用伙伴。 智能对话与文件处理：Alice AI可以处理各种类型的文件（DOC、DOCX、PDF、TXT），从中提取关键信息并生成清晰的报告。 它能够进行复杂问题的推理分析，提供深思熟虑的结论而不仅仅是快速回答。 视觉识别与创作：通过图像识别技术，Alice AI可以读取照片中的文本（如收据），识别物体，并提供即时视觉数据分析。 用户也可以请求生成图像或动画照片，用于社交媒体内容、标志设计或生日卡片制作。 浏览器集成与网页交互：Alice AI将很快深度集成到Yandex Browser中，能够利用活动标签页中的信息（无论是文本文档还是视频）来回答问题。 例如，用户可以直接询问一个500页的PDF报告中是否包含6月的销售数据，或者询问关于黑洞视频中讲师提到的内容。 城市服务与AI代理：Alice AI即将帮助城市居民预订出租车、安排送货、订购食物或杂货。 当用户提出请求时，AI代理会分析需求，确定能够处理任务的服务，并连接相应的代理——出租车、食品、 Lavka或送货。 04 “我的记忆”，前瞻性功能重新定义个人助手 Alice AI即将推出的“我的记忆”（My Memory）功能，将更进一步改变用户与AI的互动方式。 这一功能让Alice AI能够将用户随意思考的想法和想法转化为待办事项列表、购物清单、笔记和提醒，所有这些都直接呈现在聊天界面中。 用户可以在行动中向Alice AI口述任务，它会记住所有内容，进行组织，并在适当时机提醒重要事项。 Yandex还宣布了搭载Alice AI的可穿戴AI设备，使用户无需智能手机即可随时记录想法和想法。 这些设备将专注于“我的记忆”服务，让用户能够随时随地通过语音与Alice AI交互。 05 对比传统聊天机器人，Alice AI的突破 与传统聊天机器人相比，Alice AI在多个方面实现了技术突破。 传统聊天机器人如ALICE主要依赖于启发式模式匹配和AIML规则，需要大量人工编写的模板。 而Alice AI基于大规模训练的神经网络，能够理解更复杂的查询并生成更自然的回应。 传统系统多数仅限于文本对话，而Alice AI提供多模态交互，包括文本、图像、视频和语音。 最显著的进步在于，传统聊天机器人主要用于信息查询或简单任务，而Alice AI能够通过AI代理执行端到端的实际任务，从信息收集到最终结果。 从简单的模式匹配到复杂的多模态交互，从回答问题到执行任务——Alice AI代表了聊天机器人技术的又一次飞跃。 随着AI代理和“我的记忆”功能的推出，Alice AI正逐步从一个对话工具演变为一个能够理解、预测并满足用户需求的真正个人助手。 技术专家指出，未来的聊天机器人将不再局限于回答问题的角色，而是成为人类与数字设备交互的重要桥梁。 Alice AI正是这一趋势的领先代表，它正在重新定义我们与技术共存的方式。
17 天前
DeepSeek OCR 介绍 DeepSeek OCR 是由中国 AI 公司 DeepSeek AI 于 2025 年 10 月 20 日发布的开源视觉语言模型（VLM），旨在探索“光学上下文压缩”（Contexts Optical Compression）的创新范式。它不是传统的 OCR（光学字符识别）工具，而是将视觉编码视为文本信息的压缩层，帮助大型语言模型（LLM）更高效地处理长文档、图像和多模态数据。 该模型的灵感来源于“一图胜千言”的理念，通过将文本转化为视觉表示，实现显著的令牌（token）减少，同时保持高准确性。 核心创新与架构 DeepSeek OCR 的核心思想是将文本作为图像处理，从而实现高效压缩： 视觉-文本压缩：传统 LLM 处理 1000 字文档可能需要数千个文本令牌，而 DeepSeek OCR 通过视觉编码器将图像压缩为更少的视觉令牌（可减少 7-20 倍），然后解码回文本。测试显示，它能保留 97% 的原始信息。 双阶段架构： DeepEncoder：视觉编码器，负责图像处理，包括文档、图表、化学分子和简单几何图形。它基于先进的视觉模型（如 Vary、GOT-OCR2.0 和 PaddleOCR 的灵感），高效提取特征。 DeepSeek-3B-MoE：解码器，使用混合专家模型（MoE，激活参数仅 5.7 亿），生成文本输出。整个模型大小约为 6.6 GB，运行速度快、内存占用低。 多功能扩展：除了基本 OCR，它支持解析图表（生成 Markdown 表格和图表）、化学公式、几何图形，甚至自然图像。深解析模式（Deep Parsing Mode）特别适用于金融图表等结构化数据。 该模型在 OmniDocBench 等基准测试中达到了端到端模型的 SOTA（最先进）性能，优于 MinerU 2.0 和 GOT-OCR2.0 等更重的模型，同时视觉令牌使用最少。 它还支持 vLLM（虚拟 LLM 推理引擎），便于批量处理。 优势与应用场景 效率提升：减少计算成本，适合处理长上下文（如聊天历史或长文档）。例如，将旧对话“低分辨率”存储为图像，模拟人类记忆衰减机制。 实用性：在 OCR 之外，它能处理复杂视觉任务，如从图像中提取结构化数据，而非简单文本复制。 开源与易用：模型托管在 Hugging Face（deepseek-ai/DeepSeek-OCR），支持 PyTorch 和 CUDA。GitHub 仓库提供完整代码和示例。 局限性：作为实验性模型，对简单矢量图形解析仍有挑战；输出有时可能出现幻觉（如中文符号混入英文响应）。 如何使用（快速入门） 安装依赖：克隆 GitHub 仓库（git clone https://github.com/deepseek-ai/DeepSeek-OCR.git），安装 Transformers 和 vLLM。 Python 示例（使用 Hugging Face）： from transformers import AutoModel, AutoTokenizer from PIL import Image import torch model_name = 'deepseek-ai/DeepSeek-OCR' tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModel.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16).cuda().eval() # 加载图像 image = Image.open("your_image.png").convert("RGB") # 提示（prompt） prompt = "<image>\nFree OCR." # 或其他任务提示，如 "<image>\nParse chart." inputs = tokenizer(prompt, return_tensors="pt").to(model.device) inputs["image"] = image # 添加图像 with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=512) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) 这将从图像中提取并输出文本。 DeepSeek OCR 代表了 OCR 从“文本提取”向“多模态压缩”转型的趋势，对于 AI 研究者和开发者来说，是一个值得关注的开源工具。
3 个月前
T5：Text-to-Text Transfer Transformer
3 个月前
大模型的范式（paradigm）是指支撑其设计、训练和应用的核心方法论或框架，反映了其处理问题的基本模式。这一概念可以从多个维度理解，以下是关键要点： 1. 技术范式 自监督学习 大模型的核心训练方式，通过海量无标注数据（如文本、图像）进行预训练，利用掩码语言建模（如BERT）、自回归生成（如GPT）等任务学习通用表示。 规模化（Scaling Laws） 遵循"规模效应"：模型参数量、数据量和算力同步扩大时，性能显著提升（如Chinchilla定律）。 Transformer架构 基于自注意力机制（Self-Attention）的模型结构，支持并行计算和长程依赖建模，成为大模型的基础骨架。 2. 功能范式 预训练+微调（Pretrain-Finetune） 先在通用数据上预训练，再针对下游任务微调（如分类、生成）。例如，BERT通过附加任务层适配不同场景。 提示学习（Prompt Learning） 通过设计自然语言提示（Prompt）激发模型潜能，减少微调需求（如GPT-3的few-shot learning）。 多模态统一建模 将文本、图像、视频等映射到统一语义空间（如CLIP、Flamingo），实现跨模态理解与生成。 3. 应用范式 生成式AI（Generative AI） 大模型的核心能力转向生成内容（文本、代码、图像等），如ChatGPT的对话生成、Stable Diffusion的图像合成。 AI即服务（AIaaS） 通过API或开放平台提供模型能力（如OpenAI API），降低技术使用门槛。 智能体（Agent）架构 大模型作为"大脑"，结合工具调用（Tool Use）、记忆和规划，实现复杂任务自动化（如AutoGPT）。 4. 生态范式 开源与闭源并存 开源模型（如LLaMA、Stable Diffusion）推动社区创新，闭源模型（如GPT-4）侧重商业化。 数据飞轮效应 用户反馈数据持续优化模型，形成闭环（如ChatGPT基于人类反馈的强化学习RLHF）。 垂直领域适配 通用大模型通过领域适配（如医学、法律）释放专业价值（如Med-PaLM）。 5. 挑战与演进方向 效率问题：模型压缩（如量化、蒸馏）、稀疏化（如Mixture of Experts）。 对齐（Alignment）：确保模型行为符合人类价值观（如RLHF技术）。 新架构探索：超越Transformer的潜在方案（如RWKV、Mamba等状态空间模型）。 总结 大模型的范式本质是通过规模化预训练获得通用能力，再通过灵活适配解决多样任务，其发展正从单一语言模型转向多模态、交互式、智能体化的综合系统。这一范式正在重塑AI研发和应用的基本逻辑。
7 个月前
📢 OpenAI即将发布GPT-4.1，多模态能力再升级！ 据多家科技媒体报道，OpenAI计划于下周（2025年4月中旬）推出GPT-4.1，作为GPT-4o的升级版本，进一步强化多模态推理能力，并推出轻量级mini和nano版本。 🔍 关键升级点 更强的多模态处理 GPT-4.1将优化对文本、音频、图像的实时处理能力，提升跨模态交互的流畅度。 相比GPT-4o，新模型在复杂推理任务（如视频理解、语音合成等）上表现更优。 轻量化版本（mini & nano） GPT-4.1 mini 和 nano 将面向不同应用场景，降低计算资源需求，适合移动端或嵌入式设备。 配套新模型（o3 & o4 mini） OpenAI还将推出o3推理模型（满血版）和o4 mini，优化特定任务性能。 部分代码已在ChatGPT网页端被发现，表明发布临近。 ⏳ 发布时间与不确定性 原定下周发布，但OpenAI CEO Sam Altman 曾预警可能因算力限制调整计划。 同期，ChatGPT已升级长期记忆功能，可回顾用户历史对话，提供个性化服务（Plus/Pro用户已开放）。 🌍 行业影响 谷歌（Gemini AI）和微软（Copilot）近期也强化了AI记忆功能，竞争加剧。 GPT-4.1可能进一步巩固OpenAI在多模态AI领域的领先地位，推动商业应用（如智能客服、内容创作等）。 📌 总结：GPT-4.1的发布标志着OpenAI在多模态AI上的又一次突破，但具体性能提升和落地效果仍需观察。我们将持续关注官方更新！ （综合自腾讯新闻、The Verge、搜狐等）
7 个月前
谷歌大模型与人脑语言处理机制研究由谷歌研究院与普林斯顿大学、纽约大学等合作开展。3 月上旬，谷歌的研究成果表明大模型竟意外对应人脑语言处理机制。他们将真实对话中的人脑活动与语音到文本 LLM 的内部嵌入进行比较，发现两者在线性相关关系上表现显著，如语言理解顺序（语音到词义）、生成顺序（计划、发音、听到自己声音）以及上下文预测单词等方面都有惊人的一致性 研究方法：将真实对话中的人脑活动与语音到文本LLM的内部嵌入进行比较。使用皮层电图记录参与者在开放式真实对话时语音生成和理解过程中的神经信号，同时从Whisper中提取低级声学、中级语音和上下文单词嵌入，开发编码模型将这些嵌入词线性映射到大脑活动上。 具体发现 语言理解与生成顺序：在语言理解过程中，首先是语音嵌入预测沿颞上回（STG）的语音区域的皮层活动，几百毫秒后，语言嵌入预测布罗卡区（位于额下回；IFG）的皮层活动。在语言生成过程中，顺序则相反，先由语言嵌入预测布罗卡区的皮层活动，几百毫秒后，语音嵌入预测运动皮层（MC）的神经活动，最后，在说话者发音后，语音嵌入预测STG听觉区域的神经活动。这反映了神经处理的顺序，即先在语言区计划说什么，然后在运动区决定如何发音，最后在感知语音区监测说了什么。 神经活动与嵌入的关系：对于听到或说出的每个单词，从语音到文本模型中提取语音嵌入和基于单词的语言嵌入，通过估计线性变换，可以根据这些嵌入预测每次对话中每个单词的大脑神经信号。全脑分析的定量结果显示，在语音生成和语音理解过程中，不同脑区的神经活动与语音嵌入和语言嵌入的峰值存在特定的先后顺序和对应关系。 “软层次”概念：尽管大模型在并行层中处理单词，人类大脑以串行方式处理它们，但反映了类似的统计规律。大脑中较低级别的声学处理和较高级别的语义处理部分重叠，即存在“软层次”概念。例如，像IFG这样的语言区域不仅处理单词级别的语义和句法信息，也捕捉较低级别的听觉特征；而像STG这样的低阶语音区域在优先处理声学和音素的同时，也能捕捉单词级别的信息。 以往相关研究成果 2022年发表在《自然神经科学》上的论文显示，听者大脑的语言区域会尝试在下一个单词说出之前对其进行预测，且在单词发音前对预测的信心会改变在单词发音后的惊讶程度（预测误差），证明了自回归语言模型与人脑共有的起始前预测、起始后惊讶和基于嵌入的上下文表征等基本计算原理。 发表在《自然通讯》的论文发现，大模型的嵌入空间几何图形所捕捉到的自然语言中单词之间的关系，与大脑在语言区诱导的表征（即大脑嵌入）的几何图形一致。 后续研究还发现，虽然跨层非线性变换在LLMs和人脑语言区中相似，但实现方式不同。Transformer架构可同时处理成百上千个单词，而人脑语言区似乎是按顺序、逐字、循环和时间来分析语言。 总之，该研究表明，语音到文本模型嵌入为理解自然对话过程中语言处理的神经基础提供了一个连贯的框架，尽管大模型与人脑在底层神经回路架构上存在明显不同，但在处理自然语言时有着一些相似的计算原则。
8 个月前
2025 年 3 月 12 日，清华大学 NLP 实验室联手中南大学等提出 APB 序列并行推理框架，可解决长上下文远距离语义依赖问题，在 128K 文本上比 Flash Attention 快约 10 倍。
8 个月前
在自然语言处理和人工智能领域，token通常是指文本中的基本单元，比如一个单词、一个标点符号或者一个子词等。100万token的输入输出量是一个较大的数据规模，以下从不同角度来理解这一概念： 从文本长度角度 一般来说，英文中一个单词可以看作一个token，中文可能一个字或一个词作为一个token。如果平均每个token对应5个字符（这只是一个粗略的估计，实际会因语言、文本类型等因素而不同），那么100万token大约对应500万个字符。以一本普通的中文书籍每页约1000字来算，500万个字符相当于5000页的书籍内容，这是非常庞大的文本量。 从处理难度角度 对于语言模型等人工智能系统来说，处理100万token的输入输出意味着要处理大量的信息。模型需要在这么多的token中理解语义、语法关系，捕捉上下文信息等，这对模型的容量、计算能力和算法设计都提出了很高的要求。模型需要有足够多的参数和足够深的网络结构，才能有效地处理如此大规模的文本数据，以生成准确、合理的输出。 处理如此大量的token还需要消耗大量的计算资源和时间。在训练过程中，可能需要使用高性能的GPU或TPU集群，花费数天甚至数周的时间才能完成训练。在推理阶段，也需要较多的计算资源来快速处理输入并生成输出，以满足实时性或高效性的要求。 从应用场景角度 机器翻译：如果用于机器翻译任务，100万token可能包含了各种领域的大量句子和段落。这意味着模型可以学习到丰富的语言表达方式和翻译模式，能够处理更复杂、更专业的翻译任务，提高翻译的准确性和质量。 文本生成：在文本生成任务中，如创作小说、新闻报道等，100万token的输入可以让模型学习到大量的文本风格、主题和结构信息，从而生成更丰富多样、更具创意和逻辑性的文本内容。 智能客服：对于智能客服系统，100万token的输入输出量可以使系统处理大量的用户咨询和问题，学习到各种常见问题的回答模式和解决方案，从而更准确、更快速地为用户提供服务，提高用户满意度。
Minimax（海螺AI）已由大模型名Minimax替换原海螺AI。现海螺AI为Minimax视频生成产品名。
海螺AI