在ChatGPT中我们经常会遇到这个让我们挠头的词汇“Token”, Token在中英文翻译中可以翻译成“令牌”。但在GPT语言大模型离，什么是token呢？
Token, 最小的语义单元
你可能会好奇，大规模语言模型是如何工作的呢？它们是如何从数据中学习到语言的呢？它们是如何根据输入来生成合理的文本延续的呢？为了回答这些问题，我们需要从最基础的概念开始讲起：token。
在自然语言处理（NLP）中，token是指文本中最小的语义单元。比如，一个句子可以被分割成若干个单词，每个单词就是一个token。例如，“I love you”这个句子可以被分割成三个token：“I”，“love”和“you”。token可以帮助我们把文本分解成更容易处理和分析的部分。
但是，并不是所有的语言都可以用空格来划分单词。有些语言，比如中文、日语等，没有明显的单词边界。在这种情况下，我们需要用一些更复杂的方法来进行tokenization（分词）。比如，我们可以用一些规则或者统计模型来判断哪些字或者字组合构成了一个有意义的token。例如，“我爱你”这个句子可以被分割成两个token：“我”和“爱你”。当然，这种方法并不完美，有时候会出现错误或者歧义
除了单词之外，还有一些其他的符号也可以被视为token。比如，标点符号、数字、表情符号等等。这些符号也可以传达一些信息或者情感。例如，“I love you!”和“I love you?”就不同于“I love you”，因为感叹号和问号表达了不同的语气和态度
总之，token就是文本中的最小有意义的单位，它们可以帮助我们把文本分解成更容易处理和分析的部分。不同的语言和场景可能需要不同的tokenization方法。接下来，我们要看看GPT系列采用了什么样的token类型？
GPT系列采用了什么样的token类型？
GPT系列是一系列基于Transformer的生成式预训练模型，它们可以用来生成各种类型的文本。目前，已经有了GPT-2、GPT-3和GPT-4等不同版本的模型，它们的区别主要在于模型的大小、训练数据的规模和质量、以及生成能力的强度。
GPT系列的模型都是基于子词（subword）来进行tokenization的。子词是指比单词更小的语言单位，它们可以根据语料库中的词频和共现频率来自动划分。比如，一个单词“transformer”可以被划分成两个子词“trans”和“former”，或者三个子词“t”，“rans”和“former”，或者四个子词“t”，“r”，“ans”和“former”，等等。不同的划分方法会产生不同数量和长度的子词。一般来说，子词越多越短，就越能覆盖更多的语言现象，但也会增加模型的计算复杂度；子词越少越长，就越能减少模型的计算复杂度，但也会损失一些语言信息。
GPT系列采用了一种叫做Byte Pair Encoding（BPE）的子词划分方法。BPE是一种基于数据压缩原理的算法，它可以根据语料库中出现频率最高的字节对（byte pair）来合并字节，从而生成新的字节。比如，如果语料库中出现频率最高的字节对是“ns”，那么BPE就会把所有的“ns”替换成一个新的字节“Z”，从而减少字节总数。这个过程可以重复进行，直到达到预设的字节总数或者没有更多的字节对可以合并为止。这样，BPE就可以把原始的字节序列转换成一个由新字节组成的子词序列。
例如，“obsessiveness”这个单词可以被BPE转换成以下子词序列：
原始字节序列：o b s e s s i v e n e s s
第一次合并：o b s e Z i v e n e Z （假设Z代表ss）
第二次合并：o b s E i v e n E （假设E代表e Z）
最终子词序列：o b s E i v e n E（如果没达到预设的字节要求，可合并只出现一次的子词）
当然，这只是一个简单的例子，实际上BPE会根据大规模的语料库来生成更多更复杂的子词。GPT系列使用了不同大小的BPE词典来存储所有可能出现的子词。比如，GPT-3使用了50,257个子词。
总之，GPT系列采用了基于BPE算法的子词作为token类型，主要目的是以无损的方式压缩文本的内容，从而以保证语言覆盖度和计算效率之间达到一个平衡。接下来，我们要看看如何用子词来表示和生成文本？
如何用子词来表示和生成文本？
我们已经知道了GPT系列使用了子词作为token类型，并且通过上文讲述的BPE或其他相关算法我们可以将文本内容转换为由子词组合而成的序列，也就是术语中分词过程。
有了子词序列之后，我们就可以用子词来表示和生成文本了吗？答案是否定的。因为语言模型是基于神经网络的，而神经网络只能处理数值数据，而不能处理文本数据。因此，我们还需要做第二件事情：将子词序列转换为数值向量。
这里，我们需要介绍两个重要的概念：编码（encoding）和解码（decoding）。
编码和解码
将子词序列转换为数值向量的过程叫做编码（Encoding），它是语言模型的第二步。编码的目的是将一个个离散且无序的token映射到一个个连续且有序的向量空间中，从而方便语言模型进行计算和学习。比如，我们可以用以下的BPE词典来表示上面的例子：
那么，编码和解码就可以按照以下的规则进行：
编码：
根据BPE算法，将文本分割成最长的匹配子词，然后根据BPE词典，将每个子词替换成其对应的数值编码，从而得到一个数值向量。比如，“obsessiveness”这个单词可以被编码为[1, 2, 3, 4, 5，6，7，8，4]这个数值向量。
解码：根据BPE词典，将每个数值编码替换成其对应的子词，然后根据BPE算法，将相邻的子词合并成最长的匹配单词，从而得到一个文本。比如，[1, 2, 3, 4, 5，6，7，8，4]这个数值向量可以被解码为“obsessiveness”这个单词。
通过编码和解码，我们就可以实现文本和子词序列向量之间的互相转换。但是，这还不够。我们还需要让GPT系列能够理解和生成这些子词序列。为了做到这一点，我们还需要进行另外两个步骤：嵌入（embedding）和预测（prediction）。
嵌入和预测
我们已经知道，子词分词和编解码，可以把文本转换成数字，就像我们用数字来表示电话号码一样。但是，这样的数字只是一种编码方式，它们并不能告诉我们子词之间有什么关系。比如，我们怎么知道“猫”和“狗”是两种动物，而“猫”和“桌子”是不同的东西呢？
为了让GPT系列能够理解子词之间的关系，我们需要进行嵌入（embedding）。嵌入就是把每个子词用一个特征向量来表示，这个特征向量可以反映出子词的含义、用法、情感等方面的信息。
特征向量的计算算法比较复杂，但计算原理比较容易理解，GPT只需要基于互联网上大量的文本资料，统计出两个词语在相邻/句子/文章中共同出现的概率并通过权重来汇总计算，就能分析出某个词语与另外一个词语的亲密度的数值，并将这个数值作为特征向量来描述这个词语。 比如，“猫”在互联网的资料中与“动物”等词语一同出现的次数多，所以“猫”的特征向量可能包含了它是一种动物、有毛发、喜欢吃鱼、会发出喵喵声等信息。
通过嵌入，我们就可以把每个子词看作是高维空间中的一个点，而这些点之间的距离和方向，就可以表示出子词之间的相似度和差异度。比如，“猫”和“狗”的点因为同为宠物，可能会比较接近，相对“狗”而言，“猫”和“牛”的点可能会比较远离。
在完成嵌入后，我们就可以进行预测（prediction）。预测就是根据给定的文本，计算出下一个子词出现的概率。比如，如果给定的文本是“我家有一只”，那么下一个子词可能是“猫”或者“狗”，而不太可能是“桌子”或者“电视”。这个概率的计算，就是基于特征向量表进行的。
通过嵌入和预测，我们就可以实现从数字到文本，或者从文本到数字的转换。但是，这还不够。我们还需要让GPT系列能够根据给定的文本来生成新的文本。为了做到这一点，我们还需要进行最后一个步骤：生成（generation）。
生成与自回归
生成是指根据给定的文本来生成新的文本的过程。生成可以分为两种模式：自回归（autoregressive）和自编码（autoencoding），GPT系列主要采用了自回归模式。
那么什么是自回归？简单理解就是想象这么一副画面：
一个人在拍连环画，每一页连环画都是前一张连环画的延续。也就是说，人需要看前一张画乃至前多张画才能知道该画什么内容。类似地，自回归模型中的每个时间点都需要前一个时间点的信息才能计算出当前时间点的输出值。就像拍连环画一样，自回归模型中各个时间点之间存在着紧密的联系和依赖关系，这种联系在预测时间序列数据时非常有用。
例如，“I love you”这个句子可以被GPT系列生成为以下的文本：
I love you more than anything in the world.
I love you and I miss you so much.
I love you, but I can't be with you.
总之，GPT系列使用了子词、数值向量、实数向量和Transformer模型来表示和生成文本。通过编码、解码、嵌入、预测和生成等步骤，它可以实现从文本到文本的转换。
整体过程可以参考GPT官方的示意图，如下：
总结
今天，我们学习了GPT系列是如何用子词来表示和生成文本的。我们了解了token相关的概念和文本生成的步骤，通过这些概念和步骤，我们可以理解GPT系列是如何从文本到文本的转换。希望你喜欢今天的AI科普文章，如果你有任何问题或建议，请在评论区留言。谢谢你的阅读和支持！?
作者：AI小小智
原文：https://baijiahao.baidu.com/s?id=1781501215132195127&wfr=spider&for=pc
26 天前
这正是当前 AI 视频生成领域最前沿的突破方向。你提出的这个问题，本质上是在问如何让 AI 从“画皮”进阶到“画骨”——即不仅画面好看，运动逻辑也要符合现实世界的物理法则。 结合最新的技术进展（如 2025 年的相关研究），要让 AI 生成符合真实规律的视频，我们可以通过以下几种“高级语言描述法”来与模型沟通： 1. 使用“力提示”技术：像导演一样指挥物理力 🎬 这是谷歌 DeepMind 等团队提出的一种非常直观的方法。你不需要懂复杂的物理公式，只需要在提示词中描述“力”的存在。 描述力的方向与强度： 你可以直接告诉 AI 视频中存在某种力。例如，不只是写“旗帜飘动”，而是写“旗帜在强风中剧烈飘动”或“气球被轻轻向上吹起”。 区分全局力与局部力： 全局力（风、重力）： 影响整个画面。例如：“Global wind force blowing from left to right”（从左到右的全局风力）。 局部力（碰撞、推力）： 影响特定点。例如：“A ball rolling after being kicked”（球被踢后滚动）。 效果： AI 模型（如 CogVideoX 结合特定模块）能理解这些力的矢量场，从而生成符合动力学的运动，比如轻的物体被吹得更远，重的物体移动缓慢。 2. 调用“思维链”与物理常识：让 LLM 当质检员 🧠 有时候直接描述很难精准，我们可以借助大型语言模型（LLM）作为“中间人”来审核物理逻辑。这种方法（如匹兹堡大学的 PhyT2V）利用 LLM 的推理能力。 分步描述（Chain-of-Thought）： 你可以在提示词中要求 AI “思考过程”。例如，不只是生成“水倒入杯子”，而是引导它：“首先，水从壶嘴流出，形成抛物线；然后，水撞击杯底，产生涟漪；最后，水位上升，流速减慢。” 明确物理规则： 在提示词中直接嵌入物理常识。例如：“根据重力加速度，球下落的速度应该越来越快”或“流体具有粘性，流动时会有拉丝效果”。 回溯修正： 如果第一版视频不符合物理规律（比如球浮在空中），你可以通过反馈指令让系统进行“回溯推理”，识别出视频与物理规则的语义不匹配，并自动修正提示词重新生成。 3. 参数化控制：像物理老师一样给定数值 📏 如果你需要极其精确的物理运动（例如做科学实验模拟或电影特效），可以使用类似普渡大学 NewtonGen 框架的思路，直接给定物理参数。 设定初始状态： 在语言描述中包含具体的物理量。 位置与速度： “一个小球从坐标 (0, 10) 以初速度 5m/s 水平抛出”。 角度与旋转： “一个陀螺以角速度 10rad/s 旋转”。 质量与材质： “一个轻质的泡沫块”与“一个沉重的铁球”在相同力作用下的反应是不同的。 指定运动类型： 明确指出是“匀速直线运动”、“抛物线运动”还是“圆周运动”。AI 会根据这些语义，调用内置的“神经物理引擎”来计算轨迹，确保视频中的物体运动轨迹符合牛顿定律。 4. 结合物理引擎的混合描述：虚实结合 🧩 更高级的方法是让语言描述直接驱动物理模拟器（如 Blender, Genesis），然后将结果渲染成视频。 描述物理属性： 在提示词中指定物体的密度、弹性系数、摩擦力等。 事件驱动描述： 描述物体间的相互作用。例如：“一个刚性的小球撞击一个柔软的布料，布料发生形变并包裹住小球”。 通用物理引擎： 像 Genesis 这样的新模型，允许你用自然语言描述复杂的物理场景（如“一滴水滑落”），它能直接生成符合流体动力学的模拟数据，而不仅仅是看起来像视频的图像帧。 📝 总结：如何写出“物理级”提示词？ 为了更直观地掌握这种描述方式，这里总结了一个对比表： 一句话总结： 要用语言描述物理运动，关键在于将“视觉结果”转化为“物理过程”。多用描述力（风、推力）、属性（重力、粘性）、参数（速度、角度）的词汇，甚至直接告诉 AI 要遵循某种物理规律，这样生成的视频才会有真实的“重量感”和“真实感”。
28 天前
利用大语言模型（LLM）构建虚拟的“世界模型”（World Models），以此作为 KI 智能体（AI Agents）积累经验和训练的场所。 核心概念：让 LLM 成为 AI 的“模拟练习场” 目前，开发能在现实世界执行复杂任务的 AI 智能体（如机器人、自动化软件助手）面临一个巨大挑战：获取实际操作经验的成本极高且充满风险。 如果让机器人在物理世界中通过“试错”来学习，不仅效率低下，还可能造成硬件损毁。 研究人员提出的新思路是：利用已经掌握了海量人类知识的大语言模型（LLM），由它们通过文字或代码生成一个模拟的“世界模型”。 1. 什么是“世界模型”？ 世界模型是一种模拟器，它能预测特定行为可能产生的结果。 传统方式： 需要开发者手动编写复杂的代码来定义物理法则和环境规则。 LLM 驱动方式： 预训练的大模型（如 GPT-4 或 Claude）已经具备了关于世界运行逻辑的知识（例如：知道“推倒杯子水会洒”）。研究人员可以利用 LLM 自动生成这些模拟环境的逻辑。 2. 研究的具体内容 来自上海交通大学、微软研究院、普林斯顿大学和爱丁堡大学的国际研究团队对此进行了深入研究。他们测试了 LLM 在不同环境下充当模拟器的能力： 家庭模拟（Household Simulations）： 模拟洗碗、整理房间等日常任务。 电子商务网站（E-Commerce）： 模拟购物行为、库存管理等逻辑。 3. 关键发现： 强结构化环境表现更佳： 在规则清晰、逻辑严密的场景（如简单的文本游戏或特定流程）中，LLM 驱动的模拟效果非常好。 开放世界的局限性： 对于像社交媒体或复杂的购物网站这类高度开放的环境，LLM 仍需要更多的训练数据和更大的模型参数才能实现高质量的模拟。 真实观察的修正： 实验显示，如果在 LLM 模拟器中加入少量来自现实世界的真实观察数据，模拟的质量会显著提升。 对 AI 行业的意义 加速 AI 智能体进化： 这种方法让 AI 智能体可以在几秒钟内完成数千次的虚拟实验，极大加快了学习速度。 降低训练门槛： 开发者不再需要搭建昂贵的物理实验室，只需要调用 LLM 接口就能创建一个“训练场”。 2026 年的趋势： 这预示着 2026 年及以后，“自主智能体”将成为 AI 发展的核心，而这种“基于模拟的学习”将是通往通用人工智能（AGI）的关键一步。 总结 该研究证明，LLM 不仅仅是聊天机器人，它们可以演变成复杂的“数字世界创造者”。在这个虚拟世界里，新一代的 AI 智能体可以安全、低成本地反复磨练技能，最终再将学到的能力应用到现实生活和工作中。 （ 根据海外媒体编译 ）
2 个月前
LoRA（Low-Rank Adaptation）是一种对大模型进行“轻量级微调”的技术。
2 个月前
Gemini 3 标志着AI模型从“增量优化”向“范式转变”的重大跃进。
3 个月前
DeepSeek OCR 介绍 DeepSeek OCR 是由中国 AI 公司 DeepSeek AI 于 2025 年 10 月 20 日发布的开源视觉语言模型（VLM），旨在探索“光学上下文压缩”（Contexts Optical Compression）的创新范式。它不是传统的 OCR（光学字符识别）工具，而是将视觉编码视为文本信息的压缩层，帮助大型语言模型（LLM）更高效地处理长文档、图像和多模态数据。 该模型的灵感来源于“一图胜千言”的理念，通过将文本转化为视觉表示，实现显著的令牌（token）减少，同时保持高准确性。 核心创新与架构 DeepSeek OCR 的核心思想是将文本作为图像处理，从而实现高效压缩： 视觉-文本压缩：传统 LLM 处理 1000 字文档可能需要数千个文本令牌，而 DeepSeek OCR 通过视觉编码器将图像压缩为更少的视觉令牌（可减少 7-20 倍），然后解码回文本。测试显示，它能保留 97% 的原始信息。 双阶段架构： DeepEncoder：视觉编码器，负责图像处理，包括文档、图表、化学分子和简单几何图形。它基于先进的视觉模型（如 Vary、GOT-OCR2.0 和 PaddleOCR 的灵感），高效提取特征。 DeepSeek-3B-MoE：解码器，使用混合专家模型（MoE，激活参数仅 5.7 亿），生成文本输出。整个模型大小约为 6.6 GB，运行速度快、内存占用低。 多功能扩展：除了基本 OCR，它支持解析图表（生成 Markdown 表格和图表）、化学公式、几何图形，甚至自然图像。深解析模式（Deep Parsing Mode）特别适用于金融图表等结构化数据。 该模型在 OmniDocBench 等基准测试中达到了端到端模型的 SOTA（最先进）性能，优于 MinerU 2.0 和 GOT-OCR2.0 等更重的模型，同时视觉令牌使用最少。 它还支持 vLLM（虚拟 LLM 推理引擎），便于批量处理。 优势与应用场景 效率提升：减少计算成本，适合处理长上下文（如聊天历史或长文档）。例如，将旧对话“低分辨率”存储为图像，模拟人类记忆衰减机制。 实用性：在 OCR 之外，它能处理复杂视觉任务，如从图像中提取结构化数据，而非简单文本复制。 开源与易用：模型托管在 Hugging Face（deepseek-ai/DeepSeek-OCR），支持 PyTorch 和 CUDA。GitHub 仓库提供完整代码和示例。 局限性：作为实验性模型，对简单矢量图形解析仍有挑战；输出有时可能出现幻觉（如中文符号混入英文响应）。 如何使用（快速入门） 安装依赖：克隆 GitHub 仓库（git clone https://github.com/deepseek-ai/DeepSeek-OCR.git），安装 Transformers 和 vLLM。 Python 示例（使用 Hugging Face）： from transformers import AutoModel, AutoTokenizer from PIL import Image import torch model_name = 'deepseek-ai/DeepSeek-OCR' tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModel.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16).cuda().eval() # 加载图像 image = Image.open("your_image.png").convert("RGB") # 提示（prompt） prompt = "<image>\nFree OCR." # 或其他任务提示，如 "<image>\nParse chart." inputs = tokenizer(prompt, return_tensors="pt").to(model.device) inputs["image"] = image # 添加图像 with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=512) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) 这将从图像中提取并输出文本。 DeepSeek OCR 代表了 OCR 从“文本提取”向“多模态压缩”转型的趋势，对于 AI 研究者和开发者来说，是一个值得关注的开源工具。
9 个月前
📢 OpenAI即将发布GPT-4.1，多模态能力再升级！ 据多家科技媒体报道，OpenAI计划于下周（2025年4月中旬）推出GPT-4.1，作为GPT-4o的升级版本，进一步强化多模态推理能力，并推出轻量级mini和nano版本。 🔍 关键升级点 更强的多模态处理 GPT-4.1将优化对文本、音频、图像的实时处理能力，提升跨模态交互的流畅度。 相比GPT-4o，新模型在复杂推理任务（如视频理解、语音合成等）上表现更优。 轻量化版本（mini & nano） GPT-4.1 mini 和 nano 将面向不同应用场景，降低计算资源需求，适合移动端或嵌入式设备。 配套新模型（o3 & o4 mini） OpenAI还将推出o3推理模型（满血版）和o4 mini，优化特定任务性能。 部分代码已在ChatGPT网页端被发现，表明发布临近。 ⏳ 发布时间与不确定性 原定下周发布，但OpenAI CEO Sam Altman 曾预警可能因算力限制调整计划。 同期，ChatGPT已升级长期记忆功能，可回顾用户历史对话，提供个性化服务（Plus/Pro用户已开放）。 🌍 行业影响 谷歌（Gemini AI）和微软（Copilot）近期也强化了AI记忆功能，竞争加剧。 GPT-4.1可能进一步巩固OpenAI在多模态AI领域的领先地位，推动商业应用（如智能客服、内容创作等）。 📌 总结：GPT-4.1的发布标志着OpenAI在多模态AI上的又一次突破，但具体性能提升和落地效果仍需观察。我们将持续关注官方更新！ （综合自腾讯新闻、The Verge、搜狐等）
10 个月前
谷歌大模型与人脑语言处理机制研究由谷歌研究院与普林斯顿大学、纽约大学等合作开展。3 月上旬，谷歌的研究成果表明大模型竟意外对应人脑语言处理机制。他们将真实对话中的人脑活动与语音到文本 LLM 的内部嵌入进行比较，发现两者在线性相关关系上表现显著，如语言理解顺序（语音到词义）、生成顺序（计划、发音、听到自己声音）以及上下文预测单词等方面都有惊人的一致性 研究方法：将真实对话中的人脑活动与语音到文本LLM的内部嵌入进行比较。使用皮层电图记录参与者在开放式真实对话时语音生成和理解过程中的神经信号，同时从Whisper中提取低级声学、中级语音和上下文单词嵌入，开发编码模型将这些嵌入词线性映射到大脑活动上。 具体发现 语言理解与生成顺序：在语言理解过程中，首先是语音嵌入预测沿颞上回（STG）的语音区域的皮层活动，几百毫秒后，语言嵌入预测布罗卡区（位于额下回；IFG）的皮层活动。在语言生成过程中，顺序则相反，先由语言嵌入预测布罗卡区的皮层活动，几百毫秒后，语音嵌入预测运动皮层（MC）的神经活动，最后，在说话者发音后，语音嵌入预测STG听觉区域的神经活动。这反映了神经处理的顺序，即先在语言区计划说什么，然后在运动区决定如何发音，最后在感知语音区监测说了什么。 神经活动与嵌入的关系：对于听到或说出的每个单词，从语音到文本模型中提取语音嵌入和基于单词的语言嵌入，通过估计线性变换，可以根据这些嵌入预测每次对话中每个单词的大脑神经信号。全脑分析的定量结果显示，在语音生成和语音理解过程中，不同脑区的神经活动与语音嵌入和语言嵌入的峰值存在特定的先后顺序和对应关系。 “软层次”概念：尽管大模型在并行层中处理单词，人类大脑以串行方式处理它们，但反映了类似的统计规律。大脑中较低级别的声学处理和较高级别的语义处理部分重叠，即存在“软层次”概念。例如，像IFG这样的语言区域不仅处理单词级别的语义和句法信息，也捕捉较低级别的听觉特征；而像STG这样的低阶语音区域在优先处理声学和音素的同时，也能捕捉单词级别的信息。 以往相关研究成果 2022年发表在《自然神经科学》上的论文显示，听者大脑的语言区域会尝试在下一个单词说出之前对其进行预测，且在单词发音前对预测的信心会改变在单词发音后的惊讶程度（预测误差），证明了自回归语言模型与人脑共有的起始前预测、起始后惊讶和基于嵌入的上下文表征等基本计算原理。 发表在《自然通讯》的论文发现，大模型的嵌入空间几何图形所捕捉到的自然语言中单词之间的关系，与大脑在语言区诱导的表征（即大脑嵌入）的几何图形一致。 后续研究还发现，虽然跨层非线性变换在LLMs和人脑语言区中相似，但实现方式不同。Transformer架构可同时处理成百上千个单词，而人脑语言区似乎是按顺序、逐字、循环和时间来分析语言。 总之，该研究表明，语音到文本模型嵌入为理解自然对话过程中语言处理的神经基础提供了一个连贯的框架，尽管大模型与人脑在底层神经回路架构上存在明显不同，但在处理自然语言时有着一些相似的计算原则。
10 个月前
2025 年 3 月 12 日，清华大学 NLP 实验室联手中南大学等提出 APB 序列并行推理框架，可解决长上下文远距离语义依赖问题，在 128K 文本上比 Flash Attention 快约 10 倍。
Minimax（海螺AI）已由大模型名Minimax替换原海螺AI。现海螺AI为Minimax视频生成产品名。
海螺AI