2021 年夏天，OpenAI 悄然关闭了其机器人团队，宣布由于缺乏训练机器人如何使用人工智能移动和推理所需的数据，进展受到阻碍。
现在，OpenAI 的三位早期研究科学家表示，他们在 2017 年分拆成立的初创公司 Covariant 已经解决了这个问题，并推出了一种将大型语言模型的推理能力与先进机器人的物理灵活性相结合的系统。
新模型名为 RFM-1，它基于 Covariant 多年来收集的数据以及互联网上的文字和视频进行训练，这些机器人是 Crate & Barrel 和 Bonprix 等客户在世界各地的仓库中使用的小型物品挑选机器人。未来几个月，该模型将向 Covariant 客户发布。该公司希望该系统在现实世界中部署后会变得更加强大和高效。
那么它能做什么呢？Covariant 联合创始人 Peter Chen 和 Pieter Abbeel 展示了用户如何使用五种不同类型的输入来提示模型：文本、图像、视频、机器人指令和测量值。
例如，向机器人展示一张装满运动器材的箱子的图片，并告诉它拿起一包网球。然后，机器人可以抓取物品，生成网球丢掉后箱子会是什么样子的图片，或者制作一段视频，从鸟瞰角度展示机器人执行任务时的模样。
如果模型预测它无法正确抓握物品，它甚至可能会回复：“我抓不住。你有什么建议吗？”回复可能会建议它在手臂上使用特定数量的吸盘，以便更好地抓握物品 - 例如八个对六个。
这代表着机器人的一次飞跃，它们可以使用训练数据来适应环境，而不是像上一代工业机器人那样使用复杂的、针对特定任务的代码。这也是朝着工作场所迈出的一步，管理人员可以用人类语言发出指令，而不必担心人类劳动力的局限性。（“使用以下食谱包装 600 份红辣椒意面备餐包。不要休息！”）
莱雷尔·平托 (Lerrel Pinto) 是纽约大学通用机器人和人工智能实验室的负责人，与 Covariant 没有任何关系。他表示，尽管机器人专家之前已经建造了基本的多模式机器人并在实验室环境中使用它们，但大规模部署一个能够以如此多模式进行通信的机器人，对公司来说是一项令人印象深刻的壮举。
为了超越竞争对手，Covariant 必须掌握足够的数据，让机器人在野外发挥作用。仓库地板和装卸码头是测试机器人的地方，机器人会不断与新指令、人员、物体和环境互动。
那些要训练出良好模型的团队要么能够访问大量的机器人数据，要么有能力生成这些数据。
Covariant 表示，该模型具有“类似人类”的推理能力，但也有其局限性。在演示过程中，作者可以看到 Covariant 机器人的实时画面以及一个可以与其交流的聊天窗口，Peter Chen邀请采访作者向模型提示任何我想要的内容。当作者要求机器人“将香蕉放回 Tote Two”时，它费力地回溯了自己的步骤，导致它拿起海绵、苹果，然后是许多其他物品，最后才完成香蕉任务。
Chen解释说：“它不理解新概念，但这是一个很好的例子——在没有良好训练数据的地方，它可能还不能很好地发挥作用。”
该公司的新模型体现了机器人领域的范式转变。研究人员不再通过物理方程和代码等指令手动教机器人世界如何运作，而是采用与人类学习相同的方式：通过数百万次观察。
结果“确实可以充当非常有效的灵活大脑来解决任意的机器人任务”。
今年，使用人工智能来驱动更灵活的机器人系统的公司竞争环境可能会变得更加拥挤。本月早些时候，人形机器人初创公司 Figure AI 宣布将与 OpenAI 合作，并从 Nvidia 和微软等科技巨头那里筹集了 6.75 亿美元。波士顿动力公司创始人马克·雷伯特 (Marc Raibert) 最近发起了一项计划，旨在更好地将人工智能融入机器人技术。
这意味着机器学习的进步很可能会转化为机器人技术的进步。然而，一些问题仍未解决。如果大型语言模型继续在数百万个单词上进行训练而不向这些单词的作者支付报酬，那么也许可以预期机器人模型也将在视频上进行训练而不向其创作者支付报酬。如果语言模型产生幻觉并延续偏见，机器人技术中会出现什么等价物？
与此同时，Covariant 将继续推进，热衷于让 RFM-1 不断学习和改进。最终，研究人员的目标是让机器人在模型本身创建的视频上进行训练——这种元学习不仅让我头晕目眩，还引发了人们对模型错误累积会发生什么的担忧。但由于对更多训练数据的渴望，研究人员认为这几乎是不可避免的。
“对此进行训练将成为现实，”阿比尔说。“如果我们半年后再谈，我们就会讨论这个话题。”
信息来源：MIT Technology Review
2 个月前
Xiaomi-Robotics-0 预训练了大量跨身体机器人轨迹和视觉语言数据，使其能够获得广泛且可推广的动作生成知识，同时保持强大的VLM能力。
3 个月前
这正是当前 AI 视频生成领域最前沿的突破方向。你提出的这个问题，本质上是在问如何让 AI 从“画皮”进阶到“画骨”——即不仅画面好看，运动逻辑也要符合现实世界的物理法则。 结合最新的技术进展（如 2025 年的相关研究），要让 AI 生成符合真实规律的视频，我们可以通过以下几种“高级语言描述法”来与模型沟通： 1. 使用“力提示”技术：像导演一样指挥物理力 🎬 这是谷歌 DeepMind 等团队提出的一种非常直观的方法。你不需要懂复杂的物理公式，只需要在提示词中描述“力”的存在。 描述力的方向与强度： 你可以直接告诉 AI 视频中存在某种力。例如，不只是写“旗帜飘动”，而是写“旗帜在强风中剧烈飘动”或“气球被轻轻向上吹起”。 区分全局力与局部力： 全局力（风、重力）： 影响整个画面。例如：“Global wind force blowing from left to right”（从左到右的全局风力）。 局部力（碰撞、推力）： 影响特定点。例如：“A ball rolling after being kicked”（球被踢后滚动）。 效果： AI 模型（如 CogVideoX 结合特定模块）能理解这些力的矢量场，从而生成符合动力学的运动，比如轻的物体被吹得更远，重的物体移动缓慢。 2. 调用“思维链”与物理常识：让 LLM 当质检员 🧠 有时候直接描述很难精准，我们可以借助大型语言模型（LLM）作为“中间人”来审核物理逻辑。这种方法（如匹兹堡大学的 PhyT2V）利用 LLM 的推理能力。 分步描述（Chain-of-Thought）： 你可以在提示词中要求 AI “思考过程”。例如，不只是生成“水倒入杯子”，而是引导它：“首先，水从壶嘴流出，形成抛物线；然后，水撞击杯底，产生涟漪；最后，水位上升，流速减慢。” 明确物理规则： 在提示词中直接嵌入物理常识。例如：“根据重力加速度，球下落的速度应该越来越快”或“流体具有粘性，流动时会有拉丝效果”。 回溯修正： 如果第一版视频不符合物理规律（比如球浮在空中），你可以通过反馈指令让系统进行“回溯推理”，识别出视频与物理规则的语义不匹配，并自动修正提示词重新生成。 3. 参数化控制：像物理老师一样给定数值 📏 如果你需要极其精确的物理运动（例如做科学实验模拟或电影特效），可以使用类似普渡大学 NewtonGen 框架的思路，直接给定物理参数。 设定初始状态： 在语言描述中包含具体的物理量。 位置与速度： “一个小球从坐标 (0, 10) 以初速度 5m/s 水平抛出”。 角度与旋转： “一个陀螺以角速度 10rad/s 旋转”。 质量与材质： “一个轻质的泡沫块”与“一个沉重的铁球”在相同力作用下的反应是不同的。 指定运动类型： 明确指出是“匀速直线运动”、“抛物线运动”还是“圆周运动”。AI 会根据这些语义，调用内置的“神经物理引擎”来计算轨迹，确保视频中的物体运动轨迹符合牛顿定律。 4. 结合物理引擎的混合描述：虚实结合 🧩 更高级的方法是让语言描述直接驱动物理模拟器（如 Blender, Genesis），然后将结果渲染成视频。 描述物理属性： 在提示词中指定物体的密度、弹性系数、摩擦力等。 事件驱动描述： 描述物体间的相互作用。例如：“一个刚性的小球撞击一个柔软的布料，布料发生形变并包裹住小球”。 通用物理引擎： 像 Genesis 这样的新模型，允许你用自然语言描述复杂的物理场景（如“一滴水滑落”），它能直接生成符合流体动力学的模拟数据，而不仅仅是看起来像视频的图像帧。 📝 总结：如何写出“物理级”提示词？ 为了更直观地掌握这种描述方式，这里总结了一个对比表： 一句话总结： 要用语言描述物理运动，关键在于将“视觉结果”转化为“物理过程”。多用描述力（风、推力）、属性（重力、粘性）、参数（速度、角度）的词汇，甚至直接告诉 AI 要遵循某种物理规律，这样生成的视频才会有真实的“重量感”和“真实感”。
3 个月前
利用大语言模型（LLM）构建虚拟的“世界模型”（World Models），以此作为 KI 智能体（AI Agents）积累经验和训练的场所。 核心概念：让 LLM 成为 AI 的“模拟练习场” 目前，开发能在现实世界执行复杂任务的 AI 智能体（如机器人、自动化软件助手）面临一个巨大挑战：获取实际操作经验的成本极高且充满风险。 如果让机器人在物理世界中通过“试错”来学习，不仅效率低下，还可能造成硬件损毁。 研究人员提出的新思路是：利用已经掌握了海量人类知识的大语言模型（LLM），由它们通过文字或代码生成一个模拟的“世界模型”。 1. 什么是“世界模型”？ 世界模型是一种模拟器，它能预测特定行为可能产生的结果。 传统方式： 需要开发者手动编写复杂的代码来定义物理法则和环境规则。 LLM 驱动方式： 预训练的大模型（如 GPT-4 或 Claude）已经具备了关于世界运行逻辑的知识（例如：知道“推倒杯子水会洒”）。研究人员可以利用 LLM 自动生成这些模拟环境的逻辑。 2. 研究的具体内容 来自上海交通大学、微软研究院、普林斯顿大学和爱丁堡大学的国际研究团队对此进行了深入研究。他们测试了 LLM 在不同环境下充当模拟器的能力： 家庭模拟（Household Simulations）： 模拟洗碗、整理房间等日常任务。 电子商务网站（E-Commerce）： 模拟购物行为、库存管理等逻辑。 3. 关键发现： 强结构化环境表现更佳： 在规则清晰、逻辑严密的场景（如简单的文本游戏或特定流程）中，LLM 驱动的模拟效果非常好。 开放世界的局限性： 对于像社交媒体或复杂的购物网站这类高度开放的环境，LLM 仍需要更多的训练数据和更大的模型参数才能实现高质量的模拟。 真实观察的修正： 实验显示，如果在 LLM 模拟器中加入少量来自现实世界的真实观察数据，模拟的质量会显著提升。 对 AI 行业的意义 加速 AI 智能体进化： 这种方法让 AI 智能体可以在几秒钟内完成数千次的虚拟实验，极大加快了学习速度。 降低训练门槛： 开发者不再需要搭建昂贵的物理实验室，只需要调用 LLM 接口就能创建一个“训练场”。 2026 年的趋势： 这预示着 2026 年及以后，“自主智能体”将成为 AI 发展的核心，而这种“基于模拟的学习”将是通往通用人工智能（AGI）的关键一步。 总结 该研究证明，LLM 不仅仅是聊天机器人，它们可以演变成复杂的“数字世界创造者”。在这个虚拟世界里，新一代的 AI 智能体可以安全、低成本地反复磨练技能，最终再将学到的能力应用到现实生活和工作中。 （ 根据海外媒体编译 ）
5 个月前
LoRA（Low-Rank Adaptation）是一种对大模型进行“轻量级微调”的技术。
5 个月前
Gemini 3 标志着AI模型从“增量优化”向“范式转变”的重大跃进。
6 个月前
2025年10月28日，PayPal宣布已与OpenAI签署合作协议，从2026年起，PayPal的数字钱包将嵌入ChatGPT，允许用户直接在该聊天机器人中完成购物支付。 PayPal首席执行官亚历克斯・克里斯表示，这项协议于上周末敲定。届时，使用PayPal服务的商家，其商品将可在ChatGPT被发现，且无需搭建集成系统，PayPal将在后台处理商家路由与支付。用户可使用PayPal钱包结账，享受买卖双方保护及纠纷解决服务，PayPal还将通过独立支付API处理ChatGPT内的银行卡支付。 此次合作PayPal将采用智能体商业协议（ACP）并结合OpenAI的“即时结账”功能。ACP是OpenAI开发的开源规范，可助力商家在AI应用中展示商品，方便用户通过AI智能体购物。OpenAI于9月推出的“即时结账”功能，能让用户在不离开ChatGPT的情况下确认订单、物流及支付信息并完成购买。 受此消息影响，PayPal盘前一度大涨超15%。此次合作标志着OpenAI在将ChatGPT拓展至电子商务领域方面迈出新一步，也被视为开启了一种由“代理式AI”驱动的全新购物模式。
6 个月前
DeepSeek OCR 介绍 DeepSeek OCR 是由中国 AI 公司 DeepSeek AI 于 2025 年 10 月 20 日发布的开源视觉语言模型（VLM），旨在探索“光学上下文压缩”（Contexts Optical Compression）的创新范式。它不是传统的 OCR（光学字符识别）工具，而是将视觉编码视为文本信息的压缩层，帮助大型语言模型（LLM）更高效地处理长文档、图像和多模态数据。 该模型的灵感来源于“一图胜千言”的理念，通过将文本转化为视觉表示，实现显著的令牌（token）减少，同时保持高准确性。 核心创新与架构 DeepSeek OCR 的核心思想是将文本作为图像处理，从而实现高效压缩： 视觉-文本压缩：传统 LLM 处理 1000 字文档可能需要数千个文本令牌，而 DeepSeek OCR 通过视觉编码器将图像压缩为更少的视觉令牌（可减少 7-20 倍），然后解码回文本。测试显示，它能保留 97% 的原始信息。 双阶段架构： DeepEncoder：视觉编码器，负责图像处理，包括文档、图表、化学分子和简单几何图形。它基于先进的视觉模型（如 Vary、GOT-OCR2.0 和 PaddleOCR 的灵感），高效提取特征。 DeepSeek-3B-MoE：解码器，使用混合专家模型（MoE，激活参数仅 5.7 亿），生成文本输出。整个模型大小约为 6.6 GB，运行速度快、内存占用低。 多功能扩展：除了基本 OCR，它支持解析图表（生成 Markdown 表格和图表）、化学公式、几何图形，甚至自然图像。深解析模式（Deep Parsing Mode）特别适用于金融图表等结构化数据。 该模型在 OmniDocBench 等基准测试中达到了端到端模型的 SOTA（最先进）性能，优于 MinerU 2.0 和 GOT-OCR2.0 等更重的模型，同时视觉令牌使用最少。 它还支持 vLLM（虚拟 LLM 推理引擎），便于批量处理。 优势与应用场景 效率提升：减少计算成本，适合处理长上下文（如聊天历史或长文档）。例如，将旧对话“低分辨率”存储为图像，模拟人类记忆衰减机制。 实用性：在 OCR 之外，它能处理复杂视觉任务，如从图像中提取结构化数据，而非简单文本复制。 开源与易用：模型托管在 Hugging Face（deepseek-ai/DeepSeek-OCR），支持 PyTorch 和 CUDA。GitHub 仓库提供完整代码和示例。 局限性：作为实验性模型，对简单矢量图形解析仍有挑战；输出有时可能出现幻觉（如中文符号混入英文响应）。 如何使用（快速入门） 安装依赖：克隆 GitHub 仓库（git clone https://github.com/deepseek-ai/DeepSeek-OCR.git），安装 Transformers 和 vLLM。 Python 示例（使用 Hugging Face）： from transformers import AutoModel, AutoTokenizer from PIL import Image import torch model_name = 'deepseek-ai/DeepSeek-OCR' tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModel.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16).cuda().eval() # 加载图像 image = Image.open("your_image.png").convert("RGB") # 提示（prompt） prompt = "<image>\nFree OCR." # 或其他任务提示，如 "<image>\nParse chart." inputs = tokenizer(prompt, return_tensors="pt").to(model.device) inputs["image"] = image # 添加图像 with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=512) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) 这将从图像中提取并输出文本。 DeepSeek OCR 代表了 OCR 从“文本提取”向“多模态压缩”转型的趋势，对于 AI 研究者和开发者来说，是一个值得关注的开源工具。
6 个月前
2025年10月14日，沃尔玛宣布与OpenAI达成一项新的合作伙伴关系： 合作内容：消费者将能够通过AI聊天机器人ChatGPT直接购买沃尔玛的商品，包括杂货（不含生鲜食品）、家庭日用品等，并实现即时结账。山姆会员店会员还可在与AI对话过程中规划膳食、补充日常必需品，并发现新的商品。顾客需先将沃尔玛账户与ChatGPT应用进行绑定，之后在购物时点击ChatGPT应用内的“购买”按钮即可完成下单。该功能计划在今年秋季晚些时候正式上线，届时也将支持第三方卖家的商品。 合作意义：此次合作将帮助零售商更深入地了解并预测客户需求，从而让线上购物体验变得更加个性化和主动化，不再仅仅是被动响应用户搜索。 双方合作基础：沃尔玛与OpenAI在其他业务领域已有合作基础，其内部团队已采用OpenAI认证课程及ChatGPT Enterprise企业版工具。 沃尔玛的AI布局：除了与OpenAI的合作，沃尔玛还推出了自研的生成式AI购物助手“Sparky”，旨在帮助顾客发现、比较商品并完成购买。未来，该功能将进一步扩展，支持自动复购、服务预约，并能理解来自文本、图像、音频和视频等多模态输入信息。
Minimax（海螺AI）已由大模型名Minimax替换原海螺AI。现海螺AI为Minimax视频生成产品名。
海螺AI