杭州作为中国人工智能（AI）研发的重要城市，近年来在AI领域取得了显著成就，尤其是DeepSeek-V3大模型的发布，使其成为全球AI界的焦点。以下从多个角度分析杭州为何能孕育出中国最好的语言大模型，以及其在AI研发上的基因和基础：
杭州在人工智能领域的政策支持力度大，形成了完整的产业生态。杭州市政府出台了多项政策，如《关于加快推进人工智能产业创新发展的实施意见》和《杭州市视觉智能（数字安防）集群培育提升三年行动方案》，旨在推动AI技术的研发和应用。此外，杭州还设立了“中国视谷”“中国数谷”等产业集聚区，重点发展视觉智能、智能物联等领域，为AI企业提供了丰富的应用场景和资源支持。
杭州拥有完善的算力基础设施，为AI大模型的训练提供了重要保障。杭州还通过“算力券”等政策支持企业购买智能算力，进一步降低了AI研发的门槛。不但如此，杭州科技企业还能通过算力优化提升算力。例如，深度求索（DeepSeek）在训练DeepSeek-V3时，仅使用了2048块H800 GPU，训练成本仅为557.6万美元，远低于硅谷巨头的投入。
杭州聚集了众多顶尖高校和科研机构，如浙江大学，其人工智能研究所和脑机智能实验室为AI领域输送了大量人才。深度求索的创始人梁文锋就是浙江大学人工智能专业的毕业生，其团队主要由本土人才组成，展现了杭州在AI人才培养上的深厚基础。此外，杭州还吸引了大量AI领域的年轻人才，形成了以创新为导向的研发文化。
杭州拥有阿里巴巴、海康威视等科技巨头，这些企业在AI技术研发和应用上积累了丰富的经验。例如，阿里云的通义千问大模型和恒生电子的LightGPT都在行业内具有重要影响力。深度求索作为一家初创企业，凭借其创新的架构设计（如混合专家模型MoE和多头潜在注意力机制MLA），在性能和成本上实现了突破，成为全球AI领域的“黑马”。
杭州以其开放包容的城市精神吸引了大量科技企业和人才。从城西科创大走廊到滨江人工智能产业园，杭州形成了“双核集聚、多点布局”的AI产业格局。深度求索的创始人梁文锋强调，公司更注重技术研究和开源创新，而非短期商业化，这种理念在杭州的创新环境中得到了充分支持。
杭州在智慧城市、智慧交通、智慧医疗等领域广泛应用AI技术，为AI模型的研发提供了丰富的应用场景。例如，杭州“城市大脑”在交通管理和民生服务中的应用，推动了AI技术的落地。深度求索的DeepSeek-V3不仅在技术上领先，还通过低成本的API定价策略，满足了市场对高性价比AI解决方案的需求。
杭州之所以能孕育出中国最好的语言大模型，得益于其强大的政策支持、完善的算力基础设施、丰富的人才储备、企业创新能力以及开放包容的创新环境。这些因素共同构成了杭州在AI研发上的独特基因，使其成为中国乃至全球AI领域的重要力量。未来，随着AI技术的进一步发展，杭州有望在更多领域实现突破，推动全球AI生态的繁荣。
16 天前
将 DeepSeek 的深度推理、代码能力与 ChatGPT 的语言创造力、通用对话能力相结合，设计一个名为 DeepGPT 的 AI 工具，这确实是一个极具潜力的构想。它代表了一种“强强联合”的思路，旨在创造一个更全面、更强大的 AI 助手。 DeepGPT 的核心设计理念 双引擎协同架构： DeepSeek 引擎： 专注于深度理解、逻辑推理、复杂问题拆解、代码生成与解释、数学计算、事实核查、长文档处理（128K上下文）。它是“大脑”的分析中心和事实库。 ChatGPT 引擎： 专注于自然流畅的对话、创意内容生成（写作、诗歌、剧本）、多语言能力、情感理解、用户意图捕捉、通用知识问答、多模态（未来整合图像/语音等）的接口。它是“大脑”的表达中心和交互界面。 智能路由与融合层： 这是 DeepGPT 的“智能调度中心”。它根据用户查询的性质、复杂度、所需技能，动态决定： 将任务完全交给更适合的引擎处理（如：复杂代码问题 -> DeepSeek；写一首情诗 -> ChatGPT）。 将任务拆解，分发给两个引擎处理各自擅长的部分，然后融合结果（如：要求写一份包含市场数据分析的商业计划书 -> DeepSeek 处理数据分析和预测部分，ChatGPT 负责撰写叙述性内容和润色）。 让两个引擎分别处理同一问题，提供互补视角或进行“交叉验证”，然后由融合层生成最全面/可靠的答案。 强化优势，弥补短板： 利用 DeepSeek 弥补 ChatGPT 可能在复杂逻辑推理、精确代码生成、处理超长文档方面的不足。 利用 ChatGPT 弥补 DeepSeek 可能在对话自然度、创意写作多样性、情感表达方面的不足。 DeepGPT 的核心功能与应用领域 基于双引擎协同架构，DeepGPT 将成为一个超级智能工作伙伴和创意加速器，应用极其广泛： 研究与学术： 深度文献综述： 利用 DeepSeek 处理海量论文（128K上下文），提取关键论点、发现研究空白、总结趋势；ChatGPT 帮助撰写清晰的研究综述草稿。 复杂数据分析与解释： DeepSeek 进行统计分析、建模、代码实现；ChatGPT 将结果转化为易于理解的叙述，撰写报告。 假设生成与实验设计： 双引擎协作，基于现有知识进行推理（DeepSeek）并提出新颖、可行的研究思路和实验方案（ChatGPT）。 论文写作与润色： DeepSeek 确保逻辑严谨、数据准确、符合学术规范；ChatGPT 提升语言流畅度、可读性和表达多样性。 软件开发与工程： 全栈开发助手： DeepSeek 精通代码生成（多种语言）、调试、算法实现、系统设计；ChatGPT 解释代码逻辑、生成文档注释、编写用户手册、与产品经理沟通需求。 遗留代码理解与重构： DeepSeek 深入分析复杂/老旧代码库；ChatGPT 生成重构建议的说明文档。 自动化测试脚本： DeepSeek 编写精确、高效的测试用例；ChatGPT 描述测试场景和预期结果。 内容创作与营销： 高质量长文创作： ChatGPT 负责创意构思、初稿撰写、不同风格的文本生成；DeepSeek 负责事实核查、数据支撑、逻辑结构优化、SEO 关键词策略分析。 营销策略制定： DeepSeek 分析市场数据、用户行为、竞品信息；ChatGPT 生成吸引人的广告文案、社交媒体帖子、营销邮件主题。 剧本/小说创作： ChatGPT 负责情节构思、角色对话、场景描写；DeepSeek 确保情节逻辑自洽、世界观设定合理、历史/科技细节准确。 商业分析与咨询： 综合报告生成： DeepSeek 处理财务数据、市场预测模型、风险评估；ChatGPT 整合分析结果，撰写结构清晰、论点有力、面向不同受众（高管/投资者）的报告和演示文稿。 战略规划： 双引擎协作进行 SWOT 分析、情景规划、机会识别（DeepSeek 的数据推理 + ChatGPT 的创新发散）。 客户洞察： 分析大量用户反馈、评论（DeepSeek），提炼情感倾向和关键诉求（ChatGPT），形成洞察报告。 教育与学习： 个性化辅导： DeepSeek 精准解答数学、物理、编程等难题，提供严谨步骤；ChatGPT 用生动比喻、不同角度解释概念，鼓励学生，生成练习题。 学习材料制作： 根据知识点（DeepSeek 确保准确性和深度）生成不同难度和风格的讲解、示例、测验题（ChatGPT）。 研究性学习支持： 引导学生提出问题、查找资料（DeepSeek）、组织思路、撰写学习报告（ChatGPT）。 法律与合规： 合同/法律文件审阅： DeepSeek 利用长上下文处理冗长合同，识别关键条款、潜在风险点、逻辑矛盾；ChatGPT 生成摘要、风险提示报告、用更平实语言解释条款。 法律研究： 快速查找相关法条、判例（DeepSeek），并总结要点、分析适用性（ChatGPT）。 个人效率与知识管理： 智能信息处理： 阅读并总结超长的邮件、报告、网页内容（DeepSeek），提炼行动项（ChatGPT）。 决策支持： 针对个人选择（如职业规划、投资决策），DeepSeek 提供理性分析和数据支撑，ChatGPT 帮助理清个人价值观和偏好，综合给出建议。 个性化知识库构建： 用户输入笔记、收藏文章等，DeepGPT 自动整理、关联、提炼要点（双引擎协作），方便查询和复习。 DeepGPT 的关键特性与优势 更可靠的知识与推理： DeepSeek 的深度能力作为基础，减少“幻觉”，提高答案的可信度。 更自然的交互与表达： ChatGPT 的能力确保对话流畅、易懂、富有同理心。 处理超复杂任务： 双引擎协同可以处理单一模型难以胜任的、需要深度分析+创意表达+长上下文的任务。 灵活性与适应性： 智能路由确保用户始终获得最合适的“技能组合”来解决问题。 生产力倍增器： 在专业领域（研究、开发、分析、写作）显著提升效率和质量。 可能的挑战与实现考虑 技术复杂性： 双模型协同、路由决策、结果融合在工程实现上有较高难度，需要强大的基础设施和算法优化。 成本： 同时运行/调用两个顶级大模型成本高昂。 延迟： 协同处理可能比单一模型响应慢，需要优化流程。 模型一致性： 确保两个模型的知识库和价值观尽可能对齐，避免输出矛盾。 用户界面： 需要设计直观的界面，让用户理解何时、如何利用了双引擎的优势（例如，提供“思考过程”的透明度选项）。 结论 DeepGPT 代表了下一代 AI 助手的方向：不再是单一功能的聊天机器人，而是一个集深度分析能力、强大创造力、自然交互能力于一体的认知增强伙伴。它能够渗透到知识工作的核心环节，在科研、开发、创作、分析、教育、法律等诸多领域带来革命性的效率提升和可能性拓展。它将 DeepSeek 的“硬实力”（逻辑、代码、长文、精确）与 ChatGPT 的“软实力”（语言、创意、对话、通用）完美融合，目标是成为人类在复杂智力挑战中最得力的助手。 这样的工具一旦成熟落地，其影响力将远超现有的单一模型，真正开启“AI超级助手”的新时代。
2 个月前
📢 OpenAI即将发布GPT-4.1，多模态能力再升级！ 据多家科技媒体报道，OpenAI计划于下周（2025年4月中旬）推出GPT-4.1，作为GPT-4o的升级版本，进一步强化多模态推理能力，并推出轻量级mini和nano版本。 🔍 关键升级点 更强的多模态处理 GPT-4.1将优化对文本、音频、图像的实时处理能力，提升跨模态交互的流畅度。 相比GPT-4o，新模型在复杂推理任务（如视频理解、语音合成等）上表现更优。 轻量化版本（mini & nano） GPT-4.1 mini 和 nano 将面向不同应用场景，降低计算资源需求，适合移动端或嵌入式设备。 配套新模型（o3 & o4 mini） OpenAI还将推出o3推理模型（满血版）和o4 mini，优化特定任务性能。 部分代码已在ChatGPT网页端被发现，表明发布临近。 ⏳ 发布时间与不确定性 原定下周发布，但OpenAI CEO Sam Altman 曾预警可能因算力限制调整计划。 同期，ChatGPT已升级长期记忆功能，可回顾用户历史对话，提供个性化服务（Plus/Pro用户已开放）。 🌍 行业影响 谷歌（Gemini AI）和微软（Copilot）近期也强化了AI记忆功能，竞争加剧。 GPT-4.1可能进一步巩固OpenAI在多模态AI领域的领先地位，推动商业应用（如智能客服、内容创作等）。 📌 总结：GPT-4.1的发布标志着OpenAI在多模态AI上的又一次突破，但具体性能提升和落地效果仍需观察。我们将持续关注官方更新！ （综合自腾讯新闻、The Verge、搜狐等）
2 个月前
谷歌大模型与人脑语言处理机制研究由谷歌研究院与普林斯顿大学、纽约大学等合作开展。3 月上旬，谷歌的研究成果表明大模型竟意外对应人脑语言处理机制。他们将真实对话中的人脑活动与语音到文本 LLM 的内部嵌入进行比较，发现两者在线性相关关系上表现显著，如语言理解顺序（语音到词义）、生成顺序（计划、发音、听到自己声音）以及上下文预测单词等方面都有惊人的一致性 研究方法：将真实对话中的人脑活动与语音到文本LLM的内部嵌入进行比较。使用皮层电图记录参与者在开放式真实对话时语音生成和理解过程中的神经信号，同时从Whisper中提取低级声学、中级语音和上下文单词嵌入，开发编码模型将这些嵌入词线性映射到大脑活动上。 具体发现 语言理解与生成顺序：在语言理解过程中，首先是语音嵌入预测沿颞上回（STG）的语音区域的皮层活动，几百毫秒后，语言嵌入预测布罗卡区（位于额下回；IFG）的皮层活动。在语言生成过程中，顺序则相反，先由语言嵌入预测布罗卡区的皮层活动，几百毫秒后，语音嵌入预测运动皮层（MC）的神经活动，最后，在说话者发音后，语音嵌入预测STG听觉区域的神经活动。这反映了神经处理的顺序，即先在语言区计划说什么，然后在运动区决定如何发音，最后在感知语音区监测说了什么。 神经活动与嵌入的关系：对于听到或说出的每个单词，从语音到文本模型中提取语音嵌入和基于单词的语言嵌入，通过估计线性变换，可以根据这些嵌入预测每次对话中每个单词的大脑神经信号。全脑分析的定量结果显示，在语音生成和语音理解过程中，不同脑区的神经活动与语音嵌入和语言嵌入的峰值存在特定的先后顺序和对应关系。 “软层次”概念：尽管大模型在并行层中处理单词，人类大脑以串行方式处理它们，但反映了类似的统计规律。大脑中较低级别的声学处理和较高级别的语义处理部分重叠，即存在“软层次”概念。例如，像IFG这样的语言区域不仅处理单词级别的语义和句法信息，也捕捉较低级别的听觉特征；而像STG这样的低阶语音区域在优先处理声学和音素的同时，也能捕捉单词级别的信息。 以往相关研究成果 2022年发表在《自然神经科学》上的论文显示，听者大脑的语言区域会尝试在下一个单词说出之前对其进行预测，且在单词发音前对预测的信心会改变在单词发音后的惊讶程度（预测误差），证明了自回归语言模型与人脑共有的起始前预测、起始后惊讶和基于嵌入的上下文表征等基本计算原理。 发表在《自然通讯》的论文发现，大模型的嵌入空间几何图形所捕捉到的自然语言中单词之间的关系，与大脑在语言区诱导的表征（即大脑嵌入）的几何图形一致。 后续研究还发现，虽然跨层非线性变换在LLMs和人脑语言区中相似，但实现方式不同。Transformer架构可同时处理成百上千个单词，而人脑语言区似乎是按顺序、逐字、循环和时间来分析语言。 总之，该研究表明，语音到文本模型嵌入为理解自然对话过程中语言处理的神经基础提供了一个连贯的框架，尽管大模型与人脑在底层神经回路架构上存在明显不同，但在处理自然语言时有着一些相似的计算原则。
3 个月前
自 1 月份 DeepSeek 推出 R1 推理模型后，欧洲包括汇丰银行等主要金融机构一直在将其与其他 AI 模型一起测试，而美国银行拒绝使用。
3 个月前
2025 年 3 月 12 日，清华大学 NLP 实验室联手中南大学等提出 APB 序列并行推理框架，可解决长上下文远距离语义依赖问题，在 128K 文本上比 Flash Attention 快约 10 倍。
3 个月前
在自然语言处理和人工智能领域，token通常是指文本中的基本单元，比如一个单词、一个标点符号或者一个子词等。100万token的输入输出量是一个较大的数据规模，以下从不同角度来理解这一概念： 从文本长度角度 一般来说，英文中一个单词可以看作一个token，中文可能一个字或一个词作为一个token。如果平均每个token对应5个字符（这只是一个粗略的估计，实际会因语言、文本类型等因素而不同），那么100万token大约对应500万个字符。以一本普通的中文书籍每页约1000字来算，500万个字符相当于5000页的书籍内容，这是非常庞大的文本量。 从处理难度角度 对于语言模型等人工智能系统来说，处理100万token的输入输出意味着要处理大量的信息。模型需要在这么多的token中理解语义、语法关系，捕捉上下文信息等，这对模型的容量、计算能力和算法设计都提出了很高的要求。模型需要有足够多的参数和足够深的网络结构，才能有效地处理如此大规模的文本数据，以生成准确、合理的输出。 处理如此大量的token还需要消耗大量的计算资源和时间。在训练过程中，可能需要使用高性能的GPU或TPU集群，花费数天甚至数周的时间才能完成训练。在推理阶段，也需要较多的计算资源来快速处理输入并生成输出，以满足实时性或高效性的要求。 从应用场景角度 机器翻译：如果用于机器翻译任务，100万token可能包含了各种领域的大量句子和段落。这意味着模型可以学习到丰富的语言表达方式和翻译模式，能够处理更复杂、更专业的翻译任务，提高翻译的准确性和质量。 文本生成：在文本生成任务中，如创作小说、新闻报道等，100万token的输入可以让模型学习到大量的文本风格、主题和结构信息，从而生成更丰富多样、更具创意和逻辑性的文本内容。 智能客服：对于智能客服系统，100万token的输入输出量可以使系统处理大量的用户咨询和问题，学习到各种常见问题的回答模式和解决方案，从而更准确、更快速地为用户提供服务，提高用户满意度。
3 个月前
埃隆·马斯克领导的美国政府效率部（DOGE）正在开发一款名为 AutoRIF（Automated Reduction in Force）的自动裁员软件，旨在帮助美国政府大规模“精简”工作人员。 AutoRIF 最初由美国国防部在二十多年前开发，已多次更新，并被多个机构用于加速裁员进程。目前，DOGE 的工程师，包括前特斯拉工程师 Riccardo Biasini，正在对 AutoRIF 的代码进行编辑。传统上，裁员由人力资源官员手动处理，首先针对试用期员工。然而，随着新软件和人工智能的使用，政府员工担心未来可能会更大规模、更快速地进行裁员。 最近，美国人事管理办公室（OPM）向政府工作人员发送电子邮件，要求他们列出每周的工作成果，这些信息据称将被输入大型语言模型（LLM）以评估员工的必要性。一些机构，如联邦调查局（FBI），建议员工不要回复这些电子邮件。目前尚不清楚 DOGE 对 AutoRIF 的具体改动内容。 此外，DOGE 的一系列举措显示，第二轮大规模裁员可能更加迅猛。 然而，值得注意的是，政府效率部的举措可能触及根深蒂固的既得利益政治势力，在美国政治极化和两党矛盾激化的背景下，马斯克作为部门领导人可能面临挑战。 总而言之，DOGE 正在推进 AutoRIF 软件的开发，以实现政府裁员的自动化和高效化，但这一过程也引发了对法律、隐私和道德方面的担忧。 （资讯来源：wired.com）
3 个月前
由斯坦福大学教授 Stefano Ermon 创立的初创公司 Inception Labs 推出了 Mercury Coder，这是第一个大规模基于扩散的语言模型 （dLLM）。与按顺序生成文本的传统大型语言模型 （LLM） 不同，Mercury Coder 使用扩散方法同时处理整个序列，类似于 AI 图像和视频生成。结果：该模型声称比现有模型快十倍，运行成本也明显降低。 产品要点： Mercury Coder 是第一个基于扩散的大型语言模型 （dLLM），它使用粗到细的方法生成文本，而不是按顺序预测标记。 它的速度比传统 LLM 快 10 倍，在 NVIDIA H100 GPU 上每秒生成超过 1000 个Token。 早期的基准测试表明，Mercury Coder 可与 GPT-4o Mini 和 Claude 3.5 Haiku 等模型相媲美，同时更具成本效益。 该模型基于斯坦福大学教授 Stefano Ermon 的研究，使用了一种不同的方法——从文本的粗略估计开始，然后并行进行提炼，类似于 Midjourney 和 OpenAI 的 Sora 等 AI 图像和视频生成器的运行方式。 据 Inception Labs 称，Mercury Coder 不仅与众不同，而且速度要快得多。该公司声称该模型可以在 NVIDIA H100 上每秒生成超过 1000 个Token，这种速度通常需要 Groq 或 Cerebras 等专用硬件加速器。该方法还降低了计算成本，使其成为希望优化 AI 基础设施的企业的一个引人注目的选择。 早期基准测试表明，Mercury Coder 的性能可与领先的 LLM 相媲美。在头对头编码评估中，该模型与速度优化模型（如 OpenAI 的 GPT-4o Mini 和 Anthropic的 Claude 3.5 Haiku）相当或优于速度优化模型，同时运行延迟仅为其一小部分。如果这些结果在实际应用中是一致的，那么 dLLM 可以提供传统 LLM 的可行替代方案，尤其是在需要高速响应的场景中，例如客户支持、代码生成和企业自动化。 行业领导者正在注意到这一点。AI 研究员 Andrej Karpathy 指出，Mercury Coder 的扩散方法与常态不同，他指出：“为什么文本生成抵制扩散，而图像和视频生成却接受了它，这一直是个谜。这个模型可以揭示 AI 文本生成的新优势和劣势。 目前，Inception Labs 将 Mercury Coder 定位为现有模型的直接替代方案，提供 API 访问和本地部署。该公司已经与希望减少 AI 延迟和成本的财富 100 强企业合作。Inception 还提及了未来的 dLLM 版本，包括针对对话式 AI 优化的模型。 基于扩散的 LLM 是否会成为传统模型的严重竞争对手还有待观察。但借助 Mercury Coder，Inception Labs 提出了一个令人信服的案例，即 AI 文本生成不必受到当今主流模型中顺序架构的限制。 （资讯来源：Maginative）
Minimax（海螺AI）已由大模型名Minimax替换原海螺AI。现海螺AI为Minimax视频生成产品名。
海螺AI