谷歌 Willow 芯片是在Google位于圣巴巴拉的全新先进制造工厂制造的，该工厂从一开始就是为制造量子芯片而建造的。 Google对芯片架构、制造、门开发、校准等多个方面进行了优化，以提高性能。
Willow 在不到 5 分钟的时间内就解决了一项标准基准测试。 而目前领先的超级计算机需要 10^25 年才能解决同样的测试。 量子计算机将有利于药物发现、核聚变能源等领域的一些实际应用。 为了帮助实现这一目标，Google提到，它看好 Willow 系列芯片能够将这些应用变为现实。
谷歌在《自然》杂志上发表的研究结果表明：我们在 Willow 中使用的量子比特越多，我们减少的误差就越多，系统的量子化程度就越高。 我们测试了越来越大的物理量子比特阵列，从 3x3 的编码量子比特网格，到 5x5 的网格，再到 7x7 的网格--每一次，利用我们在量子纠错方面的最新进展，我们都能将错误率降低一半。 换句话说，我们实现了错误率的指数级降低。
这一历史性成就在该领域被称为"低于阈值"--能够在增加量子比特数量的同时降低误差。 要想在纠错方面取得真正的进展，就必须证明自己低于阈值，而自 1995 年彼得-肖尔提出量子纠错以来，这一直是一个突出的挑战。
14 天前
华为昇腾推出的Atlas 900 SuperCluster成为国产AI算力的重要突破，标志着华为在超大规模AI训练集群领域的领先地位。 1. 技术突破与性能表现 超大规模算力支持：Atlas 900 SuperCluster 采用创新的超节点架构，支持超万亿参数大模型训练，单集群可管理数十万张昇腾AI加速卡（如昇腾910B），并实现高可用性设计，包括超高速互联、高效液冷散热和瞬时爆发供电。 性能对标英伟达A100：实测数据显示，昇腾AI集群在训练Meta Llama、BloomGPT等模型时，效率可达英伟达A100的1.1倍，并在部分场景实现10倍领先于其他国产方案。 国产化算力标杆：科大讯飞等企业已采用昇腾万卡集群，训练效率达到英伟达A100的0.8~1.2倍，证明其在国产大模型训练中的竞争力。 2. 架构与生态创新 全栈自主可控：从硬件（昇腾芯片、鲲鹏CPU）、架构（达芬奇架构）、软件（MindSpore框架）到开发工具（CANN异构计算），华为构建了完整的AI计算产业链。 昇腾910B芯片升级：相比前代昇腾910，910B在FP32性能上显著提升，支持多NPU模组互联，提供更高带宽和算力密度，进一步缩小与英伟达高端GPU的差距。 生态挑战与机遇：尽管昇腾算力已对标英伟达，但CUDA生态的成熟度仍是竞争短板。华为通过开源MindSpore、适配主流框架（如PyTorch、TensorFlow）及开发者扶持计划（如15亿美元生态投入）加速生态建设。 华为Atlas 900 SuperCluster的推出，不仅提升了国产AI集群的竞争力，也为全球AI算力格局注入了新变量。随着生态完善，昇腾有望在AI训练与推理市场占据更关键地位。 （根据资讯整理）
1 个月前
谷歌大模型与人脑语言处理机制研究由谷歌研究院与普林斯顿大学、纽约大学等合作开展。3 月上旬，谷歌的研究成果表明大模型竟意外对应人脑语言处理机制。他们将真实对话中的人脑活动与语音到文本 LLM 的内部嵌入进行比较，发现两者在线性相关关系上表现显著，如语言理解顺序（语音到词义）、生成顺序（计划、发音、听到自己声音）以及上下文预测单词等方面都有惊人的一致性 研究方法：将真实对话中的人脑活动与语音到文本LLM的内部嵌入进行比较。使用皮层电图记录参与者在开放式真实对话时语音生成和理解过程中的神经信号，同时从Whisper中提取低级声学、中级语音和上下文单词嵌入，开发编码模型将这些嵌入词线性映射到大脑活动上。 具体发现 语言理解与生成顺序：在语言理解过程中，首先是语音嵌入预测沿颞上回（STG）的语音区域的皮层活动，几百毫秒后，语言嵌入预测布罗卡区（位于额下回；IFG）的皮层活动。在语言生成过程中，顺序则相反，先由语言嵌入预测布罗卡区的皮层活动，几百毫秒后，语音嵌入预测运动皮层（MC）的神经活动，最后，在说话者发音后，语音嵌入预测STG听觉区域的神经活动。这反映了神经处理的顺序，即先在语言区计划说什么，然后在运动区决定如何发音，最后在感知语音区监测说了什么。 神经活动与嵌入的关系：对于听到或说出的每个单词，从语音到文本模型中提取语音嵌入和基于单词的语言嵌入，通过估计线性变换，可以根据这些嵌入预测每次对话中每个单词的大脑神经信号。全脑分析的定量结果显示，在语音生成和语音理解过程中，不同脑区的神经活动与语音嵌入和语言嵌入的峰值存在特定的先后顺序和对应关系。 “软层次”概念：尽管大模型在并行层中处理单词，人类大脑以串行方式处理它们，但反映了类似的统计规律。大脑中较低级别的声学处理和较高级别的语义处理部分重叠，即存在“软层次”概念。例如，像IFG这样的语言区域不仅处理单词级别的语义和句法信息，也捕捉较低级别的听觉特征；而像STG这样的低阶语音区域在优先处理声学和音素的同时，也能捕捉单词级别的信息。 以往相关研究成果 2022年发表在《自然神经科学》上的论文显示，听者大脑的语言区域会尝试在下一个单词说出之前对其进行预测，且在单词发音前对预测的信心会改变在单词发音后的惊讶程度（预测误差），证明了自回归语言模型与人脑共有的起始前预测、起始后惊讶和基于嵌入的上下文表征等基本计算原理。 发表在《自然通讯》的论文发现，大模型的嵌入空间几何图形所捕捉到的自然语言中单词之间的关系，与大脑在语言区诱导的表征（即大脑嵌入）的几何图形一致。 后续研究还发现，虽然跨层非线性变换在LLMs和人脑语言区中相似，但实现方式不同。Transformer架构可同时处理成百上千个单词，而人脑语言区似乎是按顺序、逐字、循环和时间来分析语言。 总之，该研究表明，语音到文本模型嵌入为理解自然对话过程中语言处理的神经基础提供了一个连贯的框架，尽管大模型与人脑在底层神经回路架构上存在明显不同，但在处理自然语言时有着一些相似的计算原则。
2 个月前
BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年发布的一种预训练语言模型，基于Transformer架构，用于自然语言处理（NLP）任务。它的双向（Bidirectional）上下文理解能力使其在文本理解、问答系统、文本分类等任务中表现卓越。 BERT的核心特点 1. 双向上下文理解 传统语言模型（如GPT）通常是单向的（从左到右或从右到左）。 BERT采用Masked Language Model（MLM，掩码语言模型），即在训练过程中随机遮挡部分词语，并让模型根据上下文预测这些被遮挡的词，从而实现双向理解。 2. 预训练+微调（Pre-training & Fine-tuning） 预训练（Pre-training）：在海量无标注文本数据（如维基百科、BooksCorpus）上进行训练，使BERT学会通用的语言知识。 微调（Fine-tuning）：针对具体任务（如情感分析、问答系统、命名实体识别）进行轻量级训练，只需少量数据，即可获得良好效果。 3. 基于Transformer架构 BERT使用多层Transformer编码器，通过自注意力（Self-Attention）机制高效建模文本中的远程依赖关系。 Transformer结构相比RNN和LSTM，更适合并行计算，处理长文本能力更强。 BERT的两大核心任务 Masked Language Model（MLM，掩码语言模型） 在训练时，随机遮挡输入文本中的15%单词，让模型根据上下文预测这些词。 这种方法使BERT学习到更深层次的语言表示能力。 Next Sentence Prediction（NSP，下一句预测） 让模型判断两个句子是否是相邻句： IsNext（相关）：句子A和B是原始文本中相连的句子。 NotNext（无关）：句子B是随机选择的，与A无关。 这一任务有助于提高BERT在问答、阅读理解等任务中的能力。 BERT的不同版本 BERT-Base：12层Transformer（L=12）、隐藏层768维（H=768）、12个自注意力头（A=12），总参数110M。 BERT-Large：24层Transformer（L=24）、隐藏层1024维（H=1024）、16个自注意力头（A=16），总参数340M。 DistilBERT：更小更快的BERT变体，参数量约为BERT的一半，但性能接近。 RoBERTa：改进版BERT，去除了NSP任务，并采用更大数据量进行训练，提高了性能。 BERT的应用 BERT可以应用于多种NLP任务，包括： 文本分类（如垃圾邮件检测、情感分析） 命名实体识别（NER）（如人名、地名、组织识别） 阅读理解（QA）（如SQuAD问答） 文本摘要 机器翻译 搜索引擎优化（SEO）（Google已将BERT用于搜索算法） BERT的影响 推动NLP进入预训练时代：BERT的成功引发了NLP领域的“预训练+微调”范式（如GPT、T5、XLNet等）。 提升搜索引擎性能：Google 在搜索引擎中使用BERT，提高查询理解能力。 加速AI技术发展：BERT的开源推动了自然语言处理技术在学术界和工业界的广泛应用。 总结 BERT是Transformer架构的双向预训练模型，通过MLM和NSP任务学习通用语言知识，在NLP领域取得巨大突破。它的成功奠定了现代大模型预训练+微调的范式，被广泛用于搜索、问答、文本分类等任务。
4 个月前
中美 AI 竞争已进入白热化阶段，技术差距的缩小、数据瓶颈的突破以及地缘政治的影响将成为未来 AI 发展的关键因素。
4 个月前
Gemini 1.0是为了组织和理解信息，Gemini 2.0则是为了让信息变得更有用。
4 个月前
中国政府对美国半导体巨头NVIDIA采取了一系列反制措施，这不仅直接冲击了NVIDIA在中国市场的业务，也引发了市场对人工智能（AI）领域领军企业NVIDIA繁荣时代是否即将结束的广泛担忧。 中国的反击措施包括但不限于加强对外国半导体技术的出口限制、加大对本土半导体产业的财政和政策支持，以及推动国内企业在高端芯片技术领域的自主研发。这些措施的核心目的是减少对外国技术的依赖，特别是在关键的AI和高性能计算领域。 作为全球最大的AI芯片供应商之一，NVIDIA在中国市场拥有显著的份额。中国不仅是NVIDIA产品的重要销售市场，也是其研发和创新的重要基地之一。然而，随着中国政府政策的转向，NVIDIA在这一关键市场的前景变得不确定。 分析师指出，中国的这一系列举措可能会导致NVIDIA在中国的收入显著下降，从而对其整体财务表现产生负面影响。此外，这也可能加速中国本土半导体企业的崛起，如中芯国际和紫光国微等，这些企业正致力于在高端芯片领域与NVIDIA竞争。长远来看，这种竞争可能会挑战NVIDIA在全球AI芯片市场的领导地位。 市场对这一消息的反应迅速而强烈。NVIDIA的股票在消息公布后迅速下跌，跌幅超过了5%，投资者对于NVIDIA未来在中国市场的前景以及整个AI行业的发展趋势感到不确定。一些投资者甚至开始重新评估其在NVIDIA股票上的投资组合，担心这一事件可能是一个更广泛市场动荡的前兆。 这一事件标志着中美在高科技领域竞争的加剧，特别是在关键的半导体和人工智能技术领域。双方的政策博弈不仅影响到企业的商业运营，也可能对全球技术发展和产业格局产生深远影响。市场和业界都在密切关注接下来的发展，以评估这些政策变化对NVIDIA和整个AI行业的长期影响。 中国的反击措施使得NVIDIA股票受压，市场对其繁荣时代是否结束产生担忧。这一事件反映了中美在高科技领域的激烈竞争，也可能预示着全球半导体和AI产业格局的重大调整。未来，随着双方政策的进一步演变和市场的自我调整，NVIDIA及其竞争对手将面临新的挑战和机遇。投资者和企业都需要保持高度警惕，密切关注相关动态，以做出明智的决策。 新闻来源：MSN德语财经频道
4 个月前
Google宣布了其新型量子计算芯片Willow，这是在量子计算领域长达十年的征程中迈出的重要一步！
7 个月前
海光处理器属于GPGPU架构，通用且场景支撑能力强，这是国内唯一具备全精度浮点数据计算能力的厂商。
8 个月前
每秒1832token极限推理速度
8 个月前
观察者网今日发表了一篇题为《中企这么做，正让美国限制变得毫无意义》的文章。 这篇文章介绍了中国公司如何在美方限制先进芯片的情况下开发自己的AI技术。它讨论了这些公司提高效率和创建更小、更专业的模型的方式。 该文章还强调了中国公司开发的AI应用数量不断增长。一些重要观点是，中国在AI专利申请方面处于世界领先地位，中国公司正在开发自己的芯片以减少对外国技术的依赖。 文章详细介绍了中国公司在AI领域取得的进展，包括： 开发了新的训练方法，例如使用更少的数据和更小的模型，以提高效率。 开发了自己的AI芯片，以减少对外国技术的依赖。 在应用AI到现实世界问题方面处于领先地位。 中国在AI领域取得的进展是其科技实力不断增强的体现。
