美国Etched开发出比Nvidia H100快20倍的Sohu芯片

10 个月前计算核心 78

Etched 是一家专注于制Transformer芯片的初创公司，该公司刚刚宣布推出 Sohu，这是一款专用集成电路 (ASIC)，据称在 AI LLM 推理方面超越了 Nvidia 的 H100。据说一台 8xSohu 服务器的性能相当于 160 个 H100 GPU，这意味着如果 Sohu 达到预期，数据处理中心可以节省初始成本和运营成本。

据该公司称，当前的 AI 加速器（无论是 CPU 还是 GPU）都是为与不同的 AI 架构配合使用而设计的。这些不同的框架和设计意味着硬件必须能够支持各种模型，如卷积神经网络、长短期记忆网络、状态空间模型等。由于这些模型针对不同的架构进行了调整，因此大多数当前的 AI 芯片将其计算能力的很大一部分分配给可编程性。

大多数大型语言模型 (LLM) 使用矩阵乘法来完成大部分计算任务，而 Etched 估计 Nvidia 的 H100 GPU 仅将 3.3% 的晶体管用于这一关键任务。这意味着剩余的 96.7% 硅用于其他任务，这对于通用 AI 芯片来说仍然是必不可少的。

几年前，Etched 启动搜狐项目时，在 transformer 上下了很大的赌注。这款芯片将 transformer 架构嵌入硬件中，从而允许它为 AI 计算分配更多晶体管。我们可以将其与处理器和显卡进行比较——假设当前的 AI 芯片是 CPU，它可以做很多不同的事情，那么 transformer 模型就像游戏标题的图形需求。当然，CPU 仍然可以处理这些图形需求，但它不会像 GPU 那样快速或高效地完成。专门处理视觉效果的 GPU 将使图形渲染更快、更高效，这是因为它的硬件是专门为此设计的。

Etched 没有制造一款可以适应每种 AI 架构的芯片，而是制造了一款仅适用于 transformer 模型的芯片。当它在 2022 年启动该项目时，ChatGPT 甚至还不存在。但随后它在 2023 年爆红，现在看来，该公司的赌注即将获得巨大回报。

来源：tomshardware.com