美国高校发明新模型,让计算机随机存储器(CRAM)节能1000倍以上

9 个月前 深度学习 89

近日,明尼苏达大学科学与工程学院的一组研究人员展示了一种数据永远不会离开内存的新模型,称为计算随机存取存储器(CRAM)。与目前的方法相比,它可以将人工智能应用的能源需求降低 1,000 倍甚至更多。在一次模拟中,CRAM 技术显示出令人难以置信的 2,500 倍节能效果。

众所周知,传统计算依赖于已有数十年历史的冯·诺依曼架构,该架构由独立的处理器和内存单元组成,需要不断来回移动数据,这是一个耗能过程。

明尼苏达团队的 CRAM 完全颠覆了该模型,使用称为磁隧道结 (MTJ) 的自旋电子器件直接在内存内部进行计算。自旋电子设备并不依赖电荷来存储数据,而是利用电子自旋,为传统的基于晶体管的芯片提供了更有效的替代品。

“作为一种极其节能的数字内存计算基板,CRAM 非常灵活,可以在内存阵列的任何位置执行计算。因此,我们可以重新配置 CRAM,来最好地满足各种 AI 算法的性能需求,”计算架构专家、论文合著者、明尼苏达大学电气与计算机工程系副教授 Ulya Karpuzcu 表示。“它比当今 AI 系统的传统构建块更节能。”

Karpuzcu 解释道,CRAM 直接在存储单元内执行计算,有效利用阵列结构,从而无需缓慢且耗能的数据传输。


受内存逻辑传输瓶颈困扰的传统计算机架构 (a) 与 CRAM (b) 对比a, b 与存在内存-逻辑传输瓶颈的传统计算机架构 (a) 相比,CRAM (b) 提供了显著的功耗和性能改进。其独特的架构允许在内存中进行计算,以及随机访问、可重构性和并行操作能力。c CRAM 在数据密集型、以内存为中心或功耗敏感的应用中表现出色,例如神经网络、图像处理或边缘计算 (c)。

CRAM 架构实现了真正的在内存中进行计算,打破了传统冯·诺依曼架构中计算与内存之间的瓶颈。这种“内存中计算”(in-memory computing)的方法,通过消除逻辑和内存之间耗电的数据传输,尤其适用于需要大量数据并行处理的应用,如深度学习、图像处理和大数据分析。

研究人员估计,基于 CRAM 的机器学习推理加速器在能量延迟积方面比最先进的解决方案实现了 1000 倍的改进。另一个例子表明,CRAM(在 10 nm 技术节点)执行 MNIST 手写数字分类器任务分别消耗 0.47 µJ 和 434 ns 的能量和时间,与 16 nm 技术节点的近内存处理系统相比,它的能量和时间分别减少了 2500 倍和 1700 倍。


资讯来源:InfoQ
论文地址:https://www.nature.com/articles/s44335-024-00003-3

相关资讯