三星配备 96 个具有激进计算内存的 AMD MI100 GPU

导读 三星已经构建了世界上第一个使用 GPU 和内置内存处理 (PIM) 芯片的大规模计算系统。根据Business Korea 的一份报告,这些内存模块加

三星已经构建了世界上第一个使用 GPU 和内置内存处理 (PIM) 芯片的大规模计算系统。根据Business Korea 的一份报告,这些内存模块加载到 96 个AMD Instinct MI100 GPU上,将 AI 训练性能提高了 2.5 倍。

PIM 是新一代计算机内存,可以加速由 CPU 和 GPU 等处理器处理的计算复杂的工作流程。顾名思义,每个内存模块都能够自行处理数据,从而减少在内存和处理器之间传输所需的数据量。

三星最初在 10 月份展示了 PIM 修改的 GPU,但直到最近才将 96 个 PIM 修改的 GPU 组合在一个集群中。与普通显存相比,这些经过改进的 MI100 芯片不仅性能提高了 2.5 倍,而且功耗降低了 2.67 倍,大大提高了 GPU 在运行 AI 算法时的效率。

三星开发 PIM 已有一段时间了。该公司在 2021 年演示了多种实现,涉及多种不同的内存类型,包括 DDR4、LPDDR5X、GDDR6 和 HBM2。在 LPDDR5 形式中,三星在涉及 Meta AI 工作负载的测试程序中看到性能提高了 1.8 倍,功耗降低了 42.6%,延迟降低了 70%。更令人印象深刻的是,这些结果来自未对主板或 CPU 进行修改的标准服务器系统(所有更改只是更换为支持 PIM 的 LPDDR5 DIMM)。

三星并不是唯一一家开发 PIM 芯片的公司——SK 海力士今年早些时候发布了自己的 PIM 模块。根据 SK 海力士的初步测试,其 GDDR6-AiM(内存加速器)应用程序可将 AI 处理速度提高 16 倍,并将功耗降低 80%。这比三星修改后的 MI100s 快很多,但我们不知道 SK hynix 使用什么进行测试,因此不能直接比较。

无论如何,PIM 看起来是一个有效的解决方案,可以加速 AI 加速的工作流程。“作为 AI 研究中心的负责人,我想让三星成为一家比其他任何公司都更好地使用 AI 的半导体公司,”三星电子高级技术研究所副总裁兼 AI 研究中心负责人 Choi Chang-kyu 说,告诉韩国商业。