三星已经构建了世界上第一个使用 GPU 和内置内存处理 (PIM) 芯片的大规模计算系统。根据Business Korea 的一份报告,这些内存模块加载到 96 个AMD Instinct MI100 GPU上,将 AI 训练性能提高了 2.5 倍。
PIM 是新一代计算机内存,可以加速由 CPU 和 GPU 等处理器处理的计算复杂的工作流程。顾名思义,每个内存模块都能够自行处理数据,从而减少在内存和处理器之间传输所需的数据量。
三星最初在 10 月份展示了 PIM 修改的 GPU,但直到最近才将 96 个 PIM 修改的 GPU 组合在一个集群中。与普通显存相比,这些经过改进的 MI100 芯片不仅性能提高了 2.5 倍,而且功耗降低了 2.67 倍,大大提高了 GPU 在运行 AI 算法时的效率。
三星开发 PIM 已有一段时间了。该公司在 2021 年演示了多种实现,涉及多种不同的内存类型,包括 DDR4、LPDDR5X、GDDR6 和 HBM2。在 LPDDR5 形式中,三星在涉及 Meta AI 工作负载的测试程序中看到性能提高了 1.8 倍,功耗降低了 42.6%,延迟降低了 70%。更令人印象深刻的是,这些结果来自未对主板或 CPU 进行修改的标准服务器系统(所有更改只是更换为支持 PIM 的 LPDDR5 DIMM)。
三星并不是唯一一家开发 PIM 芯片的公司——SK 海力士今年早些时候发布了自己的 PIM 模块。根据 SK 海力士的初步测试,其 GDDR6-AiM(内存加速器)应用程序可将 AI 处理速度提高 16 倍,并将功耗降低 80%。这比三星修改后的 MI100s 快很多,但我们不知道 SK hynix 使用什么进行测试,因此不能直接比较。
无论如何,PIM 看起来是一个有效的解决方案,可以加速 AI 加速的工作流程。“作为 AI 研究中心的负责人,我想让三星成为一家比其他任何公司都更好地使用 AI 的半导体公司,”三星电子高级技术研究所副总裁兼 AI 研究中心负责人 Choi Chang-kyu 说,告诉韩国商业。