黄氏定律下奇迹：NVIDIA GPU性能千倍飙升

外媒WCCF转载的英伟达官方博客的内容。

NVIDIA首席科学家Bill Dally在一次在线演讲中详细介绍了在后摩尔定律时代实现计算机性能提升的巨大变革。他指出，现在每一代新处理器都需要独创性和努力来发明和验证新的元件，与一代前工程师们仅仅依赖不断缩小、加快芯片的物理性能的情况截然不同。

Dally领导的NVIDIA研究团队在过去十年里实现了单个GPU在人工智能推理方面的性能提升，达到了惊人的1000倍。这一进步被IEEE Spectrum首次称为“黄氏定律”，得名于NVIDIA创始人兼CEO黄仁勋。这个标签后来被《华尔街日报》的一篇专栏广泛传播。

性能提升的最大因素之一是找到了更简单的方法来表示计算机用于计算的数字。NVIDIA Hopper架构与其Transformer Engine使用了动态的8位和16位浮点和整数数学混合。此外，他的团队通过制定高级指令，告诉GPU如何组织工作，实现了12.5倍的性能提升。这些复杂的命令帮助以更少的能量执行更多的工作。

此外，NVIDIA Ampere架构引入了结构稀疏性，这是一种简化AI模型中权重的创新方法，而不会影响模型的准确性。这项技术带来了2倍的性能提升，并且有望带来未来的进展。

Dally还介绍了在系统内的GPU之间使用的NVLink互连和系统之间的NVIDIA网络如何使单个GPU性能提升1000倍。虽然在过去十年里，NVIDIA将GPU从28纳米迁移到5纳米半导体节点，但这项技术仅占据了总性能提升的2.5倍。

Dally表示，尽管从摩尔定律中获得的增益越来越小，但他对黄定律将会持续下去表示信心。他指出，未来在简化数字表示方法、在AI模型中创建更多稀疏性以及设计更好的内存和通信电路方面存在许多机遇。这种新的计算机设计动态使得NVIDIA的工程师有了三个最渴望的机会：成为成功团队的一部分，与聪明人一起工作，参与具有影响力的设计。