NVIDIA GPU的INT8变革：加速大型语言模型推理

NVIDIA GPU的INT8张量核心性能可以通过不同的视角来理解，每个视角都提供了对其能力和架构设计的独特见解：

第四代张量核心：NVIDIA的H100张量核心GPU，具备第四代张量核心，加速了包括INT8在内的所有精度。这种增强减少了内存使用并提高了性能，同时为大型语言模型（LLM）保持了精度。在最大型号的模型上，AI推理性能可提高多达30倍。
图灵架构：NVIDIA图灵™架构可以使用张量核心或CUDA核心执行INT8操作。张量核心首次在NVIDIA伏打™ GPU架构中引入，旨在加速机器学习和科学应用中的矩阵乘法和累加操作。
性能优化：在NVIDIA张量核心GPU上实现最佳性能，包括基于NVIDIA安培架构的最新A100 GPU，需要理解GPU性能的基本原理以及张量核心加速操作的工作方式。正确构建和调整神经网络操作（层）的大小对于实现理想性能至关重要。NVIDIA还提供了性能指南和工具，以理解和改进专为张量核心GPU设计的网络架构。
精度的多样性：NVIDIA张量核心支持包括INT8在内的多种精度。这种多样性，结合性能能力，使NVIDIA赢得了MLPerf行业广泛基准测试中的推理类别，凸显了它们在高性能计算（HPC）和AI应用中的先进能力。
具体性能指标：就具体性能指标而言，NVIDIA Jetson Orin NX系列16GB版本提供高达100（稀疏）INT8 TOPs和50（密集）INT8 TOPs，8GB版本提供高达70（稀疏）INT8 TOPs和35（密集）INT8 TOPs。这些数字表明NVIDIA的安培GPU在处理INT8操作时具有显著的计算能力。

这些见解综合起来，展现了NVIDIA的INT8张量核心性能为强大、多样化，并且能够以高效和精确的方式处理广泛的任务和应用。

为了进一步了解NVIDIA GPU的INT8张量核心性能，我们可以深入了解如何优化这些核心以实现更高的性能。以下是一些关键点：

激活张量核心：Tensor Cores在Volta及后续GPU架构上可用，用于加速常见的深度学习操作，尤其是计算密集型任务，如全连接层和卷积层。为了充分利用Tensor Cores，工作负载必须使用混合精度。此外，当某些层的参数能被8（对于FP16数据）或16（对于INT8数据）整除时，Tensor Cores会被激活。不满足这一要求的层仍然会在GPU上加速，但会使用32位的CUDA核心作为备选方案。
优化示例：以Transformer神经网络为例，该网络主要由全连接层组成，目前是语言翻译和其他序列任务的最先进网络。通过选择合适的批处理大小，可以激活Tensor Cores并显著提高性能。例如，在Transformer架构的前馈层中，全连接层的输入为1024，输出为4096。这一层的批处理大小取决于批处理组装，它将输入分割成批次，直到达到某个最大批处理大小。如果在组装时不考虑Tensor Cores，可能会产生不规则大小的批次。
量化效应：GPU通过并行计算（称为线程）执行许多计算。在执行任务时，GPU将任务分割成大小相等的线程块。但并非所有输出矩阵都能均匀地划分为可用的瓦片大小，且创建的线程块可能在GPU上的多处理器之间也不均匀分配。这些效应被称为瓦片量化和波量化，可能导致效率低下和资源浪费。为避免瓦片量化，选择可以被2的幂整除的参数是重要的。
选择批处理大小以避免量化：选择一个无量化批处理大小（例如2560而不是2048，5120而不是4096）可以显著提高性能。例如，批处理大小为2560的情况（产生4波80个线程块）比批处理大小为4096的情况（共512个瓦片，产生6波80个线程块和32个线程块的尾波）实现了更高的吞吐量。
将INT8精度与NVIDIA GPU结合使用在LLM推理中的贡献主要体现在以下几个方面：
提升效率和速度：NVIDIA GPU的Tensor Cores（如在H100中）针对INT8操作进行了优化，可以显著提高LLM的推理速度。这种速度提升意味着在相同的时间内可以处理更多的数据，对于需要快速响应的应用（如实时语言翻译）尤为重要。
降低内存需求：使用INT8精度可以减少LLM的内存需求，这对于资源受限的环境（如边缘计算设备）非常重要。NVIDIA GPU通过高效的内存管理和优化，可以在有限的资源下运行更大的模型。
节能和成本效益：在NVIDIA GPU上运行INT8操作相比于更高精度的数据类型（如FP32或FP16），能耗更低。这在大规模部署和长时间运行的应用中尤其重要，有助于降低总体运营成本。