OpenAI发布定制Jalapeno推理加速器：与博通合作，专为LLM与代理型AI设计

OpenAI宣布，推出定制Jalapeño推理加速器，这是其内部专门开发，与博通合作，针对大型语言模型（LLM）推理加速及代理型人工智能（AI）设计的芯片，标志着OpenAI构建自身模型和产品背后全栈战略的重要一步。

Jalapeño推理加速器配备了固定功能和可编程计算硬件，旨在加速OpenAI大语言模型堆栈的推理过程，为ChatGPT、Codex、OpenAI   API、以及其未来基于代理型AI产品提供支持。从概念上讲，Jalapeño推理加速器与谷歌的TPU相似，只不过针对的设计对象换成了OpenAI技术栈。虽然TPU既用于训练也用于推理，但是Jalapeño似乎仅限于推理，训练工作可能仍然由GPU来完成。

OpenAI表示，Jalapeño是与博通共同打造的多代计算平台中的首个AI加速器，旨在让先进AI更快、更可靠、更易被更多人使用。其围绕OpenAI未来LLM推理愿景设计，从零开始起步，为行业当前及未来的LLM打造，从设计到生产仅用了九个月的时间就已完成，其中由OpenAI的模型加速。初步测试显示，Jalapeño作为第一代加速器，每瓦性能远优于现有最先进的设备。

未来Jalapeño将与数据中心合作伙伴以千兆瓦规模、跨越多代部署，并扩展至OpenAI的全栈平台，从产品到模型，再扩展到芯片。

超能网**

**关注我们，浏览热门硬件评测

随时查看最新天梯榜