AMD收购Taalas,将AI模型直接固化到芯片中

Taalas成立于2023年,专门制造"模型专用集成电路",这类芯片将模型的权重和数据流直接映射到晶体管中,而非在高带宽内存中来回传输。其首款测试芯片HC1采用台积电的6纳米工艺制造,运行Meta的Llama 3.1 8B模型时速度接近每秒17,000个token。Taalas在今年2月表示,这一速度是英伟达H200的73倍,而功耗仅为后者的十分之一。第二款芯片HC2则面向约200亿参数的模型。
代价是灵活性。一块成品Taalas芯片只能运行为其设计的特定模型,无法运行其他模型,因此新模型意味着需要新芯片。但Taalas表示,这并没有听起来那么昂贵。芯片的100多层中,从一个设计到下一个设计只需更改两层,而且该公司使用内部工具将流片时间控制在约两个月左右。
这项技术将纳入AMD的加速器路线图。更大的计划是打造系统,而不仅仅是芯片。AMD希望将Taalas芯片与其Instinct GPU协同工作,接入其销售的Helios机架和Epyc处理器,并通过ROCm软件进行编程。

AMD人工智能集团高级副总裁Vamsi Boppana表示,目标是为客户提供选择,"为每一种AI工作负载提供合适的计算解决方案"。他称Taalas带来了差异化的推理性能和效率。
Taalas联合创始人兼首席执行官Ljubisa Bajic正在经营他的第二家AI芯片公司。在创办Taalas之前,他曾执掌Tenstorrent。他表示,这家初创公司的成立是"为了通过围绕模型构建硬件,从根本上重新思考AI推理"。交易完成后,他在多伦多的团队将加入Boppana的部门。

这笔收购发生在一个过去一年已围绕推理进行重组的市场中。英伟达于去年12月同意从Groq获得推理技术授权,据报道交易金额为200亿美元,随后在3月的GTC大会上推出了基于此技术的Groq 3语言处理单元。Taalas是AMD在过去9个月内的第三笔AI收购,此前分别在去年11月收购了MK1,在今年6月收购了内存优化初创公司 Mext。FastFlowLM团队也于7月加入了该公司。
据悉,Taalas今年2月从Quiet Capital、Fidelity以及半导体投资人Pierre Lamond处融资1.69亿美元,使其融资总额达到约2.19亿美元。此次收购须满足常规的交割条件和监管审批。
