张大妈

炸裂,多伦多小厂Taalas把Llama焊死在芯片里,直接把英伟达按在地上摩擦?!#英伟达 #固态芯片 #Ai#gb200#Ai芯片

源自抖音:无敌AI小常识

02-25 12:09

在科技巨头争抢英伟达GPU之际,一家多伦多初创公司Taalas选择了一条颠覆性道路:将大模型物理固化于芯片。此举绕开了传统计算的“内存墙”瓶颈,以极致专用换来了近50倍于英伟达GB200的推理速度和二十分之一的成本,引发了业界对AI芯片未来路线的深刻思考。

炸裂,多伦多小厂Taalas把Llama焊死在芯片里,直接把英伟达按在地上摩擦?!#英伟达 #固态芯片 #Ai#gb200#Ai芯片智能速览

  • Taalas发布HCE芯片,将Llama 3.1 8B模型物理固化。

  • 推理速度高达17000 tokens/秒,比英伟达GB200快近50倍。

  • 通过消除数据搬运,功耗与成本降至传统方案的二十分之一。

  • 芯片无法升级或更换模型,一旦模型过时即成电子垃圾。

  • 此举引发AI芯片路线之争:通用计算与极致效率的对立。

  • 未来AI或将分裂为云端通用神灵与边缘端专用工匠。

炸裂,多伦多小厂Taalas把Llama焊死在芯片里,直接把英伟达按在地上摩擦?!#英伟达 #固态芯片 #Ai#gb200#Ai芯片精华内容

当科技巨头还在争夺通用GPU时,一家名不见经传的小厂却选择了一条截然相反的道路:放弃通用性,将大模型物理刻进硅晶片。这种近乎偏执的固化,换来了惊人的回报。

极致的速度

Taalas发布的HCE芯片专为Llama 3.1 8B模型设计,其推理速度达到了惊人的17000 tokens/秒。作为对比,业界公认的Siri Bros模型速度约为2000 tokens/秒,而英伟达最新的GB200架构,其速度提升幅度更是夸张到接近50倍。这种速度体验已非“秒回”可以形容,更像是用户刚敲下回车,答案便已呈现在屏幕上。

固化的代价

这种极致性能的代价是通用性的彻底丧失。HCE芯片在出厂时,其命运就被永远锁定为运行Llama 3.1 8B模型。它无法进行模型升级,无法进行微调,更无法更换为其他模型。这意味着一旦Meta发布Llama 4,这块曾经性能怪兽的芯片将直接沦为电子垃圾,其生命周期与单一模型深度绑定。

破局的关键

其突破在于解决了“内存墙”难题。过去30年,CPU、GPU和AI加速器的思路是构建一个通用舞台,让模型数据在上面“跳舞”,但数据来回搬运的能耗早已超过计算本身。Taalas的思路是,既然模型固定,不如直接将“布景”——即模型的每一个权重——都用水泥砌死在芯片里,对应一个物理晶体管。矩阵乘法不再是调度执行,而是电流的物理流动,从而杜绝了数据搬运的巨大开销。

路线的分裂

这背后是AI芯片设计路线的根本性分裂。Taalas创始人Bijac曾是AMD和NVIDIA的架构师,他走向了极致固化换取极致效率的极端。这与芯片之神Jim Keller所倡导的“通用、可编程、软件友好”理念形成鲜明对比。这场争议不仅是技术路线的对立,更是对未来AI形态的哲学思辨:我们究竟需要一个全知全能的通用大脑,还是一个便宜、稳定、毫秒级响应的专用电子工匠?

Taalas的HCE芯片不只是一次性能上的突破,更是对AI行业通用至上共识的一次有力挑战。它促使人们重新思考,未来的AI生态究竟是需要一个全知全能的云端神灵,还是需要无数个快、准、廉价的边缘工匠?这道选择题,或许将定义下一个十年。

炸裂,多伦多小厂Taalas把Llama焊死在芯片里,直接把英伟达按在地上摩擦?!#英伟达 #固态芯片 #Ai#gb200#Ai芯片关键评论

  • 有网友联想到其在特定军事领域的应用潜力。

  • 有人担忧英伟达的未来,猜测模型定制芯片将成为趋势。

  • 也有观点指出,英伟达GPU在大模型训练上仍具核心地位。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章