24人团队硬核造芯:每秒17000 token,AI芯片市场迎来新物种

源自14位全网作者

02-24 07:13

近日,一家仅有24名成员的初创公司Taalas发布了一款名为HC1的AI推理芯片,因其宣称的每秒高达17000个token的惊人处理速度而引发了市场的广泛关注。这一事件不仅展示了技术上的突破,更可能预示着AI芯片市场未来发展方向的一次重要分野。

24人团队硬核造芯:每秒17000 token,AI芯片市场迎来新物种

Taalas公司由多位曾在AMD、英伟达等芯片巨头任职的前高管创立,其核心人物Ljubiša Bajić更是知名AI芯片公司Tenstorrent的创始人。与当前由英伟达主导的通用GPU路线不同,Taalas选择了一条极为激进的专用化技术路径。其核心理念是“芯片即模型”,即不再将AI模型作为软件加载到内存中运行,而是通过类似结构化ASIC(专用集成电路)的技术,将模型的参数权重直接“固化”或“刻录”在硅片上。

这种设计的直接优势是突破了困扰传统芯片架构的“内存墙”瓶颈。在通用GPU中,大量的功耗和时间消耗在计算单元与高带宽内存(HBM)之间的数据搬运上。而Taalas的HC1芯片通过将模型权重与计算逻辑集成为一体,彻底省去了外部高带宽内存和复杂的数据传输过程。根据该公司公布的数据,这种存算一体的设计使得HC1在运行Llama 3.1 8B模型时,其推理速度远超包括英伟达B200在内的业界主流产品,同时功耗和成本也据称大幅降低。由于无需昂贵的HBM和复杂的液冷系统,一个装配10颗HC1芯片的服务器功耗仅为2.5kW,可采用常规风冷部署。

24人团队硬核造芯:每秒17000 token,AI芯片市场迎来新物种

此外,这种高度专用化的设计也极大地降低了芯片的设计复杂性。传统通用GPU需要兼顾成千上万种模型和算子,工程极其浩大。而当目标仅为运行一个固定模型时,设计流程被简化为一条专用流水线,使得一个仅有24人的小团队也能在较短周期内完成一颗先进制程芯片的研发。Taalas声称,通过仅修改少数几层掩模,便可在两个月内完成对一个新模型的芯片定制,这为专用芯片的快速迭代提供了可能。

然而,这种极致的效率是以牺牲灵活性为代价的。HC1芯片一旦制造完成,其功能就被锁定,只能运行Llama 3.1 8B这一个特定模型。如果模型更新换代,这块芯片理论上将变得过时。这是该技术路线面临的最大风险和争议点,也是为何主流厂商普遍坚持通用芯片路线的原因。此外,为了追求极致速度,HC1采用了激进的数据量化方式,这在一定程度上影响了模型的推理精度和能力,例如在处理简单的数学计算时表现不佳。

尽管存在明显局限,Taalas的出现仍然对AI芯片市场带来了深远的影响。它揭示了AI算力市场走向分化的可能性:

它为推理场景提供了新的成本和效率优化方向。在AI研发和训练阶段,通用GPU的灵活性无可替代。但在大规模部署阶段,许多应用场景运行的是稳定且成熟的特定模型,此时成本和能效成为首要考量。对于这些垂直领域,如智能客服、语音助手等,Taalas这种“一次性”的专用芯片可能极具吸引力。当一个模型的应用规模足够大,通过专用芯片节省的推理成本足以覆盖其研发和制造成本时,这条路径在商业上便具备了可行性。

它可能改变AI芯片行业的竞争格局。长期以来,芯片设计被认为是需要庞大团队和巨额资本的“巨头游戏”。Taalas的实践表明,通过聚焦专用化赛道,小团队也能凭借创新的架构设计,在特定领域挑战行业领导者。这为更多初创公司进入AI硬件领域打开了一扇窗,有望催生出更加多元化的市场生态。

Taalas的探索也引发了关于AI技术终局的思考。未来AI算力可能会形成“通用+专用”的混合格局:云端由昂贵、强大的通用GPU负责前沿探索和模型训练;而在边缘侧和海量的垂直应用中,则由无数低成本、高能效的专用芯片负责具体的推理任务。

24人团队硬核造芯:每秒17000 token,AI芯片市场迎来新物种

Taalas及其HC1芯片的问世,与其说是一个意图取代通用GPU的颠覆者,不如说是一个开辟了全新赛道的探索者。它用一种极端的方式,将性能、成本与灵活性之间的取舍摆上台面。虽然其商业模式和技术可扩展性(如支持更大规模模型)仍有待市场验证,但它所代表的专用化趋势,无疑为AI芯片市场未来的发展注入了新的变量,预示着一个更加细分和多元化的算力时代或将到来。

内容由AI生成

精选参考来源

1. 24人团队硬刚英伟达,AMD前高管梦之队出手,新芯片每秒17000个token

24人团队硬刚英伟达,AMD前高管梦之队出手,新芯片每秒17000个token 24人团队硬刚英伟达,AMD前高管梦之队出手,新芯片每秒17000个token36氪1771652741 造芯片的还有高

2. 24人团队硬刚英伟达!AMD前高管出手,新芯片每秒17000个token

24人团队硬刚英伟达!AMD前高管出手,新芯片每秒17000个token 24人团队硬刚英伟达!AMD前高管出手,新芯片每秒17000个token量子位1771655102 鹭羽 发自 凹非寺量子位

3. GPU要凉?前英伟达AMD大神将AI刻在芯片上!17000 tokens/秒屠榜

GPU要凉?前英伟达AMD大神将AI刻在芯片上!17000 tokens/秒屠榜 GPU要凉?前英伟达AMD大神将AI刻在芯片上!17000 tokens/秒屠榜新智元1771754976 编辑:定慧

4. 24 人团队研发新芯片每秒 17000 个 token,将对 AI 芯片市场带来哪些影响?

24 人团队研发新芯片每秒 17000 个 token,将对 AI 芯片市场带来哪些影响? 第一反应不是”哇好快”,然后”等等,才24个人?”,牛逼。关注芯片的领域的人可能会了解的多一点,一颗台积电6

5. 24人团队硬刚英伟达!AMD前高管梦之队出手,新芯片每秒17000个token

24人团队硬刚英伟达!AMD前高管梦之队出手,新芯片每秒17000个token 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI造芯片的还有高手?刚刚推出的一款最新芯片,直接冲上硅谷热榜。峰值推理

6. GPU要凉?前英伟达AMD大神将AI刻在芯片上!17000 tokens/秒屠榜

GPU要凉?前英伟达AMD大神将AI刻在芯片上!17000 tokens/秒屠榜 编辑:定慧今天是大年初六,年还没过完。但有一个新闻却淹没在各种消息中。这可能是今年最重要的AI新闻,但现在依然还没什么

7. 快50倍省95% 专用AI芯片登场 算力格局生变?

快50倍省95% 专用AI芯片登场 算力格局生变? 快50倍省95% 专用AI芯片登场 算力格局生变?科技思维1771704848 2026年2月,初创公司Taalas推出首款专用AI推理芯片HC1,

8. 24 人团队研发新芯片每秒 17000 个 token,将对 AI 芯片市场带来哪些影响?

24 人团队研发新芯片每秒 17000 个 token,将对 AI 芯片市场带来哪些影响? 提问账号你好。下次用算法扒垃圾桶来发问题的时候,记得将补充说明的格式处理一下。这问题扒的新闻来自不讲新闻道德

9. 1.69亿融资押注专用芯片:Taalas要靠“去GPU化”改写AI算力格局

1.69亿融资押注专用芯片:Taalas要靠“去GPU化”改写AI算力格局 1.69亿融资押注专用芯片:Taalas要靠“去GPU化”改写AI算力格局钛媒体APP1771811435 2026年2月2

10. 初创用3000万造不可编程的AI芯片,推理速度是Nvidia最强GPU 50倍

初创用3000万造不可编程的AI芯片,推理速度是Nvidia最强GPU 50倍 初创用3000万造不可编程的AI芯片,推理速度是Nvidia最强GPU 50倍DeepTech深科技1771668972

11. 把模型“刻”在芯片上,定制ASIC芯片跑出17000tps的逆天速度

把模型“刻”在芯片上,定制ASIC芯片跑出17000tps的逆天速度 导读:大模型推理速度受限于“内存墙”的硬件限制,那有没有可能,直接把模型这个“软件”,变成硬件本身?也许AI推理的最终答案不是更强

12. 刷到一个公司Taalas,一家Al芯片公司,团队只有二十多人,却已经融资超过2亿美元。首款产品HC1走了一条极端路线:用...

刷到一个公司Taalas,一家Al芯片公司,团队只有二十多人,却已经融资超过2亿美元。首款产品HC1走了一条极端路线:用... 刷到一个公司Taalas,一家Al芯片公司,团队只有二十多人,却已经融资

13. 一个疯子,造出便宜100倍的AI芯片

一个疯子,造出便宜100倍的AI芯片 一个疯子,造出便宜100倍的AI芯片傅盛1771838166 25个人,3000万美金,两年半。做出了一块碾压英伟达旗舰GPU 10倍的芯片。不是PPT,不是实验

14. ASIC芯片,产业大趋势! 8月28日,英伟达CEO黄仁勋谈及ASIC芯片带来的竞争威胁称,英伟达现在提供的是复杂的产...

ASIC芯片,产业大趋势! 8月28日,英伟达CEO黄仁勋谈及ASIC芯片带来的竞争威胁称,英伟达现在提供的是复杂的产... ASIC芯片,产业大趋势! 8月28日,英伟达CEO黄仁勋谈及ASIC芯片
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章