24人团队硬刚英伟达！AMD前高管梦之队出手，新芯片每秒17000个token

一家24人初创公司Taalas推出首款AI芯片HC1，通过“芯片即模型”的激进方案，将模型直接刻在硅片上。该芯片实现了每秒17000 token的峰值速度，在成本和功耗上远超现有产品，为追求极致AI响应速度的场景提供了颠覆性的解决方案。

智能速览

• Taalas HC1芯片峰值推理速度达17000 token/s，远超主流方案。

• 其采用“芯片即模型”理念，将大模型直接固化在硅片上。

• 该芯片成本骤降20倍，功耗降低10倍，能效比优势显著。

• 创始团队由AMD前高管组成，已获2亿美元投资。

• 该方案面临灵活性挑战，可能因模型快速迭代而过时。

精华内容

Taalas HC1是如何通过极端的技术路线，实现AI推理性能数量级飞跃的？其“芯片即模型”的设计哲学，又带来了哪些机遇与挑战？

性能飞跃

HC1芯片在搭载Llama 3.1 8B模型时，峰值推理速度高达每秒17000个token。这一数据是当前公认最快方案Cerebras（约2000 token/s）的8.5倍，更是英伟达B200（约350 token/s）的近50倍。实现这一性能的同时，其典型功耗仅为250W，使得单服务器搭载10颗芯片的总功耗也仅2.5kW，可使用常规风冷部署，极大降低了运维门槛。

模型刻硅

HC1的核心创新在于“芯片即模型”。它借鉴了结构化ASIC的理念，不改变底层电路，仅通过调整两层掩模，就将完整的AI模型及权重通过掩模ROM固化在芯片上。这彻底改变了传统“存算分离”的架构，消除了数据搬运带来的延迟与功耗瓶颈。为了保留最低限度的灵活性，芯片上仍有可编程SRAM，用于存储LoRA微调权重和KV缓存。

成本与周期

通过掩模固化的方式，HC1的生产成本得到有效控制。其设计流程将复杂的芯片制造简化为类似“编译”的过程，生产周期从传统ASIC的六个月缩短至两个月。以处理DeepSeekR1-671B模型为例，30颗HC1的多芯片方案，其每百万token成本仅7.6美分，不到同等吞吐量GPU方案的一半，即使每年更换芯片，总成本依然具备优势。

团队与未来

Taalas由AMD前高管Ljubiša Bajić等人创立，团队成员拥有深厚的GPU和ASIC设计背景。这家成立仅两年、仅有24人的团队，已凭借HC1获得2亿美元投资。公司计划在春季推出集成中等规模模型的HC1变体，并在冬季部署性能更强的HC2芯片，持续探索专用AI推理芯片的边界。

Taalas HC1用“芯片即模型”的极端方案，为AI推理领域开辟了一条追求极致能效的新路径。虽然其在灵活性和模型适应性上存在争议，但这种专用芯片的设计哲学无疑为解决日益增长的算力需求提供了宝贵思路。未来，AI芯片市场会是通用与专用方案共存，还是走向极致定制化？