当前AI推理硬件普遍受限于存算分离的瓶颈。一家初创公司Taalas提出了一种极端解决方案：将大语言模型直接固化在芯片上，实现存算合一。这种HC1芯片在特定模型上实现了远超GPU的推理速度和极低的功耗，为AI基础设施的演进提供了一个全新的、值得深入探讨的技术方向，尽管它以牺牲通用性为巨大代价。
智能速览
Taalas HC1芯片采用存算合一架构，将模型权重直接刻入硅片。
单颗芯片运行Llama 3.1 8B模型速度达17000 tokens/s，超Nvidia GPU近50倍。
其构建成本仅为GPU方案的二十分之一，功耗降低一个数量级。
极端专用化的代价是完全不可编程，更换模型需重新流片。
硬件固化使得软件栈极度简化，几乎消除了复杂的编译优化层。
精华内容
这种极致的性能是如何实现的？它通过彻底颠覆传统芯片设计思路，将专用化推向了前所未有的高度。
存算合一的破局
当前主流GPU架构的核心瓶颈在于计算单元与存储单元分离。模型参数存储在HBM中，每次计算都需搬运数据，这个过程消耗大量时间和能量。Taalas HC1的解决方案是采用Mask ROM工艺，将Llama 3.1 8B模型的权重直接编码在芯片的金属互连层中，与计算逻辑共存于同一硅片，从而从根本上消除了数据搬运的瓶颈。
芯片上仅保留一小块SRAM，用于存放KV Cache和LoRA微调权重，提供有限的灵活性。这种存算合一的设计，使得整个架构几乎不可编程。
性能与成本碾压
基于存算合一架构，HC1芯片在性能和成本上展现出巨大优势。在单用户场景下，其输出速度可达17,000 tokens/s，大约是目前最快竞品Cerebras的9倍，更是Nvidia Blackwell架构GPU的近50倍。
在成本和功耗方面，HC1的构建据称仅为同等GPU方案的二十分之一，功耗约为250W，低一个数量级。一个搭载10块HC1板卡的服务器总功耗约2.5kW，可在标准风冷机架中运行，与动辄数十千瓦、必须依赖液冷的GPU服务器形成鲜明对比。
不可编程的代价
HC1芯片的局限性与它的优势同样突出：它只能运行Llama 3.1 8B这一个模型。想要更换模型，唯一的办法就是重新设计并制造一颗新芯片。这是AI芯片行业迄今为止最激进的专用化尝试。Taalas的定制流程借鉴了结构化ASIC的思路，为新模型定制芯片时只需更换两层掩模，从拿到模型到生成RTL仅需一周，整个周期目标是两个月。这种模式要求客户对特定模型做出至少一年的承诺，适用于那些已被验证有效且用户粘性高的业务场景。
规模化挑战
将这种极端专用化扩展到更大模型时，挑战也随之而来。Taalas公布了针对DeepSeek R1 671B模型的模拟数据，需要约30颗芯片协同工作。模拟结果显示，这套系统可达12,000 tokens/s/user，成本也低于GPU方案。但多芯片系统面临的互联、同步、良率等工程挑战不可小觑。
此外，HC1采用自定义的3-bit数据类型进行激进量化，会带来模型质量的损失。Taalas承认这一点，并计划在第二代HC2平台中采用标准4-bit浮点格式来改善质量。
Taalas的方案触及了当前AI硬件的核心痛点，用极端专用化换取了突破性的效率。它或许不会取代通用GPU数据中心，但为特定、长期运行的模型提供了一条极具吸引力的路径。AI基础设施的未来，是否会因此走向更加多元和专精的形态？
