什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

光电融合芯片落地,Token成本有望减半

刚刚过去的WAIC上,业内抛出了一个重磅判断:光电融合芯片有望让每单位Token成本下降50%,甚至更多。对常年被高昂API账单困扰的开发者和企业来说,这算是个实打实的利好——算力成本里电费和散热占了半壁江山,而光电融合芯片恰恰是从根源上砍掉了这两块大头。
怎么降的?把搬运数据的“油费”省了
传统GPU跑大模型,真正用于计算的电可能不到三成,剩下七成全耗在数据搬运和发热上了。电子在导线里穿梭会摩擦发热,数据在内存和计算单元间来回跑,就像在单行道拥堵的早高峰。光电融合芯片换了个思路:用光子代替电子来传数据和做矩阵运算。光在光波导里跑几乎没有损耗,也不发热。光本位科技刚在WAIC首发的256×256光子存内计算芯片,测算下来算力中心大规模部署后年耗电量能降到原来的1%;北大团队的全光互连系统,更是只用九分之一的算力就把AI推理速度提了100倍。功耗断崖式下降,Token的单价自然就跌下来了。
光子是辅助,不是来抢GPU饭碗的
看到功耗暴降,有人觉得GPU要被淘汰,这想多了。现阶段纯光芯片还有硬伤:光子没法存数据,做复杂逻辑判断也不如电子。所以行业公认的路子是“光电融合”:让光子当短跑飞人,专门负责最耗能的矩阵乘法和推理加速;电子芯片当全能管家,负责存储、控制和调度。壁仞科技和阶跃星辰已经在联手打造这种光电融合智算底座,英伟达的新一代平台也在用CPO(共封装光学)技术把光引擎和芯片绑在一起降功耗。
普通人何时受益?云端先降价,终端再普及
这项技术短期内还进不了你的手机或电脑,因为对体积和通用性要求太高。但未来3到5年,它会先在云端算力机房和自动驾驶等场景铺开。当数据中心的电费账单不再那么吓人,大模型厂商打价格战的底气就更足了,我们调用的Token单价自然会越来越便宜。甚至有观点认为,随着光电融合和工程优化推进,Token的生产成本会因“技术通缩”快速下降。下一次看到大模型API大降价,背后可能就有光子的一份功劳。
历史事件回溯
当前事件
光电融合芯片有望大幅降低Token成本
  • 核心技术:光电融合计算架构
  • 降本幅度:Token成本降低50%
  • 应用场景:AI大模型推理与生成
2024年3月
英伟达发布B200,大模型推理成本骤降
  • 核心技术:Blackwell架构GPU
  • 降本幅度:推理成本降至前代1/25
  • 应用场景:万亿参数大模型推理
2020年5月
英伟达发布A100,AI训练成本大幅下降
  • 核心技术:Ampere架构GPU
  • 降本幅度:AI训练成本降低超50%
  • 应用场景:超大规模AI模型训练

评论

评论区空态插画

当前文章无评论,是时候发表评论了