苹果四台Mac Studio集群本地跑通万亿参数Kimi K2.6
源自19位全网作者
06-21 14:13
精选参考来源
1
LM Studio 与苹果合作在四台 Mac Studio 上运行 1T 参数模型在 WWDC 上,LM Studio 与苹果合作,使用预览版 LM Studio 在由四台 Mac Studio 组成的集群上运行了一个 1T 参数的模型 Kimi K2.6。展示中,他们还利用 LM Link 实现了从 MacBook Neo 和 iPhone 进行的安全远程访问。
2
LM Studio联合苹果用四台Mac Studio集群跑上万亿参数Kimi K2.6(MoE,激活320B)。统一内存池约1.5TB,Thunderbolt 5互联,实测生成速率28 tokens/s,功耗远低于传统GPU。LM Link可从MacBook Neo/iPhone安全访问本地模型。自己部署本地模型,应该是很多搞机佬的梦想吧?
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
最新文章
热门文章
-
散步慢跑都是白练!医生:肌肉流失才是衰老根源,晚了来不及119 24 -
完全新手小白一步步给京东云亚瑟刷uboot免拆机刷亚瑟69 110 -
“竹知了”舆情汹汹 鸿蒙智行发言人正式回应!60 507
已收藏
去我的收藏夹