这玩意有什么用,能不能替代人开会,我们单位买个香蕉都TM要开会
显存都22了,内存可以上一下双8或者双16了
确实恶心 而且性能没有释放 还加了锁
可以集群部署不 有四张3080
你跑的顶多4bit量化的吧
用3080的会说刚刚好
扯那么多废话,我8g内存,22显存,照样跑32b的。按你说发连14b都跑不起。
nv是真恶心人
标题都说了,喂饭
为啥只推荐光威?
显存多少?
嗯呐
是啊
蒸馏模型为啥不为8g显卡考虑,14b正好9g得用内存,性能直接落地上
ddr5最好的内存,CPU超好,32B,一两个字一两个字的吐,结果10分钟后回来看。14B及以下答案基本上有问题
请选择举报理由 垃圾广告! 低俗色情! 人身攻击! 疑似水军评论! 其他有害!
最少输入10个字
这玩意有什么用,能不能替代人开会,我们单位买个香蕉都TM要开会
显存都22了,内存可以上一下双8或者双16了
确实恶心 而且性能没有释放 还加了锁
可以集群部署不 有四张3080
你跑的顶多4bit量化的吧
用3080的会说刚刚好
扯那么多废话,我8g内存,22显存,照样跑32b的。按你说发连14b都跑不起。
nv是真恶心人
标题都说了,喂饭
显存多少?
嗯呐
是啊
蒸馏模型为啥不为8g显卡考虑,14b正好9g得用内存,性能直接落地上
ddr5最好的内存,CPU超好,32B,一两个字一两个字的吐,结果10分钟后回来看。14B及以下答案基本上有问题
请选择举报理由