半块RTX4090 玩转70B大语言模型
自ChatGPT发布以来,隔三岔五就有人宣称又在多么没门级的硬件上成功运行了大模型。 但只要点进详情就会发现要么模型小得可怜,要么速度慢得没有实用价值。 而我的目标是,半块RTX4090的预算,70B档次的量化模型,以及与在线AI相当的流畅对话!

自ChatGPT发布以来,隔三岔五就有人宣称又在多么没门级的硬件上成功运行了大模型。 但只要点进详情就会发现要么模型小得可怜,要么速度慢得没有实用价值。 而我的目标是,半块RTX4090的预算,70B档次的量化模型,以及与在线AI相当的流畅对话!

已收藏