显存还是不够?7B/35B/70B模型到底占多少,一张表说清楚

源自25位全网作者

07-03 10:05

内容由AI生成

精选参考来源

1. 如何快速评估LLM大模型显存占用情况?

2. 算法专栏:显存占用计算

3. 30秒估算LLM显存需求

4. 本地大模型显存占用真相:一个公式彻底重构你的VRAM心智模型

5. 跑赢Ollama和lm,还让8G显存搭载30B模型

6. LLM 本地部署硬核指南:显存、算力与量化,一次讲透!

7. 8G显存封神!RTX3070本地流畅跑通35B多模态大模型

8. [ 网教 ]8G 显存显卡的春天!RTX3070 成功跑 Qwen3.6-35B 多模态AI大模型!

9. 大模型硬件入门指南:从显存计算到实战选型全解析

10. 显存对应大模型指南|多大显存选什么模型,OpenClaw用本地模型,一看就懂

11. 本地跑AI大模型,显卡显存怎么选?一张表搞定,别再买错了

12. 在你的旧笔记本上跑AI大模型:2026本地运行LLM完全指南

13. 8G 显存逆天!RTX3070 成功跑 Qwen3.6-35B

14. RTX 3070 8GB 本地运行 Qwen3.6-35B:llama.cpp 部署要点与优化参数

15. Running Qwen3.6-35B Locally on an RTX 3070 8GB: llama.cpp Deployment Notes and Tuning Parameters

16. 8G 显存逆天了!竟能跑 35B AI 大模型!多模态 + N/A/Intel 全适配,附最新部署教程!|零度解说

17. 八G显卡跑赢大模型

18. 8G显存跑Qwen3.6-35B-A3B.图一是不开模型的系统占用情况 图2-4是使用lmstudio的时候的配置(上下文可以自己看情况变动)和内存占用情况, 图5是这个配置下的思考和不思考时的速度 图6是直接用lmstudio里面下载的模型搭载到llama.cpp使用的配置(第二个框里的模型加上后才可以带视觉,能识别你发的图片),第三个框是我设置的上下文长度的 (是的,比lmstudio能用的长度长一些,因为lmstudio就是在llama上面套壳,会损失一些模型空间,我昨天用的200k也能跑) 图7是llama.cpp的空间占用情况 图8和9是速度(在31-36之间,我用autoclaw对话的话,速度就只有27左右了) 不要用ollama,这玩意儿不能选择卸载到cpu,只会跟你说跑不起来。 追求最快可以选择llama.cpp,但是这玩意儿要自己手动编程真的很麻烦,每次启动还要出终端黑框,我找deepseek帮我一步步写代码,并优化了黑框固定成脚本,启动后把黑框隐藏。 而且一个模型要一个脚本,真的很麻烦,所以我留着lmstudio方便下载模型和选择我电脑能用的其他小模型。#qwen #openclaw #本地大模型 #8g显存 #本地部署

19. Ollama本地部署真相:终端流畅如丝,应用卡顿成狗

20. 本地大模型就是一座围城,90% 的人都在跟风装 X

21. 2026本地私有大模型显卡横评!3060→5070谁才是性价比之王?

22. 3070显卡和5060如何选择?

23. RTX3070显存翻倍到16GB!国外玩家用AMD6900XT显存芯片实现

24. RTX5070 12GB独显终于来了!苍龙16 Pro和苍龙18 Pro首发上市

25. 单卡双芯 48G 显存!打造 20L 紧凑型 AI 算力怪兽:DeepSeek 70B 实测 19 tokens/s

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章