深度求索开源DeepSeek-V4-Flash:普通电脑可运行,最低16GB内存支持本地部署
源自66位全网作者
05-23 14:49
精选参考来源
1
前面讲的用 6G 显存的 GTX 1660 Ti 跑 Qwen3.5-35B-A3B-Q4_K_M.gguf 速度能达到 21 t/s ~ 25 t/s 的这个实验(网页链接),有人问是不是用这个机器跑别的模型也可以。首先,并不能因为 35B 的 Qwen3.5-35B-A3B 在这个机器上能跑,所以认为 27B 的 Qwen3.5-27B 肯定也可以。实际上即使 Qwen3.5-9B 跑起来也很慢,只有 6 t/s。这主要是因为 Qwen3.5-35B-A3B 是 MoE 模型,激活参数只有 3B。也就是说,对显存较小机器来说,Qwen3.5-35B-A3B 是 Qwen3.5 系列中最适合的。另外,总参数 30B 激活参数 3B 的 GLM-4.7-Flash-Q4_K_M 也量化到 Q4,同样用 llama.cpp 在这台机器上的速度大约 13 t/s。Qwen3.5 的速度更快可能和它用了混合注意力设计、软件优化更好等因素等有关。所以,不仅在 Qwen3.5 系列中,而是在当前所有模型中,Qwen3.5-35B-A3B 可能都是小显存机器跑大模型的最优解。如果你有类似硬件,想体验一下,但对技术了解不多,可以参考下面的最简化尝试步骤(假设你的操作系统是 Windows):1、下载 llama.cppgithub.com/ggml-org/llama.cpp/releases/download/b8352/llama-b8352-bin-win-cuda-12.4-x64.zipgithub.com/ggml-org/llama.cpp/releases/download/b8352/cudart-llama-bin-win-cuda-12.4-x64.zip把两个压缩包解开,文件放进同一个目录。假设该目录名字是 llama。2、下载 Qwen3.5-35B-A3B-Q4_K_M.ggufhuggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/Qwen3.5-35B-A3B-Q4_K_M.gguf?download=true建议存放在固态硬盘而不是机械硬盘上,这会直接影响接下来加载模型的速度。3、在命令行执行 llama 目录中的 llama-cli:llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf
2
【中国信通院正式启动DeepSeek V4国产化适配测试工作】中国信通院今天宣布,正式启动DeepSeek V4国产化适配测试,推动模型与国产软硬件深度协同、加速产业落地。本次测试依托工信部重点实验室与AISHPerf基准体系开展,覆盖芯片、服务器、一体机、集群、开发工具链、智算平台等全栈AI软硬件产品,聚焦DeepSeek V4全系列模型的推理、微调流程。评测从适配易用性、功能完备性、优化效果、性能、成本五大维度评估,并新增长序列处理、代码能力、智能体调用成功率、任务拆解等专项指标,形成立体化评测体系。DeepSeek V4发布当日已实现多家国产硬件Day-0适配,标志国产AI软硬件进入同频迭代阶段。本次测试将客观验证适配水平,强化国产算力支撑,加快构建自主可控AI生态。DeepSeek V4包含V4-Pro(旗舰版)与V4-Flash(轻量版)双版本,两大版本均原生支持100万Token超长上下文(约75万字),采用自研DSA稀疏注意力机制,百万上下文推理成本降低70%,显存占用减少40%。V4-Pro:总参数达1.6万亿,激活参数49B,主打顶级性能上限,对标GPT-5、Claude Opus等全球顶尖闭源模型,适配复杂推理、代码生成、科研计算等高难度任务。V4-Flash:总参数284B,激活参数13B,主打高效低成本,推理能力接近Pro版,速度更快、价格更低,适合日常交互、内容创作、企业轻量化部署等场景。
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
最新文章
热门文章
已收藏
去我的收藏夹