大模型量化部署：在压缩与性能之间找到最佳平衡点_服务软件

1. RWS重磅测评：8大主流LLM同台竞技，多语言合成数据谁更能打？

2. 腾讯混元推出轻量翻译大模型，无需联网，手机直接运行！

3. 将 600 亿参数大模型装进手机的瓶颈，终于被中国 AI 公司突破了

4. 2026年AI全景预测：迈向百亿智能体时代的20个发展趋势。 #大咖观察 #人工智能 #红衣聊AI #智能体 #AI时代

5. 爆火的“无审查”AI 视频模型来了！Sulphur 2 本地部署实测：8G 显存也能跑！完全免费开源 | 零度解说

6. 全球大模型第一股，为啥是家中国公司？ #智谱 #智谱上市 #智谱IPO #GLM大模型 #全球大模型第一股诞生

7. #微博声浪计划##听见微博# DeepSeek新模型曝光，其新一代旗舰模型V4核心架构MODEL1因GitHub代码更新意外公开。该架构在KV缓存、FP8量化等方面革新，支持百万Token上下文，推理成本仅为GPT-4 Turbo的1/70，预计2026年春节发布，或推动国产大模型效率革命。铭科技的微博音频

8. 重磅：小米发布并开源最新MiMo-V2-Flash大模型，总参数量3090亿，活跃参数量150亿，基准测试性能媲美DeepSeek-V3.2，延迟仅为几分之一！生成速度达150 tokens/秒（基于首日版本）。刚试了下生成速度超快，等明天罗福莉详细揭秘

9. 回复@karminski-牙医:看到了，感谢//@karminski-牙医:回复@Easy:我刚看到他们修了个bug, 重新下载试试 www.reddit.com/r/LocalLLaMA/comments/1qiwm3c/fix_for_glm_47_flash_has_been_merged_into_llamacpp/ //@Easy:测试了下4bit的量化版，基本不能用。测试了三回又两回进入无限循环。再测试一下其他量化版试试。查看图片 //@Easy:终于有4.7的小模型了

10. 千问3.6的35B模型非常强，体感上强于gemma4的26b量化，由于gemma4 31b的性能优化没做好所以没法有效测试。从gemma4和qwen3.6的量化测试来看，当模型权重能装载到GPU里，那么推理的tokens工作就由CPU来完成了，GPU负载较低，CPU的计算密度极大。同时内存消耗较高。这也就是说GPU，内存，CPU在AI推理时所进行的workload比重是差不多的，那么CPU的性能就决定了在GPU达标以后的推理性能。所以，这可能给我们一个启示，对于本地推理来说，显存才是王道，架构和GPU算法等技术的影响较小。显卡投资只需要上显存，没必要上先进架构。一句话，如果你玩本地大模型，选择显卡的指标只有一个，显存。孤鸿泽的微博视频

11. 低比特模型会是推理降本的关键组件吗？

12. 深度｜大模型年终观察，如何定义2025年的"好模型"？

13. 本地运行大模型推理经常需要复杂配置，llama.cpp 通用性强但针对性不足，各种框架兼容性问题层出不穷，调试优化耗时费力。ds4 把 DeepSeek V4 Flash 的本地推理优化到极致，提供了专为 Apple Silicon 的高性能 Metal 推理引擎。不仅支持 100 万 token 超长上下文、高质量思考模式，还提供磁盘 KV 缓存持久化、OpenAI/Anthropic 兼容 API，甚至 2bit 量化在 128GB MacBook 上流畅运行。GitHub：github.com/antirez/ds4主要功能：- Metal 专用 DeepSeek V4 Flash 推理引擎，M3 Max 达 84 t/s；- 100 万 token 上下文窗口 + 超压缩 KV 缓存，支持磁盘持久化；- 兼容 OpenAI/Anthropic API，支持工具调用和 SSE 流式输出；- 2bit/4bit 特殊量化，128GB RAM MacBook 即可运行 284B 参数模型；- 多种思考模式（normal/max），思考长度随问题复杂度自适应；- CLI 交互 + Server 模式，完美适配 coding agent（如 opencode、Pi）。支持 macOS（Metal），make 编译后即可运行，适合开发者、研究者和 AI 爱好者。#DeepSeek##本地大模型##AppleSilicon#

14. 一个视频搞懂大模型中转站！

15. Google 深夜放大招！Gemma 4 12B 开源模型发布，普通电脑也能跑？实测结果出乎意料！本地部署及下载 | 零度解说

16. 盘点一周AI大事(5月17日)｜AI终于正常说话 Google发布Android大脑 Gemini Intelligence Google推出Gemini 光标 Google视频模型Veo 4曝光 Thinking Machines 发布最强实时交互模型 Interaction Models 面壁智能发布最强开源小模型 MiniCPM-V 4.6 Sakana开源 AI 指挥官 Conductor Model / Fugu Adaption发布 AI 研究员 AutoScientist 研究员开源最强运镜视频模型 Warp-as-History 研究员开源最强打光视频模型 Relit-LiVE 研究员开源最强图生 3D 模型 Pixal3D 研究员开源最强视频配音模型 Just-Dub-It #前沿科技趋势发布月 #AI新星计划 #AI #AIGC #大模型

17. 盘点一周AI大事(1月4日)｜Google包揽年度最佳模型 LMArena大模型盲选排行榜公布年度冠军 Google推出AI辅助学习系统Learn Your Way 阿里开源最强手机智能体MAI-UI DeepSeek发布新研究mHC IQuest发布最强开源编码模型IQuest-Coder-V1 字节发布动态概念大模型DLCM 腾讯发布最强开源翻译模型HY-MT1.5 阿里更新最强开源图像模型Qwen-Image-2512 Meta开源极速视频生成模型HiStream 研究员开源对象植入模型InsertAnywhere 研究员开源MV智能体AutoMV 腾讯开源3D动作生成模型Hunyuan Motion 1.0 研究员开源高保真3D模型UltraShape 研究员开源世界模型Yume 1.5 #前沿科技趋势发布月 #抖音知识年终大赏 #AI新星计划 #AI #AIGC

18. 【阿里云百炼上线DeepSeek-V4，API价格与官网一致】4月24日，阿里云百炼平台首发上线DeepSeek-V4-Pro与DeepSeek-V4-Flash两款模型，API定价与DeepSeek官网完全一致。核心信息：Flash版本输入价格最低1元/百万Tokens，输出最低2元/百万Tokens。两款模型均支持100万Tokens超长上下文，在Agent能力、世界知识和推理性能上达到开源顶尖水平。V4-Pro在Agentic Coding评测中已达开源模型最佳水平，并对OpenClaw、CodeBuddy等主流Agent产品做了适配优化。观察：阿里云百炼作为“AI模型超市”引入DeepSeek-V4系列，进一步丰富了平台模型生态。开发者无需在官网和云平台间二选一，按需调用即可。#阿里云百炼 #DeepSeekV4 #大模型

19. 用模型排行榜论输赢？AI竞赛到底在比什么？ #大咖观察 #红衣聊AI #AI #大模型

20. 8G 显存逆天了！竟能跑 35B AI 大模型！多模态 + N/A/Intel 全适配，附最新部署教程！｜零度解说

21. llama.cpp 最新版太强了！本地跑 “无审查模型” 速度暴涨！N卡/A卡/Intel 全支持｜零度解说

22. 在线使用和部署大语言模型（LLM）经常面临硬件资源限制，不同模型对CPU、RAM、GPU的需求差别巨大，挑选合适模型既费时又费力。有个超实用的开源工具——llmfit（GitHub：github.com/AlexsJones/llmfit），能自动检测你电脑的CPU、内存和GPU配置，结合模型参数和量化信息，智能评估数百款主流模型（Meta Llama、Mistral、Qwen、DeepSeek、Llama.cpp等）在你本地硬件上的运行适配度、速度和质量，帮你快速找到最适合你机器的模型。主要功能：- 自动硬件检测（支持多GPU，NVIDIA、AMD、Intel Arc、Apple Silicon等）- 模型Fit评分，覆盖质量、速度、内存匹配度和上下文长度四维度综合评估- 支持多量化策略自动选择，以找到最高质量的量化模型- 交互式终端UI和经典CLI，操作简单直观- 计划模式估算不同模型配置对硬件需求，方便硬件升级规划- 支持本地多种运行时集成，如Ollama、llama.cpp和MLX- 多平台支持：Linux、macOS（Intel/Apple Silicon）、Windows安装方便，macOS/Linux一条命令即可启用，也支持通过cargo源码构建。内置了超过200款模型数据库，且支持自动更新。无论是AI研究者，开发者，还是AI爱好者，都能用它一键找到真正适合自己电脑的模型，极大提升体验。强烈推荐！#AI创造营##人工智能#

23. 这些绝对疯狂的 LLM 专家现在正在尝试使用 Turboquant 不仅压缩 KV 缓存，而且现在还压缩整个模型本身。该测试表明内存占用减少了 50% 以上，使得 Qwen 3.5-27B 可以在单个 RTX 5060 上以 3.15 位精度运行，且没有明显的性能下降。这正好说明我们距离现有模型的完全优化还很远。我们可能还需要不到一年的时间，才能在小型设备上运行大型模型，并将性能影响降到最低。在此期间，他们只会变得越来越好。生活在这样一个时代真好。

24. Google 最新 AI 图像模型 NanoBananaPro，其「核心」技术原理是什么？

25. 盘点一周AI大事(4月12日)｜Mythos太强不敢发布 Anthropic官宣最强大模型Claude Mythos OpenAI发布超级智能经济蓝图 Meta发布大模型 Muse Spark 智谱上线最强开源大模型GLM-5.1 Anthropic上线Agent包工头Claude Managed Agents Gemini上线概念可视化visualizations 阿里发布最强视频模型HappyHorse-1.0 米哈游发布最强数字人模型LPM 1.0 Ace开源最强音乐模型ACE-Step-1.5-xl 研究员开源最强虚拟试穿模型Vanast #前沿科技趋势发布月 #AI新星计划 #AIGC #大模型 #Agent

26. 盘点一周AI大事(3月1日)｜龙虾开车跑滴滴工程师开发出首个能自主进化的龙虾Ouroboros Anthropic官宣龙虾摩尔定律 Claude全面升级为龙虾 Cursor上线程序员龙虾Cursor cloud agents Perplexity上线云端龙虾Perplexity Computer MiniMax上线云端龙虾 MaxClaw 阿里开源国产龙虾CoPaw Standard Intelligence发布最强电脑操作模型FDM-1 Confluence实验室开源通用求解龙虾 Google上线最强生图模型Nano Banana 2 Quiver发布最强矢量图模型 Arrow 1.0 Meta开源最强矢量字体模型VecGlypher 英伟达发布VR视频模型Generated Reality 研究员开源VR老婆Sarah #抖音年味新知贺岁 #前沿科技趋势发布月 #AIGC #龙虾 #openclaw

27. 盘点一周AI大事(12月21日)｜谷歌手撕OpenAI OpenAI 上线最强图像模型GPT Image 1.5 OpenAI发布最强编码模型GPT-5.2-Codex Google发布 Gemini 3 Flash Google开源A2UI协议微软开源最强3D模型TRELLIS 2 阿里开源分层编辑图像模型Qwen-Image-Layered 阿里发布Veo 3平替Wan2.6 字节发布Veo 3平替Seedance 1.5 pro 腾讯开源首个实时交互世界模型WorldPlay 研究员开源照片重新对焦Genfocus Pipeline 研究员开源实时换脸视频模型PersonaLive Meta开源最强声音分割模型SAM Audio #抖音知识年终大赏 #AI新星计划 #OpenAI #AIGC #前沿科技趋势发布月

28. Qwen3.5 开源王炸！多模态性能屠榜，本地部署 + OpenClaw 实战全流程！|零度解说

29. 横跨大西洋11小时，中国开发者用Mac跑Llama 70 B？评论区吵翻了

30. Qwen3.5 量化：INT4 vs NVFP4 vs FP8 vs BF16我对量化的 Qwen3.5 9B、27B 和 35B 进行了全面评估——全部与 vLLM 兼容。文章：网页链接一些实用建议：- 性能优异的 4 位 Qwen3.5 27B 处理器比 Qwen3.5 9B 处理器性能强得多，而且内存预算也相近。- 注意“INT4”标签：有些 INT4 型号最终会变得几乎和 FP8 版本一样大，因为许多敏感层保持了更高的精度。量化后的 Qwen3.5 模型需要更长的思考时间。因此，虽然模型运行速度更快、内存效率更高，但生成的词元也更多。为了获得最佳质量，首先不要量化线性注意力机制。如有必要，也可以将注意力机制保持在 16 位。Qwen 在其 INT4 版本中也采用了这种策略，效果很好。对于 MoE 模型：不要量化共享专家。我在@verdacloud提供的 B200、H200 和 RTX Pro 6000 GPU 上进行了这些实验（计算赞助）。

31. 谷歌最新发布 TurboQuant：极致压缩技术，让大模型推理速度飙升 8 倍

32. 12 个主流小型AI模型对比评测本地部署的选择是Qwen3-4B？

33. 【硬核教程】教你搭建Mac AI集群！4台M3 Ultra，运行万亿参数大模型！

34. 盘点一周AI大事(2月1日)｜AI乌托邦魔幻开局 Google上线世界模型Project Genie 阿里开源实时世界模型LingBot-World AI乌托邦社区Moltbook爆火 Chrome升级为AI浏览器月之暗面发布最强开源大模型Kimi K2.5 Gemini 3 Flash升级视觉能力腾讯发布最强开源图像模型HunyuanImage 3.0-Instruct 阿里开源Z image Base满血版 OpenMOSS发布最强开源视频模型MOVA MIniMax上线顶级音乐模型MiniMax Music 2.5 英伟达开源天气预测模型Earth-2 #AI新星计划 #前沿科技趋势发布月 #抖音知识年终大赏 #AI #AIGC

35. 这次AI应用培训内容相当的炸裂了，浓缩了我过去两年所有本地AI技术。ollama lmstudio llamacpp comfyui flux wan ltx gptq gguf coding agent openclaw rag。总之，你能想到的工作站级AI技术一网打尽了。本地AI场景全覆盖，本地文档，本地编程，本地生图，本地视频，本地搜索，量化技术，agent技术。总之，两年的AI迭代技术内容，经过优化和压缩，一次性做成培训内容交付。我的目标是构建一个全面的“本地优先”AI应用堆栈，涵盖了从模型服务到应用部署的完整流程。通过（GPTQ/GGUF）量化技术，解决在消费级硬件上运行大型模型的现实问题。入门简单（Ollama、lm studio ），也有深度内容Llama.cpp量化技术生态。并且将这些技术场景化，本地模型+IED+agent= ai coding、comfyui+模型+lora=本地视频、本地模型+agent+数据=rag 模型+agent+编程=无限可能。之前只做编程培训是因为AI编程的生态最选成熟，AI应用没起来。但现在AI本地化应用已经初见端倪。怎么说呢，这次培训就是AI全家桶，一次管饱。

36. #微博声浪计划##听见微博# DeepSeek新模型曝光，V4架构意外泄露引发关注。该模型采用全新非迭代架构，适配英伟达Blackwell，FP8量化使显存降30%以上，还整合Engram记忆模块等。性能上支持百万级上下文，API成本或为GPT-4 Turbo的1/70，多方信源指向春节前后发布，将影响国产AI竞争格局。搞机的风采的微博音频

37. 从0到1：魔乐社区贡献者丁一超的大模型量化实战指南

38. AI圈最顶级的一次争吵，理解世界还是堆模型？ #大咖观察 #红衣聊AI #大模型 #人工智能

39. 告别笨重！2026大疆发布超轻量化1度电户外电源 #露营#自驾#大疆户外电源#DJIpower1000mini#大疆户外电源1000mini

40. 数据比模型更值钱，国内最大的「端侧」训练数据开源了！600B 预训练+千万级 SFT 核心数据配方公开

41. 说实话，我觉得这个 WeirdML（“旨在解决需要仔细思考和真正理解才能解决的怪异且不寻常的机器学习任务”，封闭式基准测试）的测试结果和平时用的体感才更一致。今年下半年很多开源模型刷榜。但是用下来就是有点什么问题。而在这个测试里，今年下半年闭源模型的进展迅速，而开源模型实际上停滞不前了。这个和真正使用的体感是吻合的。

42. OpenAI发布GPT-5.4 mini与nano，以更低成本逼近旗舰模型性能

43. 「Github一周热点109期」Claude Code被开源, Pretext文本排版引擎, 谷歌最新开源模型和3D建筑编辑器

44. 大摩提出相反观点不过，也有华尔街巨头提出了相反的看法。比如，Lynx Equity Strategies分析师KC Rajkumar就提出，TurboQuant的技术“颠覆性”可能并没有媒体描述的那么夸张。他表示，谷歌所谓的“8倍性能提升”是建立在与老旧的32-bit模型对比之上的，然而当前的推理模型早已广泛采用4-bit量化数据，因此性能提升幅度并没有那么夸张。此外，摩根士丹利还指出，谷歌TurboQuant技术仅作用于推理阶段的键值缓存，不影响模型权重所占用的HBM，也与训练任务无关。

45. AI 术语通俗词典：量化

46. 算法专栏

47. 模型量化（Model Quantization）技术综述

48. 开源模型量化精度 vs 质量损失的大致规律，Q4是甜蜜点

49. 手撕大模型

50. 端侧大模型部署全景与后训练量化（PTQ）原理和工程实践

51. 大模型量化完全指南

52. [2分钟懂LLM] 21-模型量化与压缩

53. 在你的旧笔记本上跑AI大模型

54. AI 术语通俗词典

55. 深度学习模型量化方法全解析

56. 模型量化与压缩

57. QLoRA

58. vLLM实测TurboQuant

59. 2026年大模型量化部署实战

60. 显存减半vs质量翻车？本地AI开发者实测KV量化，20万数据道出真相

61. Qwen3.5 系列，最优选择 27B，最优精度 Q6

62. 大模型微调之量化LoRA（QLoRA）深度实战

63. 什么是大模型的量化、蒸馏？

64. 告别算力焦虑！2比特量化媲美FP16，北大新框架颠覆模型压缩

65. 北大团队提出超低比特量化方案iFairy

66. 一文读懂大模型大小

67. 本地部署大模型:精度参数量怎么选

68. 一个全新的大模型压缩工具，极限量化

69. 边缘AI端侧部署实战！消费级设备上运行大模型

70. 大模型常见量化方法简介

71. M5 Max跑Gemma 4，4bit居然比8bit准，91.3%对88.4%

72. LLM的量化评估

73. 05｜瘦身篇

74. Qwen 397B 1-bit 量化实测，116GB 跑通超 MiniMax Q4

75. 128GB内存跑DeepSeek v4，2bit量化实测17t/s

76. NVFP4 量化感知蒸馏

77. 为什么 Gated Delta Net 的低精度量化比你想象的更难？

78. OliVe

79. 获奖结果公布！IEEE ICME 2026低位宽大模型量化挑战赛赛程结束

80. 大模型量化是什么？一文讲透

81. 选错模型，代码生成白忙活，Qwen3.5 27B量化版实

82. ICLR 2026 | 把视频扩散模型压到4bit，还能接近满血效果？ QVGen让「超低比特视频生成量化」真正可用

83. Qwen 3.6 MoE跑分疑云：国产AI之光为何量化后性能暴跌30%？

84. 快速入门大模型量化

85. 4-bit量化模型看起来很好，但真的靠谱吗？ | Alex Ziskind

86. 工业视觉检测：INT8 量化对工业视觉检测精度的影响

87. 02 - 大模型量化技术深度解析：GGUF、AWQ与GPTQ的选型与实战

88. Google TurboQuant：用旋转和1bit残差，把KV Cache压到3bit还不掉点

89. 端侧大模型部署方案

90. ICLR 2026 | MicroMix：大模型混合精度量化新范式，解锁Blackwell架构极致推理性能

91. 端侧AI实战：模型量化与蒸馏，让大模型跑在手机上

92. 量化对大模型计算的影响

93. Qwen3.5-9B INT8量化实测：RTN vs AWQ，部署踩坑全攻略

94. 大模型量化指标详解：A3B、A4B、Q4_K、Q5_K、Q6_K、Q8_0、F16

95. 破局AI内存墙：谷歌TurboQuant 3bit量化技术重塑大模型部署新范式

96. QQQ_Quality Quattuor-Bit Quantization for Large Language Models

97. 顶级游戏显卡RTX 4090横评多款30B参数级别本地大模型之运行速度篇

98. 四种主流精度的量化算法选型与实战策略

99. 大模型应用：大模型瘦身：量化、蒸馏、剪枝的基础原理与应用场景深度解析.56

100. AnyBCQ：让多精度量化真正跑起来

101. AI模型量化压缩技术实战：从GGUF到TurboQuant

102. 把AI装进口袋：2026端侧大模型运行全指南

103. 端侧大模型落地指南：DeepSeek-R1 1.5B 从量化原理到边缘设备实测

104. 大模型量化：原理、分类与算法详解

105. 从“能压缩”到“压得准”：MindStudio大模型量化精度调优机制揭秘

106. 硬件有限，如何部署“大”模型？AMCT模型压缩工具3步解忧

107. 从 “能压缩” 到 “压得准”：MindStudio大模型量化精度调优机制揭秘

108. 量化的敏感性分析

109. 端侧 AI 优化实战：移动端大模型压缩、提速工程优化技巧

110. llama.cpp 运行 DeepSeek-V4 量化版

111. 显存省 60%！速度提升 30%！这款 llama.cpp 优化版太狠了

112. 我用一台 8GB 显卡的电脑，让 4B 小模型偏离率下降 55.8%

113. Qwen3.6-35B，量化、蒸馏版本推荐

114. 谷歌 TurboQuant 把 KV Cache 压到 3bit，然后存储芯片板块跌了

115. 大模型量化技术选型与性能对比

116. MacBook Air m5 24g大模型推理速度实测

117. 模型量化技术解析：Gemini镜像官网如何以Int8精度保持办公级回答质量

118. 大模型轻量化技术攻坚：从千亿参数到端侧部署重构AI落地底层路径

119. 端侧大模型选型指南：从腾讯1.8B到阿里MAI-UI，怎么选不踩坑？

120. Qwen3.6-35B，量化、蒸馏版本推荐今天聊 Qwen3.6-35B-A3B 的社区生态。这个模型是 MoE 架构，参数35B，每次只激活3B。性能很强，但显存占用不小。社区迅速搞出了三条优化路线。第一条，量化。三个团队分别出了 AWQ 和 NVFP4 的4bit量化版。有网友实测，两张4060就能跑出83tok每秒。Red Hat 的 NVFP4 版更有意思，量化后准确率居然还涨了一点。第二条，DFlash 推理加速。这是一种基于扩散模型的推测解码方法。跟传统方案不同，它一次能并行生成一整块 token。实测5到6倍加速，完全无损，输出跟原版一模一样。第三条，Claude Opus 蒸馏。用1.4万条推理数据做 LoRA 微调，MMLU-Pro 直接涨了32个百分点。数据量不大，效果很猛。这三条路完全不冲突。量化解决跑得起，DFlash 解决跑得快，蒸馏解决跑得好。我觉得最值得关注的，是开源社区围绕一个模型形成了完整的优化链条。这种协作效率，比单个模型发布更有意义。

121. Llama.cpp 即将合并 GGUF 新量化，Qwen3.5 推理速度提升 3%

122. 一文带你了解模型量化、剪枝和蒸馏

123. 16G Mac 跑 gemma4 26B，我用 4bit 直接把

124. 大模型的量化、蒸馏是什么？

大模型量化部署：在压缩与性能之间找到最佳平衡点

精选参考来源