普通人也能定制专属AI助手？Qwen3-VL微调全流程解析
05-31 12:36
精选参考来源
哔哩哔哩 2026-05-23
新浪微博 2026-04-21
来源
精选参考来源
1. 8G 显存逆天了！竟能跑 35B AI 大模型！多模态 + N/A/Intel 全适配，附最新部署教程！｜零度解说
哔哩哔哩 2026-05-23 00:00:00
2. 【24GB 显存专属！消费级硬件也能跑的顶尖 AI 模型清单】这里有一份针对24GB显存（如RTX 3090/4090或24GB Mac）的实战模型清单，让你在消费级硬件上也能拥有顶尖的AI体验。第一部分：速度与智能的平衡点如果你追求响应速度，MoE（混合专家）架构是首选：- Qwen3.6-35B- Gemma-4-26B-A4B这两款模型在保持极高推理速度的同时，依然拥有出色的逻辑能力。MoE架构的魅力在于它只激活部分参数，让你的显卡在低延迟下跑出工业级的效率。第二部分：极致智能的代名词如果你愿意牺牲一点速度来换取更深邃的思考，请选择密集（Dense）模型：- Qwen3.5-27B- Gemma-4-31B这些模型在编程、推理和复杂指令遵循上表现惊人，足以媲美MiniMax-M2.5等闭源大模型。在速度不是首要考虑因素时，它们就是消费级硬件能触达的智能天花板。第三部分：垂直领域的特种兵- Zeta-2：本地版的Cursor Tab。它专门为代码编辑预测优化，甚至可以在4GB显存上运行，是开发者本地IDE的最佳拍档。- Parakeet-TDT：语音转文字（STT）利器。与其打字，不如直接口述。它能精准转录并放入剪贴板，让你真正实现与AI代理的实时对话。- Hermes-4.3-36B：拒绝拒绝的模型。如果你厌倦了AI繁琐的安全限制，Hermes提供了极致的开放性和 steerability，是目前最懂你的中立助手。工具建议：新手建议从LM Studio开始，它提供了最直观的交互界面；进阶用户可以尝试vLLM或SGLang，以获得更高的吞吐量和更专业的部署体验。x.com/0xSero/status/2046515626143846521模型地址：huggingface.co/google/gemma-4-26B-A4B-ithuggingface.co/Qwen/Qwen3.6-35B-A3Bhuggingface.co/google/gemma-4-31B-ithuggingface.co/Qwen/Qwen3.5-27Bhuggingface.co/zed-industries/zeta-2huggingface.co/nvidia/parakeet-tdt-0.6b-v3huggingface.co/NousResearch/Hermes-4.3-36B
新浪微博 2026-04-21 00:00:00
3. Qwen3.6-Plus 太猛了！免费+百万上下文+Agent，多模态能力直接拉满！| 零度解说
哔哩哔哩 2026-04-10 00:00:00
4. 前面讲的用 6G 显存的 GTX 1660 Ti 跑 Qwen3.5-35B-A3B-Q4_K_M.gguf 速度能达到 21 t/s ~ 25 t/s 的这个实验（网页链接），有人问是不是用这个机器跑别的模型也可以。首先，并不能因为 35B 的 Qwen3.5-35B-A3B 在这个机器上能跑，所以认为 27B 的 Qwen3.5-27B 肯定也可以。实际上即使 Qwen3.5-9B 跑起来也很慢，只有 6 t/s。这主要是因为 Qwen3.5-35B-A3B 是 MoE 模型，激活参数只有 3B。也就是说，对显存较小机器来说，Qwen3.5-35B-A3B 是 Qwen3.5 系列中最适合的。另外，总参数 30B 激活参数 3B 的 GLM-4.7-Flash-Q4_K_M 也量化到 Q4，同样用 llama.cpp 在这台机器上的速度大约 13 t/s。Qwen3.5 的速度更快可能和它用了混合注意力设计、软件优化更好等因素等有关。所以，不仅在 Qwen3.5 系列中，而是在当前所有模型中，Qwen3.5-35B-A3B 可能都是小显存机器跑大模型的最优解。如果你有类似硬件，想体验一下，但对技术了解不多，可以参考下面的最简化尝试步骤（假设你的操作系统是 Windows）：1、下载 llama.cppgithub.com/ggml-org/llama.cpp/releases/download/b8352/llama-b8352-bin-win-cuda-12.4-x64.zipgithub.com/ggml-org/llama.cpp/releases/download/b8352/cudart-llama-bin-win-cuda-12.4-x64.zip把两个压缩包解开，文件放进同一个目录。假设该目录名字是 llama。2、下载 Qwen3.5-35B-A3B-Q4_K_M.ggufhuggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/Qwen3.5-35B-A3B-Q4_K_M.gguf?download=true建议存放在固态硬盘而不是机械硬盘上，这会直接影响接下来加载模型的速度。3、在命令行执行 llama 目录中的 llama-cli：llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf
新浪微博 2026-03-15 00:00:00
5. Qwen3.6“越狱”了！目前最强开源模型！支持本地 Agent，6G 显存都能跑！附部署教程｜零度解说
哔哩哔哩 2026-05-25 00:00:00
6. Thinking Machines首款产品重大更新：K2 Thinking、Qwen3-VL都可以微调了
微信公众号 2025-12-15 00:00:00
7. 在树莓派上跑Qwen3-30B-A3B 是一种什么体验？byteshape.com/blogs/Qwen3-30B-A3B-Instruct-2507/这篇文章详细介绍了 ByteShape 团队如何通过其 ShapeLearn 技术优化 Qwen3-30B-A3B-Instruct-2507 模型，使其能在从树莓派到高端 GPU 等不同设备上高效运行。文章认为显存应被视为一种约束条件，在此基础上去优化速度（TPS）与质量之间的权衡，而不是盲目追求更小的文件体积。#科技先锋官#
新浪微博 2026-01-07 00:00:00
8. Qwen3.5 开源王炸！多模态性能屠榜，本地部署 + OpenClaw 实战全流程！|零度解说
哔哩哔哩 2026-03-03 00:00:00
9. 12 个小型语言模型在 8 项任务上进行了基准测试，以找到最佳的基础模型进行微调
微信公众号 2026-04-11 00:00:00
10. Qwen3.6“越狱”了！目前最强无审查开源模型！支持本地 Agent，6G 显存都能跑！附部署教程｜零度解说
哔哩哔哩 2026-05-28 00:00:00
11. 2025设计师必学的AI生图方法，0基础教程来了！ AI出图别只磕关键词，1期视频总结超多的AI出图方法，还有图文教程！#设计 #平面设计 #Lovart #ai新星计划 #抖音知识年终大赏
抖音 2026-01-14 00:00:00
12. 一杯咖啡成本搞定多模态微调：FC DevPod + Llama-Factory 极速实战
知乎 2025-12-10 00:00:00
13. 四道题评测 Qwen3.7-Max：从空间推理到 3D 建模，它离 Agent 更近了吗？
微信公众号 2026-05-28 00:00:00
14. 零成本无限 Token！Hermes + Qwen3.6，本地最强 Agent 组合来了！附部署教程 | 零度解说
哔哩哔哩 2026-05-05 00:00:00
15. 零配置部署顶级模型！函数计算一键解锁 Qwen3.5
知乎 2026-03-06 00:00:00
16. Qwen3.5 量化：INT4 vs NVFP4 vs FP8 vs BF16我对量化的 Qwen3.5 9B、27B 和 35B 进行了全面评估——全部与 vLLM 兼容。文章：网页链接一些实用建议：- 性能优异的 4 位 Qwen3.5 27B 处理器比 Qwen3.5 9B 处理器性能强得多，而且内存预算也相近。- 注意“INT4”标签：有些 INT4 型号最终会变得几乎和 FP8 版本一样大，因为许多敏感层保持了更高的精度。量化后的 Qwen3.5 模型需要更长的思考时间。因此，虽然模型运行速度更快、内存效率更高，但生成的词元也更多。为了获得最佳质量，首先不要量化线性注意力机制。如有必要，也可以将注意力机制保持在 16 位。Qwen 在其 INT4 版本中也采用了这种策略，效果很好。对于 MoE 模型：不要量化共享专家。我在@verdacloud提供的 B200、H200 和 RTX Pro 6000 GPU 上进行了这些实验（计算赞助）。
新浪微博 2026-03-14 00:00:00
17. 【AI前沿】Google IO 与 Qwen 3.7 Max：模型战争没有结束，只是战场变成了 Agent 基础设施
微信公众号 2026-05-20 00:00:00
18. LoRA/QLoRA 微调实战：消费级显卡跑通千问大模型
微信公众号 2026-05-07 00:00:00
19. 分享Qwen3-vl-8B本地部署整合包，8G显存可用，最好用的多模态大模型，支持50系显卡
哔哩哔哩 2025-12-20 00:00:00
20. Thinking Machines首款产品更新：K2 Thinking、Qwen3-VL都可以微调
今日头条 2025-12-16 00:00:00
21. 如何在自己的数据集上微调Qwen3-VL
微信公众号 2026-05-27 00:00:00
22. 万字长文带你轻松搞懂Qwen3，从技术报告梳理到手撕源码，看这一篇就够了！
知乎 2026-01-27 00:00:00
23. 碾压GPT-5，Qwen3-VL开源多模态新标杆：99.5%长视频定位准确率
知乎 2025-12-02 00:00:00
24. Qwen3大模型本地化部署、LoRA低秩适配轻量化微调与医疗推理领域应用落地研究|附代码数据
知乎 2026-02-25 00:00:00
25. 开源多模态模型基准新高：Qwen3-VL技术报告
哔哩哔哩 2025-12-14 00:00:00
26. 【读书笔记】第 3 章 本地化 Qwen3 大模型微调技术
微信公众号 2026-04-05 00:00:00
27. 我用 0.6B 的 Qwen3 替代了 GPT-4o 的 60% 调用量：小模型专精的 8 个场景实测，成本从 2 万/月降到 180 块
知乎 2026-05-07 00:00:00
28. 目标检测新思路，少样本私有化微调Qwen3VL 2B模型！
微信公众号 2026-03-14 00:00:00
29. 多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
知乎 2025-12-18 00:00:00
30. Qwen3-VL 深度解析：从“视觉感知”到“视觉思考”的跨越
知乎 2026-05-27 00:00:00
31. 【项目复现上新】多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
知乎 2025-12-30 00:00:00
32. 分享最新Qwen3本地部署整合包，8G显存可用 今天给大家带来一个 Qwen3 的本地部署整合包！内含 8B 与 14B 双版本，适配不同硬件需求。8B 轻量高效，在8G显存的低配设备也能流畅运行，响应时间小于1秒，32k 上下文满足日常聊天、短文案生成等需求，响应快、门槛低。14B 推理能力更强，显存也仅仅需要12G。支持思维模式切换，复杂长文档处理、代码生成更精准，中文语义理解超出色。本整合包解压即用，标准API输出，使用灵活，覆盖个人与小型团队全场景应用！ 开源地址：https://github.com/QwenLM/Qwen3 链接：https://pan.quark.cn/s/699e14777c0c
抖音 2025-12-08 00:00:00
33. 我们是怎么把 Qwen3-32B 部署到本地并用 LoRA 微调的
今日头条 2026-03-06 00:00:00
34. 成本杀手！LLaMA-Factory 助阵 Qwen3-VL：低预算下的高效医疗影像全揭秘
知乎 2025-12-17 00:00:00
35. Qwen3-VL-MoE架构深度解析：DeepStack与MoE的完美融合
知乎 2026-02-27 00:00:00
36. 手把手教你微调 Qwen3.5！从零开始的完整教程
微信公众号 2026-03-13 00:00:00
37. Qwen3-VL-8B医疗数据集微调
今日头条 2026-03-17 00:00:00
38. Qwen3-VL技术报告解析
知乎 2025-12-08 00:00:00
39. Qwen3-VL-Embedding 与 Qwen3-VL-Reranker：多模态检索的“双子星”
知乎 2026-01-12 00:00:00
40. Qwen3VL源码
知乎 2025-12-26 00:00:00
41. Qwen3-VL多模态大模型深度解析：从架构设计到训练策略的完整指南！
知乎 2026-01-23 00:00:00
42. 比YOLO好用，私有化微调Qwen3VL～
微信公众号 2026-03-09 00:00:00
43. 8G显存部署Qwen3-VL图片理解模型
知乎 2025-12-10 00:00:00
44. 大模型实战| Qwen3-VL微调作文阅卷助手
小红书 2026-01-17 00:00:00
45. Qwen3-VL-Embedding & Qwen3-VL-Reranker：统一多模态表征召回与排序
知乎 2026-01-09 00:00:00
46. Qwen3本地部署
小红书 2026-02-25 00:00:00
47. Qwen3-VL在特殊行业数据上微调踩坑经历
微信公众号 2026-05-09 00:00:00
48. Qwen2.5-VL在特殊行业数据上微调踩坑经历
知乎 2026-03-20 00:00:00
49. Intel Arc A770 部署Qwen3（ollama+openwebui） - 哔哩哔哩
哔哩哔哩 2025-12-24 00:00:00
50. Qwen3-VL-8B 多模态微调
知乎 2025-12-21 00:00:00
51. 基于qwen3-vl做目标检测的流程记录
知乎 2026-03-28 00:00:00
52. Qwen3-VL-Embedding & Qwen3-VL-Reranker：统一多模态表征与排序
知乎 2026-01-12 00:00:00
53. 4大旗舰VLM直读PDF横评：5份真PDF实测，成本差8倍
哔哩哔哩 2026-04-29 00:00:00
54. 多模态嵌入模型Qwen3-VL-Embedding！
小红书 2026-01-15 00:00:00
55. AI算法面试：Qwen-VL数据处理与训练过程
微信公众号 2026-01-27 00:00:00
56. Qwen-VL架构介绍
知乎 2026-02-23 00:00:00
57. Qwen3-VL微调
小红书 2026-01-26 00:00:00
58. 【清华代码熊】大模型实践15: 训练多模态Qwen3-VL-Embed
知乎 2026-01-26 00:00:00
59. 大模型实践15: 训练多模态Qwen3-VL-Embed
小红书 2026-01-26 00:00:00
-
又学到了，暑期旅行的15个隐藏妙招，学会可太省心了！361 97 -
不听劝自己在卫生间砌了个浴缸！夏天泡着真舒服~成本仅需400239 413 -
40岁再就业，年薪20万有社保还能干到65：房地产估价师（下）125 151
已收藏
去我的收藏夹