从“能跑”到“好用”:本地大模型落地的关键跃迁
05-13 18:10
精选参考来源
新浪微博 2026-04-23
新浪微博 2026-05-06
来源
精选参考来源
1. Xiaomi MiMo-V2.5 系列模型正式开启公测。更强的推理,更稳的 Agent ,更长的上下文,更强的指令遵循与模糊指令理解,更好的全模态感知和理解 ——这是一次从“能用”到“好用”的全面跨越。 Xiaomi MiMo-V2.5 系列大模型开启公测
新浪微博 2026-04-23 00:00:00
2. 本地跑大模型总觉得Ollama速度不够快?切换工具链又要重新适配API,体验不佳。 Rapid-MLX 专为 Apple Silicon 打造的最快本地AI引擎,把MLX框架潜力完全发挥,提供OpenAI兼容的本地LLM推理服务。 比Ollama快2-4倍,缓存TTFT仅0.08s,支持17种工具调用解析器自动适配Qwen、DeepSeek、Gemma等主流模型,还能智能修复量化损坏输出。 GitHub:github.com/raullenchai/Rapid-MLX 主要功能: - 4.2倍Ollama速度,Nemotron-Nano 30B达141 tok/s,Qwen3.5-4B 160 tok/s; - 17种工具解析器+自动恢复,100%工具调用成功率,完美适配Cursor、Claude Code、Aider; - KV缓存+DeltaNet状态快照,多轮对话首token延迟0.08s; - OpenAI API完全兼容,LangChain、PydanticAI等框架零改动接入; - 视觉/音频多模态支持,Qwen-VL、Gemma 4图像理解,TTS/STT; - 智能云路由,大上下文自动切云端LLM,推理链分离; - 支持16GB MacBook Air到256GB Mac Studio全系列,模型从4B到158B MoE。 一键安装:brew install raullenchai/rapid-mlx/rapid-mlx 然后 rapid-mlx serve qwen3.5-4b,localhost:8000/v1 即用,开发者必备。 #本地大模型##AppleMLX##AI推理引擎#
新浪微博 2026-05-06 00:00:00
3. 本地运行大模型推理经常需要复杂配置,llama.cpp 通用性强但针对性不足,各种框架兼容性问题层出不穷,调试优化耗时费力。ds4 把 DeepSeek V4 Flash 的本地推理优化到极致,提供了专为 Apple Silicon 的高性能 Metal 推理引擎。不仅支持 100 万 token 超长上下文、高质量思考模式,还提供磁盘 KV 缓存持久化、OpenAI/Anthropic 兼容 API,甚至 2bit 量化在 128GB MacBook 上流畅运行。GitHub:github.com/antirez/ds4主要功能:- Metal 专用 DeepSeek V4 Flash 推理引擎,M3 Max 达 84 t/s;- 100 万 token 上下文窗口 + 超压缩 KV 缓存,支持磁盘持久化;- 兼容 OpenAI/Anthropic API,支持工具调用和 SSE 流式输出;- 2bit/4bit 特殊量化,128GB RAM MacBook 即可运行 284B 参数模型;- 多种思考模式(normal/max),思考长度随问题复杂度自适应;- CLI 交互 + Server 模式,完美适配 coding agent(如 opencode、Pi)。支持 macOS(Metal),make 编译后即可运行,适合开发者、研究者和 AI 爱好者。#DeepSeek##本地大模型##AppleSilicon#
新浪微博 2026-05-10 00:00:00
4. 别再跟我说本地部署AI有多难了!如果你还在为配置Python环境或者由于没买云端Token而焦虑,那鲁大师这款LFClaw(免费龙虾AI)真的能让你汗流浃背。作为数码博主,我最看重产品的“完成度”。很多本地AI还是半成品,但LFClaw已经把大模型做成了“傻瓜包”。10分钟安装,点点鼠标就搞定。它最硬核的一点是:它是真正的本地化0成本。 你不用去算今天烧了多少Token,也不用担心断网了AII就变白痴。只要你的显卡还在转,它就能无止境地为你产出。实测性能表现很惊艳。鲁大师团队带着这个工具去写网文,5天撸 6.6万字直接拿下番茄小说的签约合同。这证明了它在本地算力调度和内容生成的逻辑上非常扎实。特别是它内置的“降浓度”功能,你可以强行给它立规矩,不许用那些AI常用废话,甚至能让它说地道的东北方言。对于咱们玩家来说,这就是在压榨硬件残余价值的同时,白嫖了一个高效的文字助手。总之,L(鲁大师)F(Free)Claw这名字起得明白,就是给咱普通用户送的“免费龙虾”。不管你是想写脚本还是单纯想折腾本地大模型,这个门槛极低、性能极稳的工具,都建议人手一个。#数码实测#
新浪微博 2026-04-01 00:00:00
5. 盘点一周AI大事(5月3日)|Google上线AI口语陪练 Google IO即将发布Gemini 4和Veo 4 Gemini上线原生文件生成 Google推出AI衣柜 Google翻译上线AI口语陪练 Claude 接入50多款创作软件,能直接操作Photoshop修图、做海报,接管Blender建模,用Ableton创作音乐 英伟达开源全模态模型Nemotron 3 Nano Omni 研究员训练出复古大模型talkie KAIKAKU发布食品大模型Epicure 研究员开源突破性智能体协作框架Recursive MAS Moonlake上线Blender智能体Moonlake 3D Agent #前沿科技趋势发布月 #AI新星计划 #AI #AIGC #大模型
抖音 2026-05-04 00:00:00
6. 硅谷《连线》杂志:性能顶级的 GPT-5们,正在输给一个中国开源模型#连线杂志 #AI #千问 #Qwen #千问恐慌
抖音 2025-12-30 00:00:00
7. 不上云、不租卡,如何优雅地在本地微调Qwen-VL-30B?
微信公众号 2026-01-13 00:00:00
8. 真正的本地(24小时)在线的AI员工openclaw,天钡NEX395迷你主机本地运行大模型跑openclaw!
哔哩哔哩 2026-03-03 00:00:00
9. 线上微调大模型不想折腾环境配置、参数选型、代码编写?推荐大家试试 unsloth-buddy 这个零门槛的 LLM 微调技能工具。它支持 NVIDIA CUDA GPU 上的 Unsloth 和苹果 Apple Silicon 上的 mlx-tune,本地一站式自动完成环境搭建、LoRA微调(SFT、DPO、GRPO、视觉模型均支持)、效果评测和模型导出。主要特点:- 7步自动化工作流,包含任务调研、数据处理、环境检测、训练、评测、导出;- 智能访谈定制方案,帮你选对模型、训练方法和部署平台;- 支持 Qwen、Llama、Gemma 等主流模型,适配 Ollama、vLLM、HF Hub 等部署;- 苹果 M1~M4 机型友好,甚至能通过 Google Colab 免费云GPU扩展能力;- 可视化实时培训仪表盘,训练曲线一目了然;- 完整开源,MIT协议。不管你是有500条客服问答想做摘要微调,还是复杂多维度调参探索,unsloth-buddy都能带来极致顺滑体验。GitHub:github.com/TYH-labs/unsloth-buddy#AI开发# #大模型微调# #AppleSilicon# #NVIDIACUDA#
新浪微博 2026-03-21 00:00:00
10. 12 个主流小型AI模型对比评测 本地部署的选择是Qwen3-4B?
微信公众号 2026-03-24 00:00:00
11. DeepSeek最新论文新突破:彻底解决大模型训练稳定性难题
微信公众号 2026-01-02 00:00:00
12. 别再用 Ollama 了!OpenClaw 秒级响应方案(vLLM + 本地模型)完全免费!| 零度解说
哔哩哔哩 2026-03-18 00:00:00
13. 以小小小小胜大!Google 最强小模型刚刚发布,手机也能跑
微信公众号 2026-04-03 00:00:00
14. 提示词工程、上下文工程都过时了,现在是 Harness Engineering 的时代
微信公众号 2026-03-13 00:00:00
15. 【AI辅助设计】本地党狂喜!LTX 2.0发布,ComfyUI首日支持!4K音画同步,消费级显卡就能跑?
微信公众号 2026-01-08 00:00:00
16. 不买会员,一期学会轻薄本跑大模型!
哔哩哔哩 2026-01-03 00:00:00
17. 你写的Skill,正在拖慢模型?策略式Gene才是正确答案
微信公众号 2026-04-21 00:00:00
18. 提速10倍!Mac Mini 本地跑 AI 大模型,OpenClaw + oMLX 加速神器实测效果惊人! | 零度解说
哔哩哔哩 2026-03-16 00:00:00
19. 告别“云端依赖症”:AI为何要“锁”进本地硬件里?|甲子光年
微信公众号 2025-12-22 00:00:00
20. 历史性时刻!M芯片Mac支持雷电外接GPU进行AI大模型计算!
哔哩哔哩 2026-04-10 00:00:00
21. 体验英伟达 AI 个人超算「核弹」DGX Spark,能微调出 DeepSeek R2 吗
微信公众号 2025-12-31 00:00:00
22. 本地运行大模型推理经常需要复杂的Python环境、Ollama笨重二进制或llama.cpp编译烦恼,依赖多、启动慢、配置麻烦。Shimmy 用一个Rust单二进制搞定一切,提供完全OpenAI API兼容的本地推理服务器,GGUF + SafeTensors支持,免费永远免费。不仅自动发现Hugging Face/Ollama模型,还支持热模型切换、多GPU后端自动检测、MOE混合推理,甚至一键运行70B+大模型。GitHub:github.com/Michael-A-Kuykendall/shimmy主要功能:- 100% OpenAI API兼容,支持/v1/chat/completions等标准接口;- 单二进制~5MB,包含所有GPU后端(CUDA/Vulkan/OpenCL/MLX),无需编译;- 自动模型发现,支持Hugging Face缓存、Ollama目录、LoRA适配器;- MOE CPU/GPU混合推理,消费级硬件跑70B+模型;- 智能GPU自动检测+端口分配,无需任何配置即开即用;- 支持VSCode Copilot、Cursor、Continue.dev等开发工具无缝集成。支持 Windows、Linux、macOS 多平台,一键下载运行,30秒内启动本地AI服务,完美适合开发者本地开发和隐私推理。#AI推理##本地大模型##RustAI#
新浪微博 2026-04-26 00:00:00
23. 本地运行大模型总要折腾服务器配置,内存不够就OOM,上下文一长就卡顿,还得手动管理模型加载卸载,体验很差。oMLX 专为 Apple Silicon Mac 打造的 LLM 推理服务器,从 macOS 菜单栏一键管理,提供高效本地大模型运行方案。支持连续批处理、分层 KV 缓存(内存+SSD),多模型同时服务,兼容 OpenAI API,还内置管理面板和聊天界面。GitHub:github.com/jundot/omlx主要功能:- 连续批处理和分层 KV 缓存,支持热内存+冷 SSD 存储,上下文切换零重算;- 多模型服务,同时运行 LLM、VLM、OCR、嵌入和重排序模型;- macOS 菜单栏 App,一键启动/监控/自动重启,完美集成系统;- Web 管理面板,实时监控、模型下载/配置/基准测试、内置聊天;- 支持视觉语言模型,多图输入、工具调用,兼容 Claude Code 优化;- OpenAI/Anthropic API 兼容,屏幕共享、工具调用、结构化输出全支持。支持 macOS 15.0+ 和 Apple Silicon(M1/M2/M3/M4),通过 Homebrew 或 DMG 一键安装,本地运行零门槛,适合开发者、研究者和 AI 爱好者。#AI创造营##大语言模型##AppleSilicon#
新浪微博 2026-05-11 00:00:00
24. #IT技术# #微博兴趣创作计划# 本地部署AI有多爽?断网也能用的开源模型+戴尔工作站,硬件拉满性能不降智~ 搞机工程师的微博视频
新浪微博 2025-11-21 00:00:00
25. 12 个小型语言模型在 8 项任务上进行了基准测试,以找到最佳的基础模型进行微调
微信公众号 2026-04-11 00:00:00
26. 说句话就能自动找番下载?我把本地80B大模型调教成了“追番特工”!
哔哩哔哩 2025-12-29 00:00:00
27. 太爽了!Hermes Agent 发布UI了,本地对接最强开源 Gemma 4 模型+ 微信(免费无需Token)| 零度解说
哔哩哔哩 2026-04-16 00:00:00
28. OpenClaw + Ollama 本地部署!无需 API,断网可用,多模型自由切换(GPT-OSS / Qwen 3 / GLM 4.7)
哔哩哔哩 2026-02-09 00:00:00
29. 实测OpenRouter黑马模型,批量任务秒级响应,成本只有GPT-5.4-mini的1/10
微信公众号 2026-04-22 00:00:00
30. Thinking Machines首款产品重大更新:K2 Thinking、Qwen3-VL都可以微调了
微信公众号 2025-12-15 00:00:00
31. 本地跑700GB大模型,Mac Studio和DGX Spark(GB10)怎么选?
知乎 2025-12-22 00:00:00
32. 极简部署:30分钟“雇用”你的第一位数字员工(方案一:本地部署)
微信公众号 2026-04-17 00:00:00
33. 市值近600亿,大模型公司上市了! #AI #智谱ai
抖音 2026-01-10 00:00:00
34. 零成本无限 Token!Hermes + Qwen3.6,本地最强 Agent 组合来了!附部署教程 | 零度解说
哔哩哔哩 2026-05-05 00:00:00
35. LTX-2 最新开源模型!只需8G显存,即可生成电影级AI大片!太离谱了, 附本地部署教程!| 零度解说
哔哩哔哩 2026-01-19 00:00:00
36. 第一时间,寒武纪原生适配DeepSeek-V4!两大国产之光再次强强联合
微信公众号 2026-04-24 00:00:00
37. LLM强化学习不稳定之谜,被Qwen团队从「一阶近似」视角解开
微信公众号 2025-12-07 00:00:00
38. 做一些比较激进的配置。拿我的顶配 Mac Studio (M3 Ultra, 512GB 内存) 跑本地大模型,暂定 minimax,作为模型服务器,有安全措施。拿我的普通 Mac mini (M4,24GB 内存,不登录 iCloud 或 Google 账号)作裸奔的 OpenClaw 服务器,基本无安全措施,内网调用 Mac Studio 上的本地模型。把本地模型和本地 agent 分开,大机连小机,普通操作基本不消耗 token。免费。(当然电费有一些,但不多。)大机还做些套壳 OpenAI API 的服务,比如翻译机什么的,在要求高质量输出的时候,在内网让 OpenClaw 做透明 API 调用。蛮好。至少骂龙虾不用花钱了。
新浪微博 2026-03-09 00:00:00
39. 这个Awesome-local-LLM不错,需要本地运行LLM的,可以收藏起来,是一个很好的起步索引。包括:1 运行平台收录了可以在本地运行 LLM 的平台,例如 LM Studio、LocalAI、jan 等,可用于下载和管理本地模型。2 推理引擎包括底层模型推理实现或高性能框架,例如 llama.cpp、vLLM、koboldcpp 等,可以作为实际模型计算的基础。3 用户界面列出了一些友好的本地聊天界面和前端项目,比如 Open WebUI、SillyTavern、Lobe Chat,为模型交互提供 UI 支持。4 LLM模型汇集了各种开源或社区权重的模型资源,从通用模型如 Qwen3、Gemma 3,到专业用途的代码模型、音频/图像模型等。5 工具与框架收录了用于构建、管理、增强 LLM 应用的工具,如 LangChain、AutoGPT、RAG 框架、代理系统、记忆管理框架等。6)教程与 硬件建议提供从基础模型推理到复杂代理系统的学习材料,同时还涵盖了本地运行 LLM 时的硬件配置说明。github.com/rafska/Awesome-local-LLM#ai创造营# #程序员#
新浪微博 2025-12-25 00:00:00
40. 在线使用和部署大语言模型(LLM)经常面临硬件资源限制,不同模型对CPU、RAM、GPU的需求差别巨大,挑选合适模型既费时又费力。有个超实用的开源工具——llmfit(GitHub:github.com/AlexsJones/llmfit),能自动检测你电脑的CPU、内存和GPU配置,结合模型参数和量化信息,智能评估数百款主流模型(Meta Llama、Mistral、Qwen、DeepSeek、Llama.cpp等)在你本地硬件上的运行适配度、速度和质量,帮你快速找到最适合你机器的模型。主要功能:- 自动硬件检测(支持多GPU,NVIDIA、AMD、Intel Arc、Apple Silicon等)- 模型Fit评分,覆盖质量、速度、内存匹配度和上下文长度四维度综合评估- 支持多量化策略自动选择,以找到最高质量的量化模型- 交互式终端UI和经典CLI,操作简单直观- 计划模式估算不同模型配置对硬件需求,方便硬件升级规划- 支持本地多种运行时集成,如Ollama、llama.cpp和MLX- 多平台支持:Linux、macOS(Intel/Apple Silicon)、Windows安装方便,macOS/Linux一条命令即可启用,也支持通过cargo源码构建。内置了超过200款模型数据库,且支持自动更新。无论是AI研究者,开发者,还是AI爱好者,都能用它一键找到真正适合自己电脑的模型,极大提升体验。强烈推荐!#AI创造营##人工智能#
新浪微博 2026-03-05 00:00:00
41. 本地AI哪家强?统一内存大横评!
哔哩哔哩 2026-03-13 00:00:00
42. 本地AI的未来长这样?铭凡新品体验北京会现场探访
哔哩哔哩 2025-12-16 00:00:00
43. 在价值5万元的苹果本上部署本地大模型+小龙虾是什么体验?
哔哩哔哩 2026-04-03 00:00:00
44. 当 AI 成为医院里 24 小时在线的 “超级助手”—— 导诊台咨询量锐减 50%,患者就诊时间缩短 13 分钟,医生从文书堆里解放双手专注诊疗,这场医疗行业的智能化革命已在全国 400 余家医院悄然落地。医疗健康领域正加速探索AI技术的创新应用。4月25日,在2026中国医院信息网络大会(CHIMA 2026)上,蚂蚁健康面向全国医院及医疗机构推出“智慧医疗AI一体化方案”。该方案整合了面向患者端的“AI 就医助理”与面向医生端的“AI 医生助手”两大核心产品,集合了医院智能体构建、本地大模型部署等能力,以系统性方案助力医院智能化升级,提升患者就医体验、优化管理效率。发布了头条文章:《蚂蚁健康开放智慧医疗AI一体化方案,为医院打造就医助理和医生助手》 #蚂蚁健康##智慧医疗解决方案# 蚂蚁健康开放智慧医疗AI一体化方案,为医院打造就医助理和医生助手
新浪微博 2026-04-26 00:00:00
45. iPhone本地跑Gemma 4火了,0 token时代还有多远?
微信公众号 2026-04-06 00:00:00
46. 盘点一周AI大事(2月15日)|王炸视频模型 字节正式上线最强视频模型「Seedance 2.0」 字节发布最强开源视频模型「Alive」 工程师davidohyun开源龙虾女友「Clawra」爆火 Google升级最强推理模型「Gemini 3 Deep Think」 智谱发布最强开源大模型「GLM-5」 MiniMax发布最强开源编码模型「M2.5」 Google官宣AI互联网协议「WebMCP」 Claude上线Windows版「Cowork」 Google Stitch炸裂升级 千问发布最强开源图像模型「Qwen-Image-2.0」 研究员开源最强语音合成模型「MOSS-TTS」 研究员推出最强开源音乐模型「SoulX-Singer」 研究员开源最强配音模型「Just-Dub-It」 #AI新星计划 #抖音年味新知贺岁 #前沿科技趋势发布月 #AIGC #人工智能
抖音 2026-02-15 00:00:00
47. #IT技术# #微博兴趣创作计划# 5分钟搞定!用Docker在Linux部署大语言模型超简单~今天分享从Ollama到OpenWebUI的一站式部署流程,全程无需复杂配置,Windows/macOS/Linux系统都能支持。借助容器化技术,本地就能跑起大模型,云计算和AI爱好者必备技能!#Docker #Linux #AI部署 #技术教程 伊妹耳的微博视频
新浪微博 2025-11-21 00:00:00
48. 本地部署大模型的两个致命坑,90%都踩过(亲身经历)
今日头条 2026-04-26 00:00:00
49. 抛弃Ollama!本地大模型引擎实测,vLLM提速5倍更省显存
今日头条 2026-04-19 00:00:00
50. 本地跑大模型,工具选错慢6倍!三大框架实测+各价位配置
今日头条 2026-05-09 00:00:00
51. 能跑不等于能用!本地大模型为什么输出这么慢?长文分析核心原因
微信公众号 2026-05-10 00:00:00
52. 部署本地大模型实践
知乎 2026-04-02 00:00:00
53. vLLM实战
知乎 2026-04-01 00:00:00
54. 大模型本地部署全攻略!Python+Docker,Excel可直接调用
知乎 2026-04-09 00:00:00
55. 不要再神话本地大模型了,都是垃圾
微信公众号 2026-04-15 00:00:00
56. 在 M1 Max 32GB 上实测
知乎 2026-04-03 00:00:00
57. 一次随手压测,让我重新理解本地大模型推理的真正瓶颈(Ollama vs MLX vs llama.cpp)
微信公众号 2025-12-06 00:00:00
58. 本地大模型 vs 云端 Claude
微信公众号 2026-04-11 00:00:00
59. 如何让本地大模型更聪明?看看这个
小红书 2026-04-12 00:00:00
60. Ollama 本地大模型硬件选购完全指南
微信公众号 2026-04-21 00:00:00
61. 你的电脑硬件能跑什么大模型?这个神器帮你自动匹配!
今日头条 2026-05-10 00:00:00
62. 本地部署大模型的春天,真的来了!
今日头条 2026-04-05 00:00:00
63. 告别“下载半天跑不起来”!llmfit
微信公众号 2026-03-23 00:00:00
64. 大模型开发第九课
今日头条 2026-01-25 00:00:00
65. 本地部署大模型方法,新手不二选择
今日头条 2026-02-26 00:00:00
66. 傅一航
微信公众号 2026-03-18 00:00:00
67. 本地微调大模型入门
微信公众号 2026-04-22 00:00:00
68. 大模型微调到底在干什么?从零读懂 Fine-Tuning 和本地部署
知乎 2026-04-21 00:00:00
69. 在 Mac 上微调一切大模型
微信公众号 2026-04-13 00:00:00
70. 一台MacBook,一个下午,我把Qwen3.5训练成了自己的AI分类员
知乎 2026-03-31 00:00:00
71. 第十篇
抖音 2026-02-15 00:00:00
72. AI产品经理必懂
今日头条 2026-03-30 00:00:00
73. 普通电脑也能跑AI大模型?实测Ollama低配置本地部署攻略
今日头条 2026-04-08 00:00:00
74. 为什么建议大家都去掌握“本地私有化部署大模型”?
今日头条 2025-12-27 00:00:00
75. 普通电脑也能跑AI
微信公众号 2026-01-29 00:00:00
76. 阮咸AI助手---“临时微调” 让大模型通过图形化理解你要让他做的事情。
微信公众号 2026-03-16 00:00:00
77. 企业AI大模型微调与开发 - 哔哩哔哩
哔哩哔哩 2026-04-15 00:00:00
78. [无密]AI大模型微调训练营五期实战网盘 - 哔哩哔哩
哔哩哔哩 2026-04-30 00:00:00
79. 领域大模型微调案例课
知乎 2025-12-30 00:00:00
80. AI大模型微调训练某ke资料 - 哔哩哔哩
哔哩哔哩 2026-04-27 00:00:00
81. AI开源模型本地部署实战
什么值得买 2026-03-31 00:00:00
82. 大模型本地部署 | Mac也能跑GPT-4
小红书 2026-03-06 00:00:00
83. 2602课程 - 实验10-1
微信公众号 2025-12-26 00:00:00
84. AI人人必修-提示词工程+大模型多场景实战(完结)
知乎 2026-03-29 00:00:00
85. [百度网盘] 大模型AI应用开发企业级项目实战(提示词工程+大模型NLP应用+AI对话产品)
哔哩哔哩 2026-04-03 00:00:00
86. 省下百万 API 费!2026 本地大模型部署终极指南
微信公众号 2026-04-29 00:00:00
87. 能否仅用本地大模型 而不调用API
知乎 2026-05-06 00:00:00
88. 本地大模型怎么部署?2026 年最实用的一条上手路线
微信公众号 2026-04-10 00:00:00
89. 告别Token焦虑
今日头条 2026-04-16 00:00:00
90. AI 大模型部署实战!2026 年从本地到云端,低成本高并发方案全解
今日头条 2026-04-01 00:00:00
91. 2026大模型本地部署全攻略
今日头条 2026-04-04 00:00:00
92. 2026 Apple Silicon Mac 跑本地 AI 大模型终极避坑指南
今日头条 2026-04-12 00:00:00
93. 2026年AI大模型本地部署全科普
今日头条 2026-02-10 00:00:00
94. 以异构协同释放本地硬件潜力,更广谱、高性价比的大模型落地方案来了!
今日头条 2025-11-21 00:00:00
95. 本地模型智力测评(第四弹)。qwen3.5-35B-A3B测评,没想到4060-8G能如此流畅的跑起来,且速度不慢,能超过10tokens每秒,同时也观察到内存直接干到了30G,运行时估计显存和内存估计在疯狂的交换数据,总体来讲属于目前本地一般pc配置的比较理想的选择了。还有LM Studio 比ollama好用太多了,性能也快很多。如果还想看其他模型测评,或者其他题目或者场景测试的请留言 ! #大模型即将改变世界 #智力测试 #本地部署大模型
抖音 2026-03-31 00:00:00
96. 2026年本地部署大模型,哪个显卡最好?
微信公众号 2026-04-30 00:00:00
97. 会计事务所本地大模型实践——用系统设计彻底消除“胡说风险”
知乎 2026-04-06 00:00:00
98. 一篇讲懂区别及用法大模型3大核心优化技术:提示工程、RAG、微调
微信公众号 2026-04-03 00:00:00
99. 2025年Deepseek知识库本地化部署全栈方案:把大模型装进企业内网
今日头条 2025-12-15 00:00:00
100. 16GB内存+RTX4060Ti,15万张照片本地处理选对本地开源大模型选型
今日头条 2026-03-03 00:00:00
101. 让你的AI更听话:指令微调的神奇魔力
知乎 2026-02-11 00:00:00
102. 保姆级教程:本地部署DeepSeek+Dify工作流+LoRA高参微调实战指南
微信公众号 2026-02-01 00:00:00
103. 本地部署大模型与配置知识库完整指南
知乎 2026-02-26 00:00:00
104. KoboldCPP应用初探:告别繁琐配置,小白也能玩大模型——支持聊天模型、图像生成模型、语音模型等
知乎 2026-04-02 00:00:00
105. 自研 Ollama 企业级网关:本地大模型生产落地的实操设计与技术经验
知乎 2026-03-09 00:00:00
106. 16GB MacBook Air 跑 256K 上下文!Google TurboQuant 让本地大模型进入「零门槛」时代
微信公众号 2026-03-31 00:00:00
107. Prompt 工程与稳定性:为什么同一句话,AI 每次给的结果都不一样?
知乎 2026-01-12 00:00:00
108. 基于RAG架构的DeepSeek大模型本地知识库构建实战(一站式打造本地知识库企 - 哔哩哔哩
哔哩哔哩 2025-12-31 00:00:00
109. OpenClaw 模型响应慢优化方法
微信公众号 2026-04-13 00:00:00
110. 利用轻量化本地大模型处理银行流水
微信公众号 2026-05-06 00:00:00
111. Mac跑本地AI大模型 还差这一块
今日头条 2026-04-01 00:00:00
112. 当前端遇上大模型:API 集成、微调、本地部署全解析
微信公众号 2026-04-01 00:00:00
113. 纯享笔记:6/ 大模型微调实操指南[喂饭级]
知乎 2025-12-08 00:00:00
114. 本地部署大模型,选硬件有哪些坑?
知乎 2026-04-09 00:00:00
115. 如何选择适合你的本地大模型?终极选型指南
小红书 2026-05-05 00:00:00
116. 本地大模型不踩雷,这个开源检测工具火了!
今日头条 2026-04-24 00:00:00
117. 手把手教你用 ModelScope + Swift对大模型进行微调
微信公众号 2026-03-31 00:00:00
118. 大模型哪里出问题、怎么修,这篇可解释性综述一次讲清
今日头条 2026-01-27 00:00:00
119. M5 Pro本地部署大模型全攻略:小白零基础实操与避坑指南
微信公众号 2026-04-05 00:00:00
120. 本地大模型值不值
今日头条 2026-04-30 00:00:00
121. 大模型实战:本地 LLM 文本分析之情感分析
微信公众号 2025-12-14 00:00:00
122. 提高本地大模型速度,你要注意这个设置
今日头条 2026-03-11 00:00:00
123. GitHub开源提示词优化工具,支持 Windows _ macOS _ Linux,可将模糊想法自动优化成专业提示词,兼容多种主流 AI 模型。
知乎 2026-02-12 00:00:00
124. 🚀 oMLX:让Mac本地跑大模型快10倍
小红书 2026-03-14 00:00:00
125. 提示词自动优化(5) | GEPA:免微调 + 35 倍更少样本,碾压RL与 SOTA 方案
知乎 2026-03-31 00:00:00
126. [大模型实战 01] 本地大模型初体验:Ollama 部署与 Python 调用指南
今日头条 2026-02-01 00:00:00
127. 2026年本地部署大模型完整指南,免费跑AI
今日头条 2026-03-18 00:00:00
128. 到底需不需要部署本地大模型?
今日头条 2026-04-19 00:00:00
129. Awesome local LLM:本地大模型百科,避坑神器
今日头条 2025-12-26 00:00:00
130. 我用这套"超级提示词"让AI效率暴涨300%
今日头条 2026-03-01 00:00:00
131. 阮咸AI助手,轻量化本地大模型应用,将识图效率提升 6.7倍
微信公众号 2025-12-30 00:00:00
132. 如何通过Ollama部署我的本地大模型
知乎 2026-03-30 00:00:00
133. 从零部署本地大模型|LMStudio傻瓜式上手+llama.cpp命令行教程,隐私离线双保障
知乎 2026-03-14 00:00:00
134. 🎯 大语言模型(LLM)本地部署完全指南
小红书 2026-04-04 00:00:00
135. 高级专训班--如何让轻量化本地大模型更听话
微信公众号 2026-03-31 00:00:00
136. 本地部署大模型需要什么配置?2026年
今日头条 2026-03-12 00:00:00
137. M3 Ultra本地跑Gemma 3大模型:LM Studio比Ollama快30%!
今日头条 2026-01-25 00:00:00
138. 本地运行千亿大模型DeepSeek-R1,小白也能玩转AI黑科技
今日头条 2026-03-03 00:00:00
139. ollama官方扔出王炸!本地大模型单CPU就能跑,隐私计算这次彻底爆发了
微信公众号 2026-05-11 00:00:00
140. 堪称最佳搭档!OllaMan搭配Ollama,搞定本地大模型难题
今日头条 2026-05-03 00:00:00
141. 完全免费!用 Ollama 和 LM Studio 在本地运行 AI 大模型
知乎 2026-05-12 00:00:00
142. 如何在本地跑起自己的大模型?一份从零到有的实操指南
今日头条 2026-04-19 00:00:00
143. Ollama+OpenWebUI 最佳组合:本地大模型可视化交互方案
知乎 2026-04-13 00:00:00
144. 零基础入门大模型微调:LoRA微调全流程实战指南!
知乎 2025-11-26 00:00:00
145. OpenClaw 配置本地模型优先使用指南
今日头条 2026-03-06 00:00:00
146. 用好这2个AI软件,轻松玩转本地部署AI大模型+本地知识库
今日头条 2026-03-27 00:00:00
147. 71B-140B参数大模型是不是需要容量很大的固态硬盘?——2026本地大模型固态硬盘推荐
知乎 2026-05-08 00:00:00
148. 本地大模型高端主机搭建+手机远程调用+节能管控完整方案
微信公众号 2026-04-20 00:00:00
-
罗永浩怒斥电视机厂商:不毁灭没天理!171 547 -
评论有奖|这几件夏季洗护小事全网愣是争了好几年,今天一次性说清楚151 380 -
等等党赢麻了!11.5万起秦MAX来了,刚试完,有些话不吐不快103 280
已收藏
去我的收藏夹