家里NAS变身AI助手！纯CPU运行大模型，不用联网也能聊天

LocalAI：

一款开源、免费、本地优先的 AI 推理框架，核心是提供与 OpenAI（同时兼容 Elevenlabs、Anthropic 等）API 规范兼容的本地推理 REST API，支持在消费级硬件上本地 / 私有部署大语言模型（LLM）、生成图片、音频等能力，无需依赖 GPU 也可运行，覆盖多类模型家族。

核心特性：

• API 兼容：作为 OpenAI API 的即插即用替代品，现有基于 OpenAI API 开发的软件可低成本迁移；

• 本地部署：支持在消费级硬件（无 GPU 也可）上运行，数据无需外发，满足隐私 / 合规需求；

• 多能力支持：不仅支持大语言模型推理，还涵盖图片生成、音频（TTS 等）生成等能力；

• 模型生态丰富：内置 Model Gallery（模型画廊），支持通过 CLI/API 便捷安装 HuggingFace 等来源的模型，默认提供自由授权的模型库，也支持自定义画廊仓库；

• 多后端兼容：底层兼容多种后端（C++、Go、Python 等实现），适配不同模型的运行需求；

• 扩展能力：关联 LocalAGI（AI 代理编排）、LocalRecall（知识库）、Cogito（LLM 工作流库）等工具，形成完整的本地 AI 基础设施套件。

安装

Docker Compose（纯 CPU 版本）

services: localai: image: localai/localai:latest container_name: localai ports: - 8080:8080 volumes: - ./models:/models restart: always

使用

浏览器中输入 http://NAS的IP:8080 就能看到界面

引导页面有介绍怎么样上手使用，首先浏览模型，选中需要的下载安装，最后调用进行会话

提供了挺多的模型的，都是可以直接下载（有时需要良好网络，也遇到过加载不出模型的情况，过了一天又行了）

TIP：支持离线模型上传，放到模型目录即可

根据需求筛选模型，注意下载的模型类型

点击下载安装（因为是用于 CPU 跑，就挑选模型比较小的）

TIP：下载模型有可能提示网络问题，要良好网络

安装完成，来到对话页面

输入文字就能对话了，生成速度不是很快只有 3.4 tokens/s，但是体验也还不错

毕竟模型比较小，回答质量肯定是不如大模型的，但不需要联网可以本地运行

调用协议方面，支持 OpenAI（同时兼容 Elevenlabs、Anthropic 等）API 规范

如果有集群的需求，可以部署多台设备混合推理加速

还有很多功能，我就不详细介绍了有兴趣的可以自行探索

资源占用情况，2b 的模型大概占用 3.5G 内存，生成时 CPU 基本可以跑满

总结

LocalAI 整体体验十分友好，可视化界面大幅降低了新手入门门槛。它支持完全本地化部署，断网环境下也能生成速度与质量俱佳的内容；仅靠纯 CPU 即可推理运行，无需依赖 GPU；同时兼容 OpenAI API 规范，现有应用可无缝迁移；模型支持 GGUF 格式，能快速下载各大厂商最新模型。对于需要轻量化本地 AI 推理、想快速体验大模型但缺乏高端硬件的用户，LocalAI 是一款非常值得尝试的工具。

综合推荐：⭐⭐⭐⭐（可视化操作友好，接口兼容 OpenAI API 规范）

使用体验：⭐⭐⭐（界面操作易上手，扩展兼容不错）

部署难易：⭐⭐（简单）︎

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～