把免费进行到底!Octopus 让每一个闲置 API Key 都能发光发热
AI 时代,如果说谁手上还没有几个 AI API 或者公益服 API 的话,那多多少少是有点儿跟不上科技了。
大家如果有 L 站、V站账号的,或者平时多关注一些 AI 公益服的,每天薅个几百万 Token 那就是洒洒水。
但是免费 API 的羊毛薅多了,管理起来确很麻烦,不是忘了哪个平台薅了没用,就是不小心某个平台超限账单爆了。
今天,我为大家推荐一款自动化 LLM API 聚合服务 —— octopus ,它是一款针对个人打造的轻量化 LLM API 工具,拥有自动化的模型汇聚和轮训使用能力,可实现个人用户的 LLM API 负载均衡和账单统计。
通过负载均衡,我们可以把羊毛薅来的 AI API 全部管理起来,做好策略后再也不用担心账单爆炸。

项目特点:
🔀 多渠道聚合 – 通过统一管理连接多个 LLM 提供商渠道
⚖️ 负载均衡 – 自动分配请求,实现稳定高效的服务
🔄 协议转换 – OpenAI Chat / OpenAI Responses / Anthropic API 格式之间的无缝转换
💰 价格同步 – 自动更新车型价格
🔃 模型同步 – 自动将可用模型列表与频道同步
📊 分析 – 全面的请求统计、令牌消耗和成本跟踪
🎨 优雅的用户界面 – 简洁美观的网页管理面板
一、部署 octopus
既然是 AI 聚合平台,那肯定是以目前 AI 实用性最强的威联通为例了。威联通目前内置的 MCP 和 AI RAG 功能,可以让我们快速检索 NAS 里的各种文件资料,并且通过第三方工具远程操作 NAS。
首先打开威联通的 Container Station 应用,选择并创建一个应用程序。

将yaml代码复制到代码框内进行校验、创建。记得提前给项目取个名字,否则系统会采用默认的项目名称,不是很好听。
services:
octopus:
image: bestrui/octopus
ports:
- '8080:8080'
volumes:
- 'share/Container/octopus/data:/app/data'
container_name: octopus
restart: unless-stopped
如果还有威联通不会下载 docker 的小伙伴,可以点开 Container Station 容器工作站的存储库标签,在 Docker Hub 下方添加存储库镜像,添加常用的1ms镜像。

也可以在下方的自定义存储库里添加别的镜像库地址。

二、Octopus 体验
登录系统http://ip:8080,默认账号密码是amdin/admin,初看整个界面风格十分可爱,有点以前的泡泡论坛的感觉,项目以浅棕、绿色色系为主。

项目主页是一个仪表盘,分别展示了 API 的调用信息、使用活跃度、消耗折线图等。

我们首先点击左侧第二栏渠道功能添加现有的 AI API,注意系统带有自动补全功能,所以我们只需要输入 BaseURL 即可。
在填入 API Keys 之后,系统会自动去获取所有的模型列表并且展示,这里会消耗一点 Token 。
渠道下方可以设置分组的识别方式,一般建议选择精准匹配,即只有完全一样的模型名称才会被自动分到一组。

再来说说分组。它的概念就是将多个渠道内,相同或模糊匹配的模型放在一起,并形成一个新的模型。
后续我们通过 octopus API 来调用这个分组模型的时候,它会通过轮询、随机、故障转移、权重等四种方式调用内部实际的 API 地址,从而实现数据统计和负载均衡。

下面我展示了一些单独分组和多个分组的例子。其中 Deepseek 在公益服最常见,我加上了官方一起,形成公益为主、官服兜底的模式。

配置完成之后,我们在到最下方来设置项目的 API,点击右侧的 API 密钥,随意创建一个名字。然后点击一下这个名字,系统会自动帮你复制出它的 API 密钥,我们就可以添加到第三方去使用了。

在 CherryStuido 中,我添加了 octopus 的 API 地址,然后复制我们刚才配置的密钥。下方的模型名称,就是我们在 octopus 中设置的分组名称。

随便问了个问题,AI 正确调用,可见服务本身是全部联通的。

再回到我们的 octopus 面板,刚才每一次交流的 token 量,在日志里都有体现。如果我们维护了 API 资费的,这里还会自动计算出实际费用,大大提升了我们对 AI API 的管理能力。

除了分模型的用量,在渠道里我们也可以看到该渠道的实际用量。

octopus 会自动识别出渠道内的模型名称进行陈列,对于没有价格,或者价格为空的,会一一展示,我们可以自行去维护单价。

总结
AI 时代,有 AI API 做什么事儿肯定都快人一步。我之前和群友说,未来的 AI 时代就是有钱人配合眼镜或者脑机,AI 直接把信息展示出来供人使用。而普通人的 AI 因为算力问题得到的信息都是不够准确或者不够有效的,甚至穷人可能是 1+1=3 的 AI。
在这一年里,AI 的能力突破可以用月甚至是周为衡量单位,尤其是在看了宇数科技的机器人春节跳舞和前几天街舞对比,更是夸张。
包括 NAS MCP 等有效的服务也在不断进步,所以多找点 AI 提前适应吧!这个项目个人觉得很是很不错的,轻量级、高颜值,适合轻量级用户使用~
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

PaladinF
校验提示文案
值友7721063047
校验提示文案
PaladinF
校验提示文案
值友7721063047
校验提示文案