NAS部署 One API :统一管理大语言模型接口和分发

2025-02-16 12:55:37 16点赞 18收藏 3评论

Hello 大家好,我是 David

订阅我的频道 ,分享更多 NAS 教程和资讯 ~

One API:

一个 LLM API 接口管理和分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,支持 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元等主流模型,统一 API 适配,可用于 key 管理与二次分发。

NAS部署 One API :统一管理大语言模型接口和分发

在线演示站:

https://openai.justsong.cn/

支持多种大模型:

安装

Docker Compose

services: one-api: image: justsong/one-api:latest container_name: one-api volumes: - /vol1/1000/docker/one-api:/data justsong/one-api environment: - TZ=Asia/Shanghai ports: - "3000:3000"

TIP:

默认上面是使用 SQLite 的,如果你的并发量较大,务必使用单独数据库 MySQL ,添加下面参数 SQL_DSN

创建数据库

mysql -u root -p create database oneapi;NAS部署 One API :统一管理大语言模型接口和分发

添加环境变量

SQL_DSN=root:MYSQL_ROOT_PASSWORD@tcp(192.168.31.40:3306)/oneapi

使用

浏览器中输入 http://NAS的IP:3000 就能看到界面

NAS部署 One API :统一管理大语言模型接口和分发

右上角,点击“登录”

NAS部署 One API :统一管理大语言模型接口和分发

初始账号用户名为 root,密码为 123456

NAS部署 One API :统一管理大语言模型接口和分发

修改密码

NAS部署 One API :统一管理大语言模型接口和分发

设置,填写服务器地址

NAS部署 One API :统一管理大语言模型接口和分发

渠道,点击“添加新的渠道”

NAS部署 One API :统一管理大语言模型接口和分发

TIP:

这里演示添加之前部署的 Ollama 本地模型,其他都是类似的就不演示了

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型_服务软件_什么值得买 (smzdm.com)

参考设置,模型找不到可以手动填写,密钥随便填,代理填写 Ollama 的地址即可

NAS部署 One API :统一管理大语言模型接口和分发

添加成功有以后,点击测试查看是否有响应(Ollama 好像是没反应的,其实是本地太慢的原因,可以不用管)

NAS部署 One API :统一管理大语言模型接口和分发

令牌,点击“添加新的令牌”

NAS部署 One API :统一管理大语言模型接口和分发

填写名称和选择模型范围即可

NAS部署 One API :统一管理大语言模型接口和分发

添加令牌完成,可以点击复制出来即可使用

NAS部署 One API :统一管理大语言模型接口和分发

TIP:

在外面使用 One API ,需要外网可以访问才行(有些还要求是 https 协议才行),API 地址是局域网的是调用不了的。(如果是内网页面应用,通过内网方式,是可以调用)

NAS部署 One API :统一管理大语言模型接口和分发

这里我是用之前部署的 Lobe Chat 进行调用(检测连通性可能报错,只是因为没有测试的那个模型导致的)

NAS一键部署你的个人智能助手:Lobe Chat_服务软件_什么值得买 (smzdm.com)

NAS部署 One API :统一管理大语言模型接口和分发

聊天对话也都没有问题

NAS部署 One API :统一管理大语言模型接口和分发

日志,调用令牌记录都会在日志显示

NAS部署 One API :统一管理大语言模型接口和分发

总结

这款工具属于聚合管理,只需要将所有接口都添加到 One API ,之后调用直接都从这里调用就行了,省去很多麻烦,更重要的是不用担心接口兼容性的问题。不过这款工具还有不少问题,比如不能自动识别接口的模型,还有重新编辑密钥就消失需要重新输入。

综合推荐:⭐⭐⭐(不错)

使用体验:⭐⭐⭐(不错)

部署难易:⭐⭐(简单)

展开 收起
3评论

  • 精彩
  • 最新
  • Nas都是些烂玩意天天部署这部署那的有毛病么

    校验提示文案

    提交
    这是抄了项目 MD文件

    校验提示文案

    提交
    收起所有回复
  • 有没有可以同步上游模型的?

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
18
扫一下,分享更方便,购买更轻松