什么值得买App下载 App ›
连续签到专享现金活动

SGLang × AMD 免费部署小龙虾全攻略 🦞

SGLang 正式成为 OpenClaw 小龙虾的支持模型提供商,AMD 随即发布了在 AMD Developer Cloud 上免费部署小龙虾智能体的完整教程。通过结合 Qwen3.5 大模型与 SGLang 框架,用户可以利用免费的云算力资源,快速构建一个完全自托管的个人 AI 智能体,整个过程无需复杂的配置,仅需 Docker 命令即可完成。
01硬件资源与成本优势
部署的核心硬件基础是 AMD Instinct MI300X,该显卡配备 192GB 显存,专门用于运行本地家用电脑无法承载的大规模参数模型。在成本方面,AMD AI 开发者计划为每位成员提供 100 美元的免费云算力额度,这足以支持约 50 小时的 MI300X 使用时间,实现了零成本运行企业级硬件大模型的目标。
02模型架构与框架选择
本次部署选用的模型为 Qwen3.5-122B-A10B-FP8。这是一个拥有 1220 亿参数的大模型,其激活参数约为 100 亿,具备强大的推理、代码生成及工具调用能力。SGLang 框架在该架构中扮演关键角色,负责将该模型转化为兼容 OpenAI 标准的 API 接口,用户只需执行一行 Docker 命令即可启动服务,极大简化了底层运行环境的搭建难度。
03部署流程与最终效果
  1. 云端环境准备
    在 AMD Developer Cloud 上启动实例,获取 Droplet IP 和端口。
  2. 模型服务启动
    使用 SGLang 通过 Docker 命令加载 Qwen3.5 模型,开启 API 服务。
  3. 本地客户端配置
    在本地安装 OpenClaw,在安装向导中选择 SGLang 作为模型提供商,填入云端 IP 和端口完成连接。
部署完成后的最终效果是一个完全自托管的个人 AI 智能体。模型运算在 AMD 云端进行,用户通过本地浏览器进行交互,数据不经过任何第三方服务器,确保了数据隐私与安全性。对于希望折腾个人 AI 工作流但受限于本地算力的开发者,这是一种高效且低成本的解决方案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了