LM Studio 0.4.5版本更新引入了LM Link功能,它通过与Tailscale合作,简化了跨设备远程运行AI大模型的流程。这项更新解决了算力分散的痛点,让用户能轻松将高性能设备转变为私人AI服务器,随时随地调用。
智能速览
LM Studio发布0.4.5版本,新增LM Link远程连接功能。
LM Link与Tailscale合作,可穿透内网访问远程设备。
远程模型加载与推理体验,和本地操作几乎没有区别。
可将高性能设备作为AI服务器,随时随地访问使用。
支持OpenCoder等第三方工具通过远程模型运行。
精华内容
LM Studio的0.4.5版本带来了革命性的LM Link功能,它彻底改变了本地大模型的部署方式,让算力不再受限于单一设备。
远程连接原理
LM Link的核心是与Tailscale的合作。Tailscale可以理解为设备间的虚拟专网(VPN),它能让不同网络下的设备安全地相互通信,无需复杂的端口转发或公网IP设置。这意味着,无论身处何地,都能连接到家里的电脑进行模型推理。
上手操作流程
使用流程十分简便。首先,需注册LM Studio账户并创建一个Link。将两台或多台安装了LM Studio的设备加入该网络后,在软件左下角即可看到LM Link图标。点击后,本地设备会列出所有在线的远程设备及其加载的模型列表。
模型加载与使用
远程加载模型的过程与本地完全一致。在远程设备列表中选择模型并点击加载,请求会发送到目标设备。加载完成后,即可在聊天界面中与模型交互。实测显示,远程推理速度可达每秒73个tokens,与本地运行体验无异。
构建家庭服务器
此功能为构建家庭AI中心提供了可能。例如,可在一台配备大内存的Mac mini上无头运行LM Studio,将其作为专属的AI推理服务器。这样,任何个人设备都能通过LM Link访问这台服务器的强大算力,实现完全私有化的AI工作流。
LM Link的出现,极大地降低了私有化AI部署的门槛,让普通用户也能轻松构建个人AI工作平台。未来,这种分布式计算模式是否会成为主流?