29
31
Mac当服务器，iPhone连接的私密LLM推荐
2025-02-12 12:22:35
6点赞
5收藏
0评论
作者最新更新很快，除了支持R1和联网搜索功能以外，最近加入了connect to Mac的服务，手机可以利用Mac的算力去推理LLM，以我m4max为例子可以推70b int4量化的R1，而m4 mini可以推deepseek v2 lite（有50tokens每秒）。
这个软件名为“On-Device AI”，是一款支持本地运行人工智能模型的工具，以下是其更新内容和“Connect to Mac”功能的详细说明：
更新内容：
1. 修复推理逻辑错误，提升模型的稳定性。
2. 改进推理速度，通过完全加载模型到内存中优化自动模式下的性能。
3. 增加深度链接支持，用户可通过深度链接直接调用应用功能。
4. iOS 用户可直接将上下文共享至 On-Device AI，增强跨应用协作能力。
5. 界面进行了小幅优化，使操作更加直观。
Connect to Mac 功能：
该功能通过“Remote Connect”模块实现，允许设备间共享计算资源，具体包括以下内容：
- 模式选择：提供服务器模式和客户端模式两种选择。
- 服务器模式：将 Mac 设置为服务器，其他设备可连接并使用其处理能力。适合需要高性能计算的场景。
- 客户端模式：设备作为客户端连接至服务器设备，利用其算力完成任务。
- 启动方式：用户在设置中选择模式后点击“Turn On”即可启动，无需复杂配置。
- 应用场景：适用于团队协作或需要高算力支持的任务，例如运行大型 AI 模型或分布式推理任务。
这一功能显著扩展了软件的使用场景，使用户能够充分利用局域网内其他设备的资源，实现更高效的人工智能应用体验。 #国产大模型DeepSeek
