利用LM Studio和Phi-3模型打造本地“ChatGPT”

微软Phi-3大语言模型是微软研究院推出的新一代系列先进的小语言模型。Phi-3系列包括phi-3-mini、phi-3-small和phi-3-medium三个不同规模的版本。这些模型在保持较小的参数规模的同时，通过精心设计的训练数据集和优化的算法，实现了与大型模型相媲美的语言理解和推理能力。

Phi-3-mini是微软Phi家族的第4代，有预训练和指令微调多种模型，参数只有38亿，但训练数据高达3.3T tokens。Phi-3-mini 不仅可以在传统计算设备上运行，还可以在移动设备和物联网设备等边缘设备上运行。

今天我们将介绍使用LM Studio使用Phi-3-mini，打造运行在本地计算机的“ChatGPT”。

什么是LM Studio？

LM Studio是一个桌面应用程序，允许用户在本地下载、发现和运行大型语言模型（LLMs）。这个跨平台的应用程序提供了一个简单而强大的模型配置和推理用户界面，使用户能够从Hugging Face下载并运行任何兼容的ggml模型。LM Studio的设计重点是隐私保护，因为所有数据都保留在用户的本地设备上，不会收集或监控用户的活动。此外，该应用程序支持使用GPU加速模型运行，以提高性能。

在LM Studio中使用微软Phi-3-mini的步骤

1、下载并安装LM Studio；

2、从Huggingface下载Phi-3-mini模型；

3、在LM Studio中配置Phi-3-mini模型；

4、开始聊天。

下载并安装LM Studio

访问LM Studio首页（https://lmstudio.ai/），根据你的操作系统选择对应安装包并安装：

从Huggingface下载Phi-3-mini模型

访问Huggingface（https://huggingface.co/），找到Phi-3-mini-4k模型（https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf/tree/main），这里我下载了“Phi-3-mini-4k-instruct-fp16.gguf”：

在LM Studio中配置Phi-3-mini模型

打开LM Studio模型文件存放路径（默认路径C:Users用户名.cachelm-studiomodels），创建文件夹“MicrosoftRepository”，然后放入“Phi-3-mini-4k-instruct-fp16.gguf”。

启动LM Studio，我们可以看到模型已经加载成功：

LM Studio提供适用于Phi-3默认配置，我们也可以根据需要自行调节。

备注：LM Studio已经提供了Phi-3模型的相关配置，我们可以跳过第二步，直接从LM Studio自动下载和部署Phi-3。

开始聊天

开始聊天吧：

在笔者的AMD 7840HS上，Phi-3-mini-4k依赖于CPU和核显，可以正常使用，速度和iPhone 12的A14处理器接近，具有一定实用价值。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～