技术盒 篇二：私人定制AI：开启人人拥有个性化模型的时代

Jan AI本地搭建

官方网站：Open-source ChatGPT Alternative | Jan
开源代码：https://github.com/janhq/jan
模型地址：TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF at main

下载安装包

官网首页

安装Jan

直接双击运行即可

下载完成的安装包

安装完成界面

下载模型

众所周知，在Hugging Face上想直接下载模型的话，还是比较费劲的

下载模型页面

这个时候可以看一下Hugging Face镜像站有没有收录我们想要下载的模型

Hugging Face镜像站地址：hf-mirror.com - Huggingface 镜像站

Huggingface镜像站

现在我们开始实操如何从Jan AI上下载我们想要使用的模型，可以按照以下步骤操作

打开Jan AI程序的安装目录，编辑model.json文件

打开models文件夹，这里比方说我想要下载llama2-chat-7b-q4模型

打开llama2-chat-7b-q4文件夹，编辑model.json文件

我们把Hugging Face的下载地址改成http://hf-mirror.com镜像站的地址

修改为下面

"sources": [ {
"filename": "llama-2-7b-chat.Q4_K_M.gguf",
"url": "https://hf-mirror.com/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf"
} ]

然后重启Jan AI 程序，再次进入到Hub页面去下载llama2-chat-7b-q4模型，此时发现可以下载模型了。如果没有把模型地址改成镜像站地址一般情况下是下载不动，提示错误

下载过程

下载完成，点击 Use

2.4 本地运行

比不上 ChatGPT4.0,或是说 3.5 也比不上，不过运行速度还是不错！在 3060 笔记本显卡，和 3070 台式机显卡上面基本能做到实时回答，相对于那种复杂的模型微调来说，Jan AI是非常易于使用的工具

运行视屏