3分钟部署本地ai对话大模型，包学包会

话不多说，照着放进去就行了

services:

ollama:

image: ollama/ollama:0.3.12

container_name: ollama

restart: unless-stopped

ports: - 11434:11434

networks: - trim-default

tty: true

volumes:

- ./data:/root/.ollama

networks:

trim-default:

external: true

等待下载完成

好了，进去看看

然后咱们直接进终端

连接一下

输入ollama run qwen:0.5b，自动下载，这个比较轻量化，如果要更大的可以选其他的

可以按需下载

下载完重新进一下

好了，现在可以对话了

那么一直进这个界面也不是很方便是吧

接下来咱们去部署一个web端的，是不是感觉好点了

services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: ${CONTAINER_NAME} restart: unless-stopped ports: - ${PANEL_APP_PORT_HTTP}:8080 networks: - 1panel-network environment: - OLLAMA_BASE_URL=${OLLAMA_BASE_URL} - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY} labels: createdBy: "Apps" networks: 1panel-network: external: true

可以看昨天那个啥直接复制compose

是不是感觉高端点了

然后咱们这个cpu真是稳健，要不试试更大一点的模型