NAS部署Hindsight本地化方案,不花钱就拥有Hermes的记忆强化插件

2026-06-16 16:21:36 0点赞 23收藏 0评论

前言

之前发了 Hermes 的部署教程,有粉丝问:Hermes 用久了总"失忆"怎么办?

确实会。Hermes 内置 Memory 有 2200 字符限制,用两个星期就提示满了。这时候你需要今天要介绍的 Hindsight——Hermes 的外置大脑。

NAS部署Hindsight本地化方案,不花钱就拥有Hermes的记忆强化插件

什么是 Hindsight

简单说,Hindsight 是一个能让 NAS 记住你所有偏好和习惯的"外置记忆库"。它不占用 Hermes 宝贵的 Memory 限额,而是通过外部数据库提供记忆支持。

核心优势:

  • 记忆容量无上限(知识图谱存储)

  • 自动提取关键信息并结构化

  • 支持语义检索,精准召回

  • 能"反思"和"自我进化"

部署方案

需要通过 Docker 部署三个组件:

1. TEI 向量服务

用于将文本向量化,存到数据库中。选择 CPU 优化版本:

services: tei-embedding: image: ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 ports: - "8081:80" volumes: - ./models/bge-small-zh-v1.5:/data/model command: - --model-id - /data/model - --port - "80" environment: - MAX_CONCURRENT_REQUESTS=8 extra_hosts: - "host.docker.internal:host-gateway" deploy: resources: limits: memory: 2G cpus: "1.0"

资源占用: 约 100MB 内存

向量模型: bge-small-zh-v1.5(512维,NAS 用户首选)

2. Hindsight 容器

官方轻量版,核心功能与完整版一致:

services: hindsight: image: ghcr.io/vectorize-io/hindsight:latest-slim ports: - "8888:8888" - "9999:9999" environment: - HINDSIGHT_API_LLM_PROVIDER=openai - HINDSIGHT_API_LLM_BASE_URL=你的大模型API地址 - HINDSIGHT_API_LLM_MODEL=你的模型 - HINDSIGHT_API_LLM_API_KEY=*** - HINDSIGHT_API_EMBEDDINGS_PROVIDER=tei - HINDSIGHT_API_EMBEDDINGS_TEI_URL=http://host.docker.internal:8081 - HINDSIGHT_API_EMBEDDINGS_MODEL=BAAI/bge-small-zh-v1.5 volumes: - hindsight-data:/home/hindsight/.pg0 extra_hosts: - "host.docker.internal:host-gateway" volumes: hindsight-data:

资源占用: 约 500-600MB 内存

3. LLM 语言大模型

不建议本地部署!

本地语言大模型速度根本跟不上。直接用云端 API,每次调用才几厘钱。

Hermes 配置

进入 Hermes 容器es 的部署教程,有粉丝问:Hermes 用久了总"失忆"怎么办?

确实会。Hermes 内置 Memory 有 2200 字符限制,用两个星期就提示满了。这时候你需要今天要介绍的 Hindsight——Hermes 的外置大脑。

NAS部署Hindsight本地化方案,不花钱就拥有Hermes的记忆强化插件

什么是 Hindsight

简单说,Hindsight 是一个能让 NAS 记住你所有偏好和习惯的"外置记忆库"。它不占用 Hermes 宝贵的 Memory 限额,而是通过外部数据库提供记忆支持。

核心优势:

  • 记忆容量无上限(知识图谱存储)

  • 自动提取关键信息并结构化

  • 支持语义检索,精准召回

  • 能"反思"和"自我进化"

部署方案

需要通过 Docker 部署三个组件:

1. TEI 向量服务

用于将文本向量化,存到数据库中。选择 CPU 优化版本:

services: tei-embedding: image: ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 ports: - "8081:80" volumes: - ./models/bge-small-zh-v1.5:/data/model command: - --model-id - /data/model - --port - "80" environment: - MAX_CONCURRENT_REQUESTS=8 extra_hosts: - "host.docker.internal:host-gateway" deploy: resources: limits: memory: 2G cpus: "1.0"

资源占用: 约 100MB 内存

向量模型: bge-small-zh-v1.5(512维,NAS 用户首选)

2. Hindsight 容器

官方轻量版,核心功能与完整版一致:

services: hindsight: image: ghcr.io/vectorize-io/hindsight:latest-slim ports: - "8888:8888" - "9999:9999" environment: - HINDSIGHT_API_LLM_PROVIDER=openai - HINDSIGHT_API_LLM_BASE_URL=你的大模型API地址 - HINDSIGHT_API_LLM_MODEL=你的模型 - HINDSIGHT_API_LLM_API_KEY=*** - HINDSIGHT_API_EMBEDDINGS_PROVIDER=tei - HINDSIGHT_API_EMBEDDINGS_TEI_URL=http://host.docker.internal:8081 - HINDSIGHT_API_EMBEDDINGS_MODEL=BAAI/bge-small-zh-v1.5 volumes: - hindsight-data:/home/hindsight/.pg0 extra_hosts: - "host.docker.internal:host-gateway" volumes: hindsight-data:

资源占用: 约 500-600MB 内存

3. LLM 语言大模型

不建议本地部署!

本地语言大模型速度根本跟不上。直接用云端 API,每次调用才几厘钱。

Hermes 配置

进入 Hermes 容器,打开终端,输入:

hermes memory setup # # 选择第三个选项:本地额外部署 # 填入 http://NAS_IP:8888,API Key 留空

选择 hindsightes 的部署教程,有粉丝问:Hermes 用久了总"失忆"怎么办?

确实会。Hermes 内置 Memory 有 2200 字符限制,用两个星期就提示满了。这时候你需要今天要介绍的 Hindsight——Hermes 的外置大脑。

NAS部署Hindsight本地化方案,不花钱就拥有Hermes的记忆强化插件

什么是 Hindsight

简单说,Hindsight 是一个能让 NAS 记住你所有偏好和习惯的"外置记忆库"。它不占用 Hermes 宝贵的 Memory 限额,而是通过外部数据库提供记忆支持。

核心优势:

  • 记忆容量无上限(知识图谱存储)

  • 自动提取关键信息并结构化

  • 支持语义检索,精准召回

  • 能"反思"和"自我进化"

部署方案

需要通过 Docker 部署三个组件:

1. TEI 向量服务

用于将文本向量化,存到数据库中。选择 CPU 优化版本:

services: tei-embedding: image: ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 ports: - "8081:80" volumes: - ./models/bge-small-zh-v1.5:/data/model command: - --model-id - /data/model - --port - "80" environment: - MAX_CONCURRENT_REQUESTS=8 extra_hosts: - "host.docker.internal:host-gateway" deploy: resources: limits: memory: 2G cpus: "1.0"

资源占用: 约 100MB 内存

向量模型: bge-small-zh-v1.5(512维,NAS 用户首选)

2. Hindsight 容器

官方轻量版,核心功能与完整版一致:

services: hindsight: image: ghcr.io/vectorize-io/hindsight:latest-slim ports: - "8888:8888" - "9999:9999" environment: - HINDSIGHT_API_LLM_PROVIDER=openai - HINDSIGHT_API_LLM_BASE_URL=你的大模型API地址 - HINDSIGHT_API_LLM_MODEL=你的模型 - HINDSIGHT_API_LLM_API_KEY=*** - HINDSIGHT_API_EMBEDDINGS_PROVIDER=tei - HINDSIGHT_API_EMBEDDINGS_TEI_URL=http://host.docker.internal:8081 - HINDSIGHT_API_EMBEDDINGS_MODEL=BAAI/bge-small-zh-v1.5 volumes: - hindsight-data:/home/hindsight/.pg0 extra_hosts: - "host.docker.internal:host-gateway" volumes: hindsight-data:

资源占用: 约 500-600MB 内存

3. LLM 语言大模型

不建议本地部署!

本地语言大模型速度根本跟不上。直接用云端 API,每次调用才几厘钱。

我的NAS是绿联DX4600,自带Docker-Compose管理器,十分方便。其他 NAS 参照配置。

Hermes 配置

进入 Hermes 容器,打开终端,输入:

hermes memory setup

选择 hindsight

NAS部署Hindsight本地化方案,不花钱就拥有Hermes的记忆强化插件

模式选择第三个选项:本地额外部署。

地址填入 http://NAS_IP:8888,API Key 留空。

然后去 Hindsight 的控制台 http://NAS IP: 9999 新建一个记忆库,比如“jiyiku”。

NAS部署Hindsight本地化方案,不花钱就拥有Hermes的记忆强化插件

然后回到 hermes 终端输入命令,将默认记忆库设置为“jiyiku”(改为你实际创建的命名)。

# 设置默认记忆库 hermes config set memory.hindsight.default_bank_id jiyiku

第四步:验证

在 Hermes 对话窗口说:

我刚才搭建了本地版的 Hindsight,已完成配置,你阅读 Hermes 和 Hindsight 的官方文档后,尝试看能否连通。

然后正常聊天,观察 Hindsight 是否开始记录你的偏好。

效果

部署完成后,Hermes 真正变成了记得住你一切的私人助理:

  • 记得你上次说喜欢的咖啡口味

  • 记得你常用的开发工具

  • 记得你家的网络配置

  • 记得你老婆的生日

每月省$20,数据全本地,不上云,隐私有保障。

快试试吧。


#NAS #AI #本地部署 #Docker #Hindsight #TEI

展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
23
扫一下,分享更方便,购买更轻松