AI 对准“太阳穴”

邓布利多使用接骨魔杖尖对准太阳穴附近，从脑袋里挑出散发光芒的记忆丝，然后将它们放入冥想盆中。

哈利波特轻轻俯下身子，让脸靠近冥想盆，通过视觉和感官能看到邓布利多的过去回忆。

冥想盆是哈利波特中巫师用于保存头脑中的想法和记忆的工具。邓布利多在思绪繁杂或者经历了重要时刻，都会把思绪抛入冥想盆中，方便回忆。

为什么会提到哈利波特中电影中的情节？近期有一个开源项目叫做 Pensieve（冥想盆），它解决的问题和电影中的冥想盆如出一辙。

01

Pensieve（冥想盆）

开源项目 “冥想盆” 没有邓布利多的冥想盆那么强大，没办法回溯人类的记忆，但是它能回溯你电脑的记忆。

“冥想盆” 的工作原理是：当你部署了这个开源项目，它会间隔 5 秒对当前屏幕进行截屏，并把截屏图片放到本地的一个目录里面。

在保证电脑性能的前提下，对截屏进行 OCR 提取文字处理，这样就能理解截屏中的内容和关键词。后面你就可以在 “冥想盆” 中通过检索的方式，来找到之前访问过页面或内容。

开源地址：https://github.com/arkohut/pensieve

02

如何使用

① 安装初始化

通过如下命令来安装该开源项目，并进行初始化相关配置和  SQLlite 数据库。初始化后，后面产生的数据会存放在 ~/.memos 目录中。

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple memos
memos init

② 选择模型

“冥想盆” 通过嵌入模型来提取语义信息，并构建支持索引。对于中文场景，可以使用 jina-embeddings-v2-base-zh 模型。

模型链接：https://huggingface.co/jinaai/jina-embeddings-v2-base-zh

打开 config.yaml文件，并修改 embedding 配置，设置使用模型的名称等等。

③ 启动服务

启动服务后，“冥想盆”就会开始对屏幕进行记录，并把这个服务设置成开机启动。

memos enable
memos start

③ 访问 Web 界面

打开浏览器，访问 http://localhost:8839，在这里你就能检索电脑的记忆了。

如果你按照上面的方式来安装配置，“冥想盆” 仅启用 OCR 插件来提取截图中的文字并建立索引。

这种方式轻量但是对于视觉搜索并不全面，你需要兼容多模态 AI 大模型来进行图片理解，本地大模型 Ollama 正好可以完美胜任这项工作，具体使用方法不赘述了，可以在开源项目中看到相关指引。

03

优缺点

类似「电脑记忆回溯」的产品比如 Windows Recall 和 Rewind。

但是Pensieve（冥想盆）更关注数据安全和用户隐私，毕竟日常使用电脑会涉及很多个人隐私，比如输入银行卡密码、账号密码、聊天记录等等。

“冥想盆”的数据全部保存到本地，使用的模型也都是可以本地离线运行的大模型，Pensieve 可以确保数据的存储和处理完全由你掌控，防止数据泄露。

但是使用 “冥想盆” 如果想接入视觉大模型，作为视觉数据理解的底层能力（也就是接入 Ollama ），需要有至少 8GB 显存的 NVIDIA 显卡或 M 系列芯片的 Mac，将占用约 5.5GB 存储空间，如果使用 CPU 模式，会导致系统严重卡顿。