视频也能一键变漫画?我把 ClipSketch AI 装进了极空间 NAS
我们平时做的内容除了图文也还有视频,但很多时候视频做完,大量素材其实就直接躺在硬盘里吃灰了。
尤其是像我们这种做教程、评测类内容的,一条十分钟的视频里面,本身就已经包含了完整的内容结构: 开头提出问题、过程演示、关键步骤、最终效果......
如果想再把它整理成公众号或者其他平台的图文,其实根本不需要再重头开始创作一遍,直接截取视频内的内容就行。

但问题也很现实:你得重新把视频打开,一段一段找画面,截图、裁切、整理,再根据这些画面重新写一版适合图文阅读的内容;说实话整理一下也得要个一两个小时。

最近我发现了一个还挺有意思的开源项目:ClipSketch AI。
它做的事情非常简单粗暴:就是将已经做好的视频,重新变成一套可以拿去做图文内容的素材。最关键的是还支持Docker部署,将其直接部署在极空间上,这样我就拥有了一个不停机在后台7*24小时帮我生成图文内容的工具。
ClipSketch AI:把视频重新“拆”成一篇图文
ClipSketch AI 的项目定位其实很明确。

它不是传统意义上的视频剪辑软件,而更像是一个针对视频创作者设计的 AI 内容工作台。
目前它可以解析 Bilibili 和小红书的视频链接,然后在播放器里对视频进行逐帧浏览和标记。

看到想要的画面,按一下 T,就可以把当前时间点记录下来。标记还支持导出 TXT 时间轴,或者直接把对应画面打包成 ZIP。
真正有意思的是后面的 AI 部分。
选好关键帧之后,ClipSketch AI 可以让AI对这些画面进行理解,再把多个视频画面重新组织成一张完整的手绘故事板。
除此之外,它还支持角色融合、单独精修分镜、根据图片生成社交媒体文案,甚至最后连封面都可以一起生成。
也就是说,一条已经剪好的视频进去之后,它可以把流程串成:

视频 → 找关键帧 → AI 分析 → 手绘故事板 → 图文文案 → 封面
ClipSketch AI 则是把视频再利用这一整套流程串了起来。尤其是教程类、探店、美食制作、旅行 Vlog、产品评测这类本身画面结构比较明确的视频,做完视频之后,再拿它快速整理一版图文就非常合适。
既然这么好玩,那接下来直接部署。
极空间 NAS 部署 ClipSketch AI

ClipSketch AI 官方已经提供了 Docker 镜像,因此实际上并不需要自己安装 Node.js、下载源码或者编译。
可以直接使用docker compose的方式进行部署:
services: clipsketch-ai: image: tannic666/clipsketch-ai:latest container_name: clipsketch-ai ports: - "3100:3000" #如遇端口占用,记得更换成其它端口 restart: always
直接将这段代码粘贴到极空间的Docker compose页面,就能直接拉取部署。
注意!!!原项目中作者写死了模型,但尴尬的是写死的这几个模型目前均已不提供服务了,所以我对这个项目进行了二创,提交了PR但是作者还没有合并。
所以如果各位需要用这个项目,可以部署我这个改进后的版本:
services: clipsketch-ai: image: jvsheng/clipsketch-ai:latest container_name: clipsketch-ai ports: - "3100:3000" restart: always

打开NAS IP+:3100就能直接打开ClipSketch AI首页,整个的部署非常轻,也不需要将数据库目录映射到NAS硬盘。
ClipSketch AI 到底怎么玩?
进入 ClipSketch AI 后,第一步自然是把视频交给它。
目前官方主要支持 Bilibili 和小红书分享链接解析,分享内容里即便夹杂了一些文字也可以直接粘贴;当然也能选择从本地导入视频或者批量导入图片的形式

所以这里我直接找一条之前已经发布的视频进行测试。

导入之后就会进入播放器,ClipSketch AI 并不会自作聪明地直接帮你随机截十几张图,而是把选择权交给创作者自己。空格控制播放暂停;左右方向键调整时间;看到需要的画面,直接点击 Tag,或者按键盘上的:T,就能把当前帧标记下来。


官方说明中这个标记系统可以记录到毫秒级,同时支持将时间轴导出为 TXT,或者把标记帧直接打包为 ZIP。
把视频直接变成“手绘教程”

关键帧选择完成之后,点击:下一步:AI 绘图,就会进入 ClipSketch AI 的 AI 工作室。

官方项目目前使用 Gemini 多模态模型完成创意分析、故事板生成以及文案生成等步骤;使用绘图功能还需要对应 API Key 拥有相关图像模型的访问权限。如果你有别的模型,也能选择填入兼容openai的URL以及api key。

第一步是创意分析,先针对内容生成文案;

接下来是生成图片,这里需要配置的api有图片生成能力,我这里用的是中转站的api,可以调用gpt-image-2生成图片;

如果默认的提示词你感觉跟你要的风格不太对,你也能自行修改提示词;

那有意思的是,如果你觉得生成的图片不符合你的需求,你也能自己上传图片进行融合;

下面是分镜精修,根据你打的tag来生成多个分镜,我这里一共打了58个tag,这里也就生成了58张分镜图(58*0.07=4.06!!!我的钱啊!);

最后就是生成社交文案;将图片保存在本地就能去发布了。
为什么我更愿意把这种工具装在 NAS 上?
其实 ClipSketch AI 并不是一个特别吃性能的项目。
真正负责 AI 分析和绘图的是外部模型 API,所以并不需要 NAS 本地拥有独显或者特别强的 AI 算力。

那为什么还将其装在NAS上呢?
如果装在电脑上,每次使用之前还得打开终端、启动服务。
电脑关机,服务也跟着没了。
但放在极空间上之后,它就变成了一个局域网里一直存在的 Web 工具。

电脑打开浏览器可以用;iPad 可以用;手机也可以直接访问;甚至在外网下也能利用极空间docker的远程访问功能轻松访问,这下在外也能用上这么好用的工具了!
那OK,以上就是本篇文章的全部内容啦
希望对你有所帮助
让我们下篇文章
再见~
