DeepSeek Harness更新多模态:双路径让纯文本模型也能“看懂”图片

源自50位全网作者

07:22

近期,开源人工智能代理(Agent)框架DeepSeek Harness发布了备受瞩目的v0.1.0-rc.8版本,这次更新的核心是显著增强了其多模态处理能力,让原先的纯文本模型框架学会了“看图”,在开发者社区引发热烈反响。

本次更新最关键的特性是补齐了多模态输入的短板。具体而言,DeepSeek Harness现在从框架层面原生支持了图片处理。其模型适配器经过配置后可以直接发送包含图片的原生请求,这意味着如果用户接入的是本身就具备视觉能力的多模态模型,Harness能够无缝地将图像数据传递给模型。同时,像`/goal`、`/plan`这样的核心命令也支持图文混合输入,用户可以在设定目标或规划任务时,将文字描述与截图、照片等视觉信息一并提交。此外,`@`菜单也得到增强,可以引用本地文件和历史会话,使得将视觉材料融入现有工作流变得更加便捷。

然而,更有趣的是DeepSeek Harness如何让纯文本模型也具备“视觉”能力。当其所连接的底层模型(如DeepSeek V4)不具备原生视觉能力时,Harness并不会停止工作,而是会启动一套基于工具的“伪视觉”方案。它会调用OCR(光学字符识别)工具提取图片中的文字,通过像素扫描和颜色统计来分析图像的布局、色彩等元信息,最后将这些结构化的文本描述信息整合起来,再交给纯文本模型进行“脑补”和推理。这种“工具层视觉”的实现方式,虽然与原生多模态模型的直接理解有所不同,但对于处理UI截图、流程图、数据图表等结构化图像时非常有效。

值得一提的是,这种通过插件和工具扩展能力的思路,正是DeepSeek Harness“一切皆插件”核心理念的体现。在官方正式支持多模态之前,社区开发者们已经通过`modlens`、`dsh-vision-toolkit`等插件,自发地为Harness实现了类似的图像处理能力。此次官方更新,可以说是将社区的创新思路吸纳并固化为框架的一部分,同时为原生多模态和工具层视觉两种路径提供了更完善的支持。

除了多模态能力的史诗级更新,v0.1.0-rc.8版本还在其他方面进行了重要升级。新版本将Claude Code和Codex这两大主流编程Agent更深度地整合进其子代理体系中,它们可以作为独立的配置文件包(Profile Bundle)按需安装和调用。这使得DeepSeek Harness的角色进一步向一个“总调度层”演进,能够根据任务需求,灵活地编排和调度不同的AI工具人协同工作。

同时,更新也包含了对Windows用户体验的优化,例如支持持久化的PowerShell会话;改进了工具调用效率,如`web_search`支持并发查询;并修复了此前版本中存在的图片尺寸过大或历史图片过多导致请求失败、流式生成中断后上下文丢失等一系列问题。

DeepSeek Harness的这次更新,不仅通过原生支持和工具模拟两种方式,成功为其补齐了关键的多模态能力拼图,还通过深化子代理集成,进一步巩固了其作为开放、可扩展的Agent基础设施的定位。从社区的热烈反响和框架的快速迭代来看,DeepSeek Harness正加速从一个单纯的模型运行环境,演变为一个能够整合、调度多种AI能力和工具的强大平台。

内容由AI生成

精选参考来源

1. 一夜之间,DeepSeek Harness学会“看图”了

一夜之间,DeepSeek Harness学会“看图”了 一夜之间,DeepSeek Harness学会“看图”了 公测不到一周,从纯文本到“能看懂截图”——DeepSeek Harness v0.1

2. 刚刚,DeepSeek Harness更新!增强多模态

刚刚,DeepSeek Harness更新!增强多模态 刚刚,DeepSeek Harness更新!增强多模态新浪财经1787180544 来源:市场资讯(来源:机器之心)机器之心编辑部深夜,Deep

3. 黑鲸鱼 DeepSeek Harness,从「赛博乐高」变成 Agent Store

黑鲸鱼 DeepSeek Harness,从「赛博乐高」变成 Agent Store 黑鲸鱼 DeepSeek Harness,从「赛博乐高」变成 Agent Store极客公园1787106951

4. DeepSeek Harness 最新邪修曝光!被吹成核弹的极简模式,真的夯吗?

DeepSeek Harness 最新邪修曝光!被吹成核弹的极简模式,真的夯吗? 大家好,我是程序员鱼皮。这周 AI 圈儿又炸了,DeepSeek 同时放了两个大招,DeepSeek V4 Pro 模

5. DeepSeek Harness重磅更新,多模态能力拉满

DeepSeek Harness重磅更新,多模态能力拉满 DeepSeek Harness 又双叒更新了! v0.1.0-rc.8 一口气甩出 14 项改动,最炸的是——它终于「会看图」了 👀 📌

6. 我靠!DeepSeek多模态真的来了!??

我靠!DeepSeek多模态真的来了!?? 刚刚,我们有些朋友说,自己突然灰度到了DeepSeek识图模式!! 而且,DeepSeek的多模态团队研究员也刚发了帖子: “Now, we see y

7. DeepSeekV4正式版API支持多模态?

DeepSeekV4正式版API支持多模态? 计算机视觉 起因是主播在用vscode copilot接dsv4 flash做简历,竟发现ds在思考链里看pdf的渲染结果(p2),还自称“as a mu

8. DeepSeek Harness 首发实测 + 入门教程,夯爆了!梁神我错了

DeepSeek Harness 首发实测 + 入门教程,夯爆了!梁神我错了 大家好,我是程序员鱼皮。昨天注定是载入史册的魔幻一天,DeepSeek 同时放了两个大招!先是 DeepSeek V4 P

9. DeepSeek多模态是怎么做的?

DeepSeek多模态是怎么做的? 就在四个小时前,DeepSeek开源了他们的多模态引擎。相比于目前大模型的主流做法,也就是分割图片,然后转换为向量。 DeepSeek另辟蹊径,使用了画框框工具

10. DeepSeek Harness已发布,如何评价这款产品?

DeepSeek Harness已发布,如何评价这款产品? 严肃学习了一个小时,光是万物皆插件这个理念我就学习了半个小时,他最牛逼的是把agent loop都给插件化了,这个有点抽象,我通俗解释下你去

11. DeepSeek × DeepSeek Harness

DeepSeek × DeepSeek Harness 双强相生,阴阳相合。 二编: 两种不同的力量,以各自的姿态存在,彼此靠近、回应与环绕之中形成共同的轨迹。 蓝色虎鲸代表 DeepSe

12. deepseek多模态的论文发了,讲了什么呢?我们知道,用语言是很难描述图片的。左上,右上,这些描述都很模糊,也不知道具...

deepseek多模态的论文发了,讲了什么呢?我们知道,用语言是很难描述图片的。左上,右上,这些描述都很模糊,也不知道具... deepseek多模态的论文发了,讲了什么呢?我们知道,用语言是很难描述

13. 深度体验DeepSeek Harness,我原谅它涨价了

深度体验DeepSeek Harness,我原谅它涨价了 深度体验DeepSeek Harness,我原谅它涨价了36氪1786666110 DeepSeek Harness,终于发布,并且将源代码开

14. #DeepSeek正式跨入图文交互时代#终于补齐了多模态的关键拼图!别把这次的更新当成简单的OCR文字提取,它是真正具备...

#DeepSeek正式跨入图文交互时代#终于补齐了多模态的关键拼图!别把这次的更新当成简单的OCR文字提取,它是真正具备... 终于补齐了多模态的关键拼图!别把这次的更新当成简单的OCR文字提取,它是

15. DeepSeek Harness多模态能力史诗级更新

DeepSeek Harness多模态能力史诗级更新 DeepSeek Harness 昨晚又更新了,版本来到 v0.1.0-rc.8。 最值得聊的确实是多模态。 这次更新以后,DeepSee

16. 上线12小时5万星,DeepSeek Harness实测:能干活,但得盯着

上线12小时5万星,DeepSeek Harness实测:能干活,但得盯着 上线12小时5万星,DeepSeek Harness实测:能干活,但得盯着新浪财经1786763565 来源:市场资讯(来源

17. DeepSeek Harness插件暴涨6000+!dshfind榜一插件实测来了!

DeepSeek Harness插件暴涨6000+!dshfind榜一插件实测来了! DeepSeek Harness插件暴涨6000+!dshfind榜一插件实测来了!智猩猩1786962807 智

18. 如何看待 DeepSeek 组建 Harness 团队对标 Claude Code?

如何看待 DeepSeek 组建 Harness 团队对标 Claude Code? 社区里面已经有人把专属于DeepSeek的类似于CC的产品做出来了,叫DeepSeek-TUI。特别是从DS V4

19. DeepSeek 的视觉论文来了:Thinking with Visual Primitives用 DeepSeek V...

DeepSeek 的视觉论文来了:Thinking with Visual Primitives用 DeepSeek V... DeepSeek 的视觉论文来了:Thinking with Visua

20. 【#DeepSeek多模态值得期待吗#】DeepSeek V4发布后,负责多模态开发的研究员陈小康(xiaokang_c...

【#DeepSeek多模态值得期待吗#】DeepSeek V4发布后,负责多模态开发的研究员陈小康(xiaokang_c... 【】DeepSeek V4发布后,负责多模态开发的研究员陈小康(xiao

21. #DeepSeek多模态值得期待吗#值得期待,但别急着替代现有工具。从官方预告和陈小康研究员释放的信号看,DeepSee...

#DeepSeek多模态值得期待吗#值得期待,但别急着替代现有工具。从官方预告和陈小康研究员释放的信号看,DeepSee... 值得期待,但别急着替代现有工具。从官方预告和陈小康研究员释放的信号看,D

22. 紧急发布‼️

紧急发布‼️ DeepSeek Harness深夜更新,这次更新里有几个改动对实际开发体验影响比较大,简单整理一下: 1. 多模态支持扩展 DeepSeek 适配器现在终于支持可配置的原生图像请求

23. 我靠!DeepSeek多模态真的来了!??刚刚,我们有些朋友说,自己突然灰度到了DeepSeek识图模式!! 而且,De...

我靠!DeepSeek多模态真的来了!??刚刚,我们有些朋友说,自己突然灰度到了DeepSeek识图模式!! 而且,De... 我靠!DeepSeek多模态真的来了!??刚刚,我们有些朋友说,自己突然

24. DeepSeek终于睁眼看世界!实测识图能力!

DeepSeek终于睁眼看世界!实测识图能力! DeepSeek终于睁眼看世界!实测识图能力! DeepSeek的输入框上面除了原来的快速模式和专家模式之外,多出来一个新的tab,识图模式,下面还挂着

25. 刚刚,DeepSeek Harness更新!增强多模态

刚刚,DeepSeek Harness更新!增强多模态 刚刚,DeepSeek Harness更新!增强多模态机器之心Pro1787193992 DeepSeek Harness 迎来一波大更新,RC

26. DeepSeek Harness更新多模态,Codex和Claude Code都能当子代理

DeepSeek Harness更新多模态,Codex和Claude Code都能当子代理 DeepSeek Harness更新多模态,Codex和Claude Code都能当子代理新浪财经17871

27. 昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满!

昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满! 昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满!智东西1787185294 智东西作者 |

28. DeepSeek Harness多模态避坑

DeepSeek Harness多模态避坑 使用 DeepSeek Harness Web 自定义端点时,明明配置的是多模态模型,上传图片后却提示「当前模型不支持图片」? 问题通常不在模型本身,而

29. 我们知道deepseek v4 flash的一大遗憾是它不是多模态的。这个项目可以让你在Codex 中使用该模型时,体验...

我们知道deepseek v4 flash的一大遗憾是它不是多模态的。这个项目可以让你在Codex 中使用该模型时,体验... 我们知道deepseek v4 flash的一大遗憾是它不是多模态的。这

30. 昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满

昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满 昨夜,DeepSeek Harness首发新版本:14项更新,多模态能力拉满36氪1787189825 智东西8月20日报

31. #DeepSeek V4下周登场#过去的DeepSeek模型主要是「文字选手」——写代码一流,做推理一绝,但图像和视频能...

#DeepSeek V4下周登场#过去的DeepSeek模型主要是「文字选手」——写代码一流,做推理一绝,但图像和视频能... 过去的DeepSeek模型主要是「文字选手」——写代码一流,做推理一绝,

32. 如何评价8月13日DeepSeek V4 Pro正式版及Harness发布事故,问题出在哪里?

如何评价8月13日DeepSeek V4 Pro正式版及Harness发布事故,问题出在哪里? 看到有网友说是提示词的问题,我没用harness,直接用deepseek api编程复现了一下,确实是这

33. #DeepSeek灰测识图模式# DeepSeek憋了这么久大的,最近终于开始尽情释放了。上周他们刚悄咪咪把 V4给端了...

#DeepSeek灰测识图模式# DeepSeek憋了这么久大的,最近终于开始尽情释放了。上周他们刚悄咪咪把 V4给端了... DeepSeek憋了这么久大的,最近终于开始尽情释放了。上周他们刚悄咪

34. 怎么看 DeepSeek Harness 正式开源,采用一切皆插件的架构?

怎么看 DeepSeek Harness 正式开源,采用一切皆插件的架构? 他们其实在用一套开源代码向整个行业公开承认一个事实,那就是大模型本身有多聪明,已经不足以决定一个Agent系统有多强了。如

35. #DeepSeek正式跨入图文交互时代#DeepSeek此次正式跨入图文交互时代,标志着国产大模型在多模态领域实现了从“...

#DeepSeek正式跨入图文交互时代#DeepSeek此次正式跨入图文交互时代,标志着国产大模型在多模态领域实现了从“... DeepSeek此次正式跨入图文交互时代,标志着国产大模型在多模态领域实

36. 今天早上深度体验了一下 DeepSeek Harness ,聊一聊我的几点看法吧。1、DeepSeek V4 Pro 配...

今天早上深度体验了一下 DeepSeek Harness ,聊一聊我的几点看法吧。1、DeepSeek V4 Pro 配... 今天早上深度体验了一下 DeepSeek Harness ,聊一聊我的几

37. #DeepSeek正式跨入图文交互时代#讲真,看到DeepSeek灰度测试识图模式,真的有点小激动!这可不只是简单的OC...

#DeepSeek正式跨入图文交互时代#讲真,看到DeepSeek灰度测试识图模式,真的有点小激动!这可不只是简单的OC... 讲真,看到DeepSeek灰度测试识图模式,真的有点小激动!这可不只是简

38. 如何评价 DeepSeek Harness 底层理论论文,有哪些亮点?对 Agent 发展有什么影响?

如何评价 DeepSeek Harness 底层理论论文,有哪些亮点?对 Agent 发展有什么影响? 有趣。本以为是一篇伴随 DeepSeek Harness 发布的普通技术论文,想着扔给 AI 速

39. DeepSeek Harness更新多模态支持!剧透V4视觉版

DeepSeek Harness更新多模态支持!剧透V4视觉版 DeepSeek Harness更新多模态支持!剧透V4视觉版量子位1787202384 梦晨 发自 凹非寺量子位 | 公众号 Qbit

40. 为什么DeepSeek要采用一切皆插件的架构?

为什么DeepSeek要采用一切皆插件的架构? 我昨天写了一篇DSH的内测体验,主要讲了刚拿到产品时有多懵,还有内测群里冒出来的那一堆整活插件。今天想接着往下聊聊我自己的理解,DeepSeek为什么非

41. DeepSeek终于能看图了。简单来说,就是DeepSeek最近在App和网页端灰度测试了“识图模式”,而且现在差不多大...

DeepSeek终于能看图了。简单来说,就是DeepSeek最近在App和网页端灰度测试了“识图模式”,而且现在差不多大... DeepSeek终于能看图了。简单来说,就是DeepSeek最近在App

42. DeepSeek的harness值得期待吗?

DeepSeek的harness值得期待吗? 期待。 但是也别抱太大期望。以deepseek的一贯风格,这很可能是一个极简的软件。甚至我觉得很可能只有CLI界面。但模型公司做harness绝对是一个正

43. #DeepSeekV4发布# DeepSeek V4预览版终于来了!这次更新主要有三大亮点:产品分层:网页端上线了“快...

#DeepSeekV4发布# DeepSeek V4预览版终于来了!这次更新主要有三大亮点:产品分层:网页端上线了“快... DeepSeek V4预览版终于来了!这次更新主要有三大亮点:产品分

44. 150K Star 之后,DeepSeek Harness 给 AI 编程带来了什么?| 极客时间

150K Star 之后,DeepSeek Harness 给 AI 编程带来了什么?| 极客时间 150K Star 之后,DeepSeek Harness 给 AI 编程带来了什么?| 极客时间I

45. 【#满血版DeepSeekV4来了#】DeepSeek V4刚发布还不到5天,光是降价就来了三轮,然而他们的后续动作还很...

【#满血版DeepSeekV4来了#】DeepSeek V4刚发布还不到5天,光是降价就来了三轮,然而他们的后续动作还很... 【】DeepSeek V4刚发布还不到5天,光是降价就来了三轮,然而他们

46. 如何评价DeepSeek-V4 Pro 正式版(0813)?

如何评价DeepSeek-V4 Pro 正式版(0813)? 完全本地部署成功!刚刚用dsh跑了一下2个测试工具,分别测试了速度和答题质量。总的来说——不尽人意(部分测试结果不如deepseek-v4

47. 如何看待最近DeepSeek新一轮模型灰测?

如何看待最近DeepSeek新一轮模型灰测? 非常离谱。但是我怎么抽都不出这个思维链。甚至极简模式连we need都不出了。下午api又在疯狂崩溃,不知道是不是更新了什么。8.20 今天抽到了,确实强

48. DeepSeek的harness值得期待吗?

DeepSeek的harness值得期待吗? 很简单,把我这句话复制给harness:帮我写个dsh可以使用的多模态识别的插件:1.需求外接视觉 API 做成工具(任何文本模型都能用,最稳)2.写一个

49. DeepSeek-V4拟4月上线备受瞩目的DeepSeek-V4大模型即将迎来重要进展。据媒体报道,这款由梁文锋团队精心...

DeepSeek-V4拟4月上线备受瞩目的DeepSeek-V4大模型即将迎来重要进展。据媒体报道,这款由梁文锋团队精心... DeepSeek-V4拟4月上线备受瞩目的DeepSeek-V4大模型即

50. 🚀DeepSeek发布多模态模型!

🚀DeepSeek发布多模态模型! 📌 论文信息 Thinking with Visual Primitives DeepSeek-AI × 北大 × 清华 ━━━━━━━━━━━━━━━━ 💡 解决
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章