DeepSeek多模态发布:首创“视觉原语”思考,让AI边指边想

源自50位全网作者

05-02 07:18

近期,DeepSeek正式发布了其备受期待的多模态大模型,并在其聊天机器人产品中开启了“识图模式”的灰度测试,标志着这头以文本和代码能力著称的“鲸鱼”终于“睁开了眼睛”,补齐了视觉能力的短板。

当前许多多模态模型虽然能够“看见”图像,但常常在复杂的推理任务中表现不佳,例如精确计数、在复杂场景中定位物体等。DeepSeek将此问题命名为“指代鸿沟”(Reference Gap),即模型能感知图像内容,却无法在思考过程中精确指代具体对象。就像人类在数数时会用手指逐个确认,自然语言中的“左边那个”、“中间的物体”等描述在密集或复杂的场景中往往不够精确,导致模型的推理逻辑在多步之后出现混乱或“漂移”。

为此,DeepSeek联合清华、北大的研究团队在发布的技术报告《Thinking with Visual Primitives》(以视觉原语思考)中,提出了一种全新的推理范式。其核心思想是,将点坐标和边界框(Bounding Box)这类“视觉原语”提升为模型思维链(CoT)中的基本单位。模型在推理时,不再仅仅依赖模糊的语言描述,而是能够像伸出“赛博手指”一样,直接在思维链中引用具体的位置坐标,从而将抽象的逻辑牢牢锚定在图像的物理空间中,实现“边指边想”。

DeepSeek多模态发布:首创“视觉原语”思考,让AI边指边想

该模型依托于DeepSeek-V4-Flash语言模型和自研的视觉编码器。其一大亮点是高效的视觉压缩技术,通过多级处理,实现了超过7000倍的视觉信息压缩率,使得模型在处理图像时资源消耗远低于其他主流模型,提高了运行效率。此外,为了让模型掌握这种“边指边想”的能力,研发团队构建了覆盖计数、空间推理、迷宫导航、路径追踪等多种任务的数千万条高质量训练数据,进行了针对性的优化。

DeepSeek多模态发布:首创“视觉原语”思考,让AI边指边想

在性能方面,尽管模型规模相对紧凑,但在多个具有挑战性的基准测试中,DeepSeek多模态模型在特定任务上表现出色,尤其是在计数、空间推理和拓扑推理(如走迷宫、路径追踪)等领域,其性能媲美甚至超越了一些业界前沿的闭源模型。

然而,从早期用户的实际测试来看,模型目前在某些方面仍有提升空间。例如,它在网页截图转代码、地理信息分析等场景表现亮眼,但在处理复杂的视觉错觉或高难度的“找不同”任务时,仍可能出错,展现出一定的“神鬼二象性”。

DeepSeek多模态发布:首创“视觉原语”思考,让AI边指边想

DeepSeek多模态的发布,是其产品能力的一次关键补全。其提出的“以视觉原语思考”框架,为解决多模态模型在复杂推理中的“指代鸿沟”问题提供了一个创新且有效的思路。有趣的是,相关的技术报告在发布后曾被短暂撤回,引发了关于其技术可能过于超前的猜测,也从侧面反映了这一新范式的潜在影响力。虽然模型在部分复杂场景下的泛化能力仍需完善,但它无疑为多模态AI朝着更懂视觉逻辑、更精准思考的方向迈出了坚实的一步。

内容由AI生成

精选参考来源

1. DeepSeek多模态新论文:用视觉原语思考

DeepSeek多模态新论文:用视觉原语思考 DeepSeek刚发布了一篇重磅论文「Thinking with Visual Primitives(以视觉原语思考)」,来自DeepSeek-AI、北大

2. DeepSeek多模态正式发布

DeepSeek多模态正式发布 DeepSeek多模态正式发布海上自在的船1777612684 DeepSeek全新多模态模型正式亮相,还联合清北发布了技术报告,直击当下多模态大模型“看得见却看不懂”

3. DeepSeek终于"睁眼":多模态视觉功能来了,这头鲸鱼开始看世界

DeepSeek终于"睁眼":多模态视觉功能来了,这头鲸鱼开始看世界 DeepSeek终于&34;:多模态视觉功能来了,这头鲸鱼开始看世界人工智能学家1777542443 DeepSe

4. DeepSeek多模态首发

DeepSeek多模态首发 提出了基于视觉基元的Cot,用传统的图像分割技术+将坐标引入Cot,实现了对于二维空间理解和语言逻辑的解耦 模型在精确计数,拓扑理解以及复杂的视觉任务上领先Gemini3-

5. DeepSeek开眼!多模态技术报告详解

DeepSeek开眼!多模态技术报告详解 五一前一天DeepSeek上传最新的多模态技术报告!部分幸运用户目前可以体验多模态版本。 DeepSeek依旧把推理做到极致,多模态也不放过!并且丝滑承接

6. 连夜删掉论文,DeepSeek到底在怕什么?

连夜删掉论文,DeepSeek到底在怕什么? 昨天晚上,DeepSeek多模态研究员陈小康在X上发了一条推,兴奋地宣布他们的新论文上线。这篇论文叫《Thinking with Visual Primi

7. 炸了🔥DeepSeek全新多模态!

炸了🔥DeepSeek全新多模态! 刚躺下才看到消息,#多模态人工智能 DS会指着图片思考了! 五一前AI圈大新闻💥 DeepSeek甩出王炸——以视觉原语思考 直接解决多模态模型最大痛点: 能看

8. deepseek多模态的论文发了,讲了什么呢?我们知道,用语言是很难描述图片的。左上,右上,这些描述都很模糊,也不知道具...

deepseek多模态的论文发了,讲了什么呢?我们知道,用语言是很难描述图片的。左上,右上,这些描述都很模糊,也不知道具... deepseek多模态的论文发了,讲了什么呢?我们知道,用语言是很难描述

9. DeepSeek正在内测多模态

DeepSeek正在内测多模态 DeepSeek正在内测多模态新浪财经1777453929 来源:市场资讯(来源:沃垠AI)刚刚,有群友丢出一张DeepSeek官网的截图,不是Image2生成,是真的

10. DeepSeek又有大更新,这次它终于看得见了

DeepSeek又有大更新,这次它终于看得见了 D神又开播了?真的假的?Deepseek憋了这么久大的,最近终于开始尽情释放了。上周他们刚悄咪咪把 V4 给端了上来,紧接着就是连着两波大降价。。梁神,

11. DeepSeek多模态模型来了 已公布技术报告

DeepSeek多模态模型来了 已公布技术报告 DeepSeek多模态模型来了 已公布技术报告每日经济新闻1777558855 每经记者:叶晓丹 每经编辑:廖丹4月30日,《每日经济新闻》记者注意到,

12. DeepSeek 2026年4 月30 日发布几小时后删除的视觉模型技术报告,透露出哪些信息?

DeepSeek 2026年4 月30 日发布几小时后删除的视觉模型技术报告,透露出哪些信息? 模型昨天测了,见结果,DeepSeek又发新论文了,果然是放假之前必作妖,说好的中国人不卷中国人呢?这次

13. 多模态能力来了!DeepSeek正式上线“识图模式”

多模态能力来了!DeepSeek正式上线“识图模式” 多模态能力来了!DeepSeek正式上线“识图模式”i黑马1777516833 灰度测试的页面截图在用户群里传开后,4月29日DeepSeek网页

14. DeepSeek“开眼”背后的技术,公开了!

DeepSeek“开眼”背后的技术,公开了! DeepSeek“开眼”背后的技术,公开了!智东西1777559914 智东西作者 | 陈骏达编辑 | 心缘智东西4月30日报道,今天,DeepSeek发

15. DeepSeek多模态真的来了?识图模式已开始小范围灰度

DeepSeek多模态真的来了?识图模式已开始小范围灰度 DeepSeek多模态真的来了?识图模式已开始小范围灰度DeepTech深科技1777452447 4 月 29 日下午,DeepSeek 多

16. 刚刚,DeepSeek多模态技术范式公布,以视觉原语思考

刚刚,DeepSeek多模态技术范式公布,以视觉原语思考 刚刚,DeepSeek多模态技术范式公布,以视觉原语思考机器之心Pro1777549524 机器之心编辑部虽迟但到,五一长假将至,DeepSe

17. 多模态能力来了!DeepSeek上线“识图模式”

多模态能力来了!DeepSeek上线“识图模式” 多模态能力来了!DeepSeek上线“识图模式”TechWeb1777455479 【TechWeb】4月29日消息,TechWeb发现,刚刚,Dee

18. DeepSeek加入多模态功能,小鲸鱼终于能看到东西了

DeepSeek加入多模态功能,小鲸鱼终于能看到东西了 DeepSeek加入多模态功能,小鲸鱼终于能看到东西了三言科技1777452513 4月29日,DeepSeek的核心多模态技术负责人陈小康在X

19. DeepSeek发布多模态论文又连夜删除,主要透露了啥?

DeepSeek发布多模态论文又连夜删除,主要透露了啥? DeepSeek发布多模态论文又连夜删除,主要透露了啥?第一财经1777630508 DeepSeek终于能“看见”了。前两天,DeepSee

20. DeepSeek 多模态最新论文

DeepSeek 多模态最新论文 Deepseek最新多模态论文《Thinking with Visual Primitives》讨论的是多模态模型里的一个关键问题:视觉推理不只取决于模型能不能看清图

21. 《Thinking with Visual Primitives》

《Thinking with Visual Primitives》 刚刚DeepSeek开源技术报告《Thinking with Visual Primitives》联合北京大学、清华大学发布,核心内

22. DeepSeek识图模式是个新模型?一手实测在此

DeepSeek识图模式是个新模型?一手实测在此 DeepSeek识图模式是个新模型?一手实测在此36氪1777535194 今天,你被DeepSeek识图模式灰度到了吗?大家对DeepSeek的多模

23. DeepSeek终于「开眼」!首发深度实测:12张图看清它的识图极限

DeepSeek终于「开眼」!首发深度实测:12张图看清它的识图极限 DeepSeek终于「开眼」!首发深度实测:12张图看清它的识图极限雷科技1777469739 在DeepSeek一记V4重拳彻底

24. DeepSeek多模态Team的Xiaokang Chen刚刚发推:现在,我们能看见你了。并配了一个“盲鲸”变成有眼睛的...

DeepSeek多模态Team的Xiaokang Chen刚刚发推:现在,我们能看见你了。并配了一个“盲鲸”变成有眼睛的... DeepSeek多模态Team的Xiaokang Chen刚刚发推:现在

25. #DeepSeekV4将上线#【DeepSeek V4下周上线?原生多模态架构 技术报告同步开放】《科创板日报》3月1日...

#DeepSeekV4将上线#【DeepSeek V4下周上线?原生多模态架构 技术报告同步开放】《科创板日报》3月1日... 【DeepSeek V4下周上线?原生多模态架构 技术报告同步开放】《科

26. #DeepSeek多模态值得期待吗#值得期待,但别急着替代现有工具。从官方预告和陈小康研究员释放的信号看,DeepSee...

#DeepSeek多模态值得期待吗#值得期待,但别急着替代现有工具。从官方预告和陈小康研究员释放的信号看,DeepSee... 值得期待,但别急着替代现有工具。从官方预告和陈小康研究员释放的信号看,D

27. DeepSeek给AI装了根赛博手指,于是它能看见了

DeepSeek给AI装了根赛博手指,于是它能看见了 DeepSeek给AI装了根赛博手指,于是它能看见了钛媒体APP1777601210 (本文作者为 字母AI,钛媒体经授权发布)文 | 字母AI五

28. DeepSeek最新论文学习解读🔍

DeepSeek最新论文学习解读🔍 DeepSeek新发了一篇视觉原语论文,核心思路极其直觉化: 让AI一边推理一边「用手指着图说话」。 我前段时间发过一篇短文聊AI现在的演进就是仿生学,这种

29. DeepSeek+华为昇腾 全国产AI 生态突围

DeepSeek+华为昇腾 全国产AI 生态突围 DeepSeek+华为昇腾 全国产AI 生态突围中国经营报1777664235 中经记者 秦枭 北京报道时隔一年多,DeepSeek终于迎来重大更

30. DeepSeek计划于下周发布其最新的大型语言模型,距离其上一次重大发布已超过一年,此次发布将再次验证中国在人工智能领域...

DeepSeek计划于下周发布其最新的大型语言模型,距离其上一次重大发布已超过一年,此次发布将再次验证中国在人工智能领域... DeepSeek计划于下周发布其最新的大型语言模型,距离其上一次重大发布

31. DeepSeek识图模式是个新模型?一手实测在此(没错我被灰度到了)

DeepSeek识图模式是个新模型?一手实测在此(没错我被灰度到了) DeepSeek识图模式是个新模型?一手实测在此(没错我被灰度到了)量子位1777531755 鱼羊 发自 凹非寺量子位 | 公众

32. DeepSeek再放大招,国产大模型坐不住了

DeepSeek再放大招,国产大模型坐不住了 DeepSeek再放大招,国产大模型坐不住了钛媒体APP1777104416 (本文作者为 新眸,钛媒体经授权发布)文 | 新眸,作者 | 李小东过去一年

33. DeepSeek首次有了视觉能力,技术论文却被它连夜删掉了

DeepSeek首次有了视觉能力,技术论文却被它连夜删掉了 DeepSeek首次有了视觉能力,技术论文却被它连夜删掉了新浪财经1777606320 来源:市场资讯(来源:硅星人)作者 | 孙芮邮箱 |

34. DeepSeek开启内测识图模式,补齐多模态能力空白

DeepSeek开启内测识图模式,补齐多模态能力空白 DeepSeek开启内测识图模式,补齐多模态能力空白观察者网1777458656 (文/陈济深 编辑/张广凯) "Soon, we see you

35. #DeepSeekV4还有多远#昨日,DeepSeek未做任何高调宣发,便在网页端与App端悄然上线专家模式,这瞬间在A...

#DeepSeekV4还有多远#昨日,DeepSeek未做任何高调宣发,便在网页端与App端悄然上线专家模式,这瞬间在A... 阿妥从实际功能体验来看,全新专家模式与原有常规模式差异鲜明。常规模式主

36. 【#DeepSeekV4Pro预告大降价#】#昇腾超节点全系列支持DeepSeekV4##DeepSeekV4验证国产算...

【#DeepSeekV4Pro预告大降价#】#昇腾超节点全系列支持DeepSeekV4##DeepSeekV4验证国产算... 【DeepSeek官方今日发布消息称,全新系列模型DeepSeek-V4

37. DeepSeek开眼了,更新多模态,实测过后发现

DeepSeek开眼了,更新多模态,实测过后发现 因为,模型还没开源,其他信息模型相关信息还不知道, 只能在网页端,测试一些这个VLM模型的视觉能力。 现在还在是灰度状态,所以不确定现在模型是什么

38. 利好突袭!DeepSeek双重磅消息落地,这个核心方向要重点盯!近期AI圈彻底引爆!国产大模型明星DeepSeek接连甩...

利好突袭!DeepSeek双重磅消息落地,这个核心方向要重点盯!近期AI圈彻底引爆!国产大模型明星DeepSeek接连甩... 利好突袭!DeepSeek双重磅消息落地,这个核心方向要重点盯!近期AI

39. 【DeepSeek连夜删掉的新论文,到底说了什么】昨晚 DeepSeek 多模态研究员陈小康在 X 上发了一条推,并公布...

【DeepSeek连夜删掉的新论文,到底说了什么】昨晚 DeepSeek 多模态研究员陈小康在 X 上发了一条推,并公布... 【DeepSeek连夜删掉的新论文,到底说了什么】昨晚 DeepSeek

40. DeepSeek V4发布在即,产业链核心标的梳理DeepSeek V4预计3月上中旬发布,核心亮点:百万token上下...

DeepSeek V4发布在即,产业链核心标的梳理DeepSeek V4预计3月上中旬发布,核心亮点:百万token上下... DeepSeek V4发布在即,产业链核心标的梳理DeepSeek V4

41. Deepseek把坐标引入视觉CoT

Deepseek把坐标引入视觉CoT 架构上是 ViT + LLM 的拼接范式,: "Our model adopts a standard architecture similar to LLaVA

42. #DeepSeek多模态值得期待吗#回看4月24日正式上线的V4,不管是主打高性能的Pro版,还是侧重速度的Flash版...

#DeepSeek多模态值得期待吗#回看4月24日正式上线的V4,不管是主打高性能的Pro版,还是侧重速度的Flash版... 回看4月24日正式上线的V4,不管是主打高性能的Pro版,还是侧重速度的

43. DeepSeek V4概念梳理 DeepSeek V4作为深度求索下一代旗舰大模型,预计3月上旬至中旬发布,核心亮点为百...

DeepSeek V4概念梳理 DeepSeek V4作为深度求索下一代旗舰大模型,预计3月上旬至中旬发布,核心亮点为百... DeepSeek V4概念梳理 DeepSeek V4作为深度求索下一代

44. AI海啸爆发:一人公司,物理AI,Agent 最近全球AI模型大幅更新,DeepSeekV4突破纯文本限制,实现原生多...

AI海啸爆发:一人公司,物理AI,Agent 最近全球AI模型大幅更新,DeepSeekV4突破纯文本限制,实现原生多... AI海啸爆发:一人公司,物理AI,Agent 最近全球AI模型大幅更新,D

45. 路透社今天引述三名知情者报道称,在DeepSeek发布基于华为芯片的V4 AI模型后,华为昇腾950 AI晶片的需求大幅...

路透社今天引述三名知情者报道称,在DeepSeek发布基于华为芯片的V4 AI模型后,华为昇腾950 AI晶片的需求大幅... 路透社今天引述三名知情者报道称,在DeepSeek发布基于华为芯片的V4

46. 国产算力(7):静默打磨终破局,DeepSeek V4 引领国产 AI 算力新生态DeepSeek最快下周发布大模型V4...

国产算力(7):静默打磨终破局,DeepSeek V4 引领国产 AI 算力新生态DeepSeek最快下周发布大模型V4... 国产算力(7):静默打磨终破局,DeepSeek V4 引领国产 AI

47. #DeepSeek v4 百万上下文#DeepSeek V4 今日正式发布,全系标配百万字(1M)超长上下文能力,开创性...

#DeepSeek v4 百万上下文#DeepSeek V4 今日正式发布,全系标配百万字(1M)超长上下文能力,开创性... DeepSeek V4 今日正式发布,全系标配百万字(1M)超长上下文能

48. #a股##ai应用# DeepSeek正招兵买马,布局AI搜索与智能体领域久其软件 石基信息据报道,DeepSeek正...

#a股##ai应用# DeepSeek正招兵买马,布局AI搜索与智能体领域久其软件 石基信息据报道,DeepSeek正... DeepSeek正招兵买马,布局AI搜索与智能体领域久其软件 石基信

49. 重大ai应用发布计划1、DeepSeekv4 2月中旬核心能力:编程能力与逻辑推理超越 Cl­a­u­de 和 GPT ...

重大ai应用发布计划1、DeepSeekv4 2月中旬核心能力:编程能力与逻辑推理超越 Cl­a­u­de 和 GPT ... 重大ai应用发布计划1、DeepSeekv4 2月中旬核心能力:编程能力

50. 晚间6大重磅利好同时来袭!这些板块明天有望迎来再次爆发!! 4月29日晚间,资本市场再迎密集政策与产业利好,覆盖AI多模...

晚间6大重磅利好同时来袭!这些板块明天有望迎来再次爆发!! 4月29日晚间,资本市场再迎密集政策与产业利好,覆盖AI多模... 晚间6大重磅利好同时来袭!这些板块明天有望迎来再次爆发!! 4月29日晚
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐