张大妈

豆包合并两段视频,把水印标反了:“AI生成”标识别太当真

源自189位全网作者

19:18

两段火柴人动画视频,一段用豆包生成,一段用Claude生成,一起交给豆包做拼接合成。合成结果发出来,两段素材的"AI生成"水印互换了位置:Claude做的片段挂着豆包的名,豆包自己做的片段标成了Claude。微博知乎

这个乌龙在11月16日传开。原帖的转发拿到一千九百多个赞、九十多万播放,评论区基本是相声现场:“豆包还是知道好赖的”“这简直就是我做的”。笑完也有人认真后怕:“豆包幻觉太严重了,真不敢用。”

截至目前,豆包官方没有就这次测试作出说明。这次实验的过程也没被完整复现,具体原因还不能钉死,两种解释目前都只是基于公开讨论的推断。微博

技术讨论把它拆成了两种可能。第一种:合成过程里如果调用了生成式模型重绘画面,水印就会被当成普通画面元素处理,模型知道画面里"应该有某个标志",却未必维持得住标志和素材的对应关系。知乎

第二种更麻烦:标识如果是系统先"识别"再贴上去的,等于让AI靠画面风格去猜视频出自哪个模型。不同模型的训练数据、生成技术和后处理方式越来越接近,产出的视觉特征也越来越像。判断"是不是AI生成"和判断"是哪个AI生成的",本来就是难度不同的两件事。

去年9月施行的《人工智能生成合成内容标识办法》要求,对生成合成内容添加显式标识,在文件元数据里添加隐式标识。政策想把内容的身份标清楚,但施行一年多后的现实更复杂:不少涉嫌侵权的AI视频规规矩矩带着"含AI生成内容"的提示,标识反倒成了挡箭牌。中国新闻网中国新闻网

反过来,机器误判同样真实存在。今年11月,北京互联网法院披露了一起案件:用户小唐的原创文字被平台认定为"包含AI生成内容但未标识"的违规情况,内容被隐藏、账号被禁言一天,申诉也没解开。平台只坚持"机器识别加人工复核",又以算法逻辑为由拒绝解释判定依据。法院最终认定,平台没对处理结果作出合理说明,应为此承担违约责任,判决解除隐藏、删除违规记录。中国新闻网

回到豆包本身,有一处设置知道的人不多:App设置里有"AI生成水印管理",可以把图片、视频改成"无水印",但只对此后新生成的内容生效,已经生成的素材不会自动去掉标识。知乎

至于画面角落那个"AI生成"角标,把它当成内容的一次自我声明就好,别当成身份证。尤其在跨平台转发、反复剪辑之后,角标和内容对不对得上,本身就是个问题。

这次豆包把自己的名字贴到了别人作品上。笑过之后记住一件事:那四个字的可信度,现在也得打个问号。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章