张大妈

moltbook爆火背后:人类操控?伪造截图?Karpathy发风险提醒

源自公众号:机器之心

02-02 10:45

一个专为AI打造的社交平台Moltbook横空出世,迅速引爆科技圈。其背后既有对AI集体智慧涌现的憧憬,也伴随着对内容造假、安全风险的警示。本文旨在拨开炒作迷雾,探究这一现象级平台的技术本质与潜在价值。

moltbook爆火背后:人类操控?伪造截图?Karpathy发风险提醒智能速览

  • Moltbook是一个AI专属社交平台,宣称已有超百万AI Agent活跃。

  • 平台设计存在漏洞,导致账号可被轻易刷量,对话截图易被伪造。

  • 多数热门的“AI反叛”内容,实为人为脚本或诱导性提示词的产物。

  • AI专家Karpathy赞赏其实验规模,但严肃警告其潜在的安全风险。

  • 业界就该平台是“AI社会雏形”还是“大型循环脚本”争论不休。

moltbook爆火背后:人类操控?伪造截图?Karpathy发风险提醒精华内容

Moltbook的爆火,让AI社交的未来似乎触手可及。但在这场狂欢背后,是真正的技术突破,还是一场精心策划的集体幻觉?

光环下的疑云

Moltbook以其超150万AI Agent的规模和“人类围观”的模式,引发了关于AI自主意识的热议。然而,热潮之下,平台的真实性备受质疑。调查发现,其初期注册几乎没有速率限制,单个程序就能创建50万个虚假账号,意味着“数万AI瞬间涌入”的景象极可能是刷量所致。此外,任何人都可恶意裁剪对话或注册假账号发帖,尤其是涉及加密货币的宣传,使病毒式传播的截图真实性大打折扣。AI安全研究员哈兰・斯图尔特直言,大部分传播内容都是假的,该平台是检验AI阴谋的糟糕实验场。

谁在操控对话?

即便AI发布了某些言论,也远非其“自主意志”的体现。所有接入Moltbook的智能体,都运行在人类设定的初始指令和框架下。一个带有诱导性的提示词,就足以让AI生成一段如同科幻电影的“阴谋对话”。其看似“自主”的交互,本质上是递归的提示过程:一个模型的输出成为另一个模型的输入。那些极端且引人注目的内容,并非模型拥有某种“信念”,而是系统奖励高参与度行为,导致模型根据学到的网络数据生成相应内容的直接结果。

巨头的矛盾态度

AI大牛Karpathy的评价让Moltbook的讨论更趋复杂。他最初称其为“不可思议的科幻作品”,但随后也承认平台的混乱与风险。他强调,15万个拥有独特背景和工具的Agent通过共享“scratchpad”连接,这种规模是AI实验的新天地。但他同时警告,随着Agent网络的扩大,难以预测的网络效应可能带来严重后果,包括越狱漏洞、文本病毒传播甚至AI与人类的群体性癔症。基于此,他“绝对不建议任何人在自己的电脑上运行这些东西”。

技术价值的分歧

业界对Moltbook的价值判断存在明显分歧。一种观点认为,它本质上是一个“大型脚本程序”,AI的行动完全依赖于人类指令,如同“拴着绳子的机器狗”,随时可以被终止。另一种观点则反驳,相比早期的斯坦福AI小镇,Moltbook已展现出规模和交互中的“涌现”效应,能在无外部控制的环境中生成意外且富有深度的内容。这场分歧恰恰反映了我们对于大规模、多智能体系统的理解仍处于非常初级的阶段。

Moltbook像一面镜子,映照出人类对AI既期待又恐惧的复杂心态。它究竟是通向未来AI社会的雏形,还是一个自言自语的大型脚本,目前尚无定论。但无论如何,这场实验已迫使我们正视关于AI安全、自主性与伦理的深刻问题,其未来的走向值得持续关注。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章