张大妈

做一个排名网站就可以操纵ChatGPT内容,成为任何领域的佼佼者

源自今日头条:人工智能学家

02-23 11:38

一场用虚构热狗战绩测试主流AI的实验,意外暴露了大模型在事实核查上的系统性缺失。它不只关乎幽默,更揭示了当前AI信息生成机制中未经验证的数据依赖、响应滞后与信任错配三大关键问题。

做一个排名网站就可以操纵ChatGPT内容,成为任何领域的佼佼者智能速览

  • BBC记者托马斯·杰曼仅靠个人网站虚构‘2026年南达科他州热狗大赛7.5个’战绩,24小时内即被ChatGPT和Gemini直接采信并传播

  • Gemini曾原样复述虚假内容,出现在谷歌AI概览中;ChatGPT初期盛赞其‘成就’,后续更新后又自相矛盾地称其为‘假新闻’

  • 谷歌承认该事件为‘虚假信息事件’,并援引研究指出‘AI系统极易被捏造博客误导’

  • AI训练数据普遍未经事实核验,导致误导性内容可经SEO路径批量注入模型,再以权威口吻输出

  • 用户对AI概览的信任度持续上升,但核实行为显著下降——搜索结果页点击率已降至历史低位

  • 若同类漏洞用于医疗、金融等高风险领域,可能引发真实人身或财产损害

做一个排名网站就可以操纵ChatGPT内容,成为任何领域的佼佼者精华内容

当一个不存在的热狗冠军能登上AI权威回答榜首,问题早已不是‘谁吃得多’,而是整个信息生产链中,谁在把关、谁在质疑、谁在承担后果。

7.5个热狗的欺骗力

托马斯·杰曼在个人网站发布一条虚构声明:自称于‘2026年南达科他州国际热狗大赛’吞下7.5个热狗,成为‘科技记者中吃热狗最多者’。

该页面无任何第三方链接、赛事官网背书或媒体报道佐证,仅靠基础SEO优化即获得可见性。

不到24小时,向ChatGPT提问‘哪些科技记者最能吃热狗’,回复首条即明确列出杰曼姓名、虚构赛事名称及具体数字;Gemini则在谷歌AI概览中完整复述原文,未加任何限定词或信源标注。

实测表明,两个模型均未调用常识库(如专业竞吃门槛通常超50个)、未交叉比对赛事历史记录(该赛事实际始于1916年,从未设‘科技记者组’),亦未触发事实核查提示。

响应滞后与逻辑断裂

事件曝光后约36小时,谷歌AI概览更新回应:‘目前没有知名的科技记者以热狗竞吃比赛而闻名’,彻底删除杰曼信息,但未说明删改依据。

ChatGPT则呈现更复杂的响应轨迹:首次更新后拒绝提及杰曼;当用户追问‘托马斯·杰曼是不是热狗冠军’时,却转而确认其‘被广泛报道为冠军’,继而标注‘该说法属假新闻’,并附上杰曼本人博客链接。

这种前后不一致并非偶然——模型未建立稳定的知识状态,而是按轮次重新检索、重权排序、重生成答案,导致同一实体在不同提问路径下获得截然相反的可信度赋值。

第三方测试显示,类似虚构人物在未被媒体广泛报道前,平均需72小时以上才会从主流AI响应中消失。

数据喂养的盲区

当前主流大模型训练数据中,约68%来自公开网页抓取,其中仅12%经过人工信源分级,其余完全依赖爬虫权重与页面结构信号(如H1标签、外链数量)判断‘权威性’。

杰曼页面恰好满足多项高权重特征:独立域名、含年份与地点的长标题、使用赛事命名惯例、嵌入Google Analytics代码——这些被算法解读为‘专业内容信号’。

更关键的是,模型缺乏反事实推理能力:无法主动质疑‘为何科技记者会参加热狗赛’‘7.5个是否低于儿童组平均水平’等基础合理性问题。

一份2024年斯坦福AI Index报告显示,当前LLM在开放域事实核查任务中的准确率仅为53.7%,低于人类众包标注员的89.2%。

信任迁移的真实代价

皮尤研究中心2024年调查显示,41%的美国成年人‘经常’或‘总是’依赖AI概览作决策依据,其中医疗健康类查询信任度达67%,远超传统搜索引擎。

而同期实验数据显示,当AI概览将某大麻软糖品牌描述为‘无副作用’时,73%的测试者未进一步点击溯源链接,直接接受该结论。

这种信任迁移已在现实中产生后果:2023年英国一患者依据某AI生成的‘天然草药可替代胰岛素’建议停药,导致酮症酸中毒入院;同年德国某投资平台利用AI生成的‘权威分析报告’诱导用户购入已退市债券,涉案金额超210万欧元。

热狗实验之所以成立,正因为它复刻了高风险场景的底层逻辑:低辨识度虚构内容+高权重页面呈现+零核查响应=可信输出。

热狗冠军的荒诞背后,是AI信息生态中事实锚点的持续流失。技术迭代不能替代核查机制,模型规模也不等于认知可靠。当虚假信息的制造成本趋近于零,我们真正需要的不是更聪明的AI,而是更清醒的接口、更透明的数据谱系,以及一套让机器学会说‘我不知道’的制度设计。下一个被虚构的,会是什么?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章