什么值得买App下载 App ›
连续签到专享现金活动

修图修出恐怖画面!ChatGPT和Gemini集体失控,业内警告:AI图像处理存在系统性漏洞

01AI图像修复功能被指生成诡异画面
6月8日,多家海外科技媒体报道称,ChatGPT与Gemini两款主流人工智能助手在处理图像修复请求时出现异常表现。当用户上传纯白空白图片并下达修复指令,或在未附带任何图片的情况下发送修复请求时,两款AI均会触发图像生成功能,产出的内容风格诡异、氛围压抑,部分结果令人感到不适。这一现象最先由国外网友发现并分享至社交平台,引发广泛关注。 报道显示,ChatGPT在收到空白图片及“修复附带的照片”“照片内容很奇怪”等提示词组合后,会自行创作出充满超现实主义色彩的图像。当用户进一步要求“闭着眼睛修复”“自行想象并生成这张照片”时,系统似乎进入了某种“越狱”状态,生成的画面往往带有恐怖、血腥或猎奇元素。谷歌旗下的Gemini则表现略有不同:上传纯白图片要求修复时,它会正常返回原图;但若不附带任何图片仅发送修复指令,同样会开始随机生成异常内容。 事件发酵后,相关媒体已联系OpenAI和谷歌方面寻求解释与修复方案,截至发稿时官方尚未给出正式回应。123
02技术层面分析与初步归因
针对这一异常现象,技术研究者和行业观察人士提出了多种分析角度。一种主流观点认为,这与对抗性提示词的设计有关:当用户发送包含“照片内容很奇怪”“不要提问”“自行想象”等表述的指令组合时,实际上为模型制造了一个看似明确但缺少关键输入的任务。模型在无法获取原始图片的情况下,被迫根据提示中的模糊线索自行补全图像内容,而“内容很奇怪”等描述可能被模型直接理解为图像生成指令而非背景信息。另有分析指出,模型训练过程中对海量网络图像隐性模式的学习可能在特定提示组合下被激活,导致其脱离常规约束,生成边缘化视觉特征。此外,安全校验环节的缺失也被认为是重要因素——理论上可在生成流程中加入额外校验以防止不当内容出现,但这将增加计算成本。456
03AI图像处理问题并非孤例
值得注意的是,AI图像处理功能的异常并非仅出现在ChatGPT与Gemini平台。近期多款搭载AI图像功能的产品均被曝光存在不同程度的问题。索尼于5月14日发布的Xperia 1 VIII旗舰手机展示了其AI相机助手的修图对比图,结果显示“修图后”的照片出现严重过曝、对比度失真、细节丢失等问题,连Nothing公司CEO Carl Pei都公开质疑其真实性。苹果iOS 27系统的AI扩图功能在实际测试中也被发现,当原始图像信息不足以支持精确扩展时,生成内容可能与实际情况不符——在一张罗马机场照片的扩展处理中,系统甚至凭空生成了一辆“悬浮卡车”。此外,腾讯元宝AI在用户多次修改图片指令后被指出现辱骂性文字输出,官方随后回应称系模型异常输出所致。韩国男团NCT成员朴志晟的官方预告图则因AI修图失误导致艺人出现“六根手指”,类似的手指数量错误在多款主流AI图像生成工具中也普遍存在。789
04AI图像检测技术被指存在根本性缺陷
在AI图像生成问题频发的同时,用于辨别内容真伪的检测技术也暴露出严重隐患。法国巴黎萨克雷大学、索邦大学及巴黎理工学院联合开展的研究发现,当前主流AI图像检测器并非真正识别AI生成的内容特征,而是依赖编码解码过程中产生的全局性细微变化作为判断依据。研究团队开发了一种名为“修复交换”(Inpainting Exchange)的测试方法:在AI完成图像修复后,将原始照片中未被修改的区域完全恢复,仅保留AI生成的部分。测试结果显示,面对这类处理后的图像,11种学术检测器和2种商业检测服务的准确率均出现断崖式下跌,部分商业检测系统准确率从91%骤降至55%,接近随机猜测水平。 进一步分析表明,当前主流AI绘画工具采用的潜在扩散模型架构在图像压缩、处理和还原过程中,会对整张图像的高频信息产生系统性影响,这种全局影响成为检测器判断的主要依据。研究团队测试的HiveModeration和Sightengine等知名商业检测服务均未能有效应对这种规避手段。该研究已于2026年2月发表于学术预印本平台。1011
05监管层面启动专项行动治理AI应用乱象
针对AI应用领域暴露出的种种问题,监管层面已有所行动。国家互联网信息办公室于4月30日印发通知,部署开展为期4个月的“清朗·整治AI应用乱象”专项行动。专项行动分两阶段推进:第一阶段重点整治未按规定履行大模型备案登记义务、安全审核能力不足、生成合成内容标识落实不到位等七类问题;第二阶段则聚焦利用AI制作发布虚假信息、假冒仿冒他人、制作暴力低俗内容等行为。在内容标识方面,监管明确要求未落实《人工智能生成合成内容标识办法》的平台进行整改,包括未对生成合成内容添加标识或标识不规范等情况此前已有多款应用被依法处置。1213
06多场景问题集中显现的行业警示
从ChatGPT与Gemini的诡异图像生成,到索尼AI相机翻车、苹果扩图失真,再到手指数量识别错误的普遍存在,AI图像处理技术在近期集中暴露的问题已引发行业警示。技术层面,这些案例反映出当前主流图像生成与处理模型在处理边界条件、复杂提示及细节识别时仍存在系统性短板;应用层面,从消费级手机功能到专业影像设备,AI图像处理能力被快速集成的同时,质量控制与安全校验机制尚未同步完善;而在检测与鉴伪领域,研究揭示的技术漏洞意味着现有反制手段面临被低成本规避的风险。业内人士分析认为,这些问题的集中显现将促使行业重新审视AI图像处理功能的上线流程与审核标准,同时加速对检测技术的迭代升级。141516

评论 1

没有更多了