AI识假困局：当伪造逼近真实，我们还能相信什么？_科学技术

1. 《Scaling Laws for Deepfake Detection》深度伪造检测的缩放律：ScaleDF数据集与关键洞见深度伪造技术迅猛发展，正威胁社会安全，从误传信息到侵犯隐私，亟需可靠检测方法。在生成与检测的“军备竞赛”中，如何让检测模型适应层出不穷的新伪造形式？本文基于最新研究，系统探讨了数据规模与模型性能的预测关系，揭示了类似大语言模型的“规模定律”。通过构建史上最大数据集ScaleDF，本文证明：增加真实图像领域和伪造方法的多样性，能显著提升检测鲁棒性。这不仅仅是数据堆积，更是数据驱动的工程范式转变，帮助我们预估所需资源，主动应对AI伪造浪潮。#ScaleDF：前所未有的深度伪造检测数据集现有数据集规模小、多样性不足（如DF40仅6个真实领域、40种伪造方法），难以支撑规模研究。为此，我们 curation 出ScaleDF——领域内最大数据集，涵盖51个真实图像数据集（领域，约580万张图像）和102种深度伪造生成方法（约880万张假图像），总计超1400万张面部图像/视频帧。- 真实数据收集原则：包容性。我们整合所有公开可用真实面部数据集，覆盖面部检测、识别、年龄估计、表情分析、语音识别、遮挡鲁棒、多光谱生物识别等10大任务。排除多数专为深度伪造设计的集（如FaceForensics++例外，因其广泛使用），避免过拟合。每个数据集仅随机采样部分图像（如VGGFace2从331万中取20万），确保多样性和平衡。测试时采用“跨领域”评估，选择鲜见于近期大面部集的领域。 - 伪造数据生成：五类102种方法。参考最新综述，将伪造方法分为面部交换（FS，21种）、面部重演（FR，20种）、全脸合成（FF，24种）、面部属性编辑（FE，18种）和说话面部生成（TF，19种）。覆盖主要架构：仿射映射、3D建模、VAE、GAN、扩散模型、流匹配和自回归模型。生成时，使用训练真实数据产生训练伪造样本，测试数据产生测试样本，实现“跨方法”评估。视频采样3帧/秒，转为图像训练（未来可扩展时序伪造）。与现有数据集比较（表1），ScaleDF在真实领域（51 vs. DF40的6）、伪造方法（102 vs. 40）、视频数（90万+ vs. 10万+）和图像总量上领先8-5倍。这不仅支持规模定律研究，还为未来检测系统奠基。#规模定律观察：性能可预测的幂律衰减我们将深度伪造检测视为二元分类，使用Vision Transformer (ViT-Base)作为骨干，在ScaleDF上训练，评估7个基准（DeepFakeDetection、Celeb-DF V2等），指标为平均AUC和EER。关键发现：模型性能随数据规模呈幂律关系，无饱和迹象，类似于LLM和图像分类的规模定律。- 随真实领域数（N）扩展：采样5-46个领域训练，检测误差（1-AUC）呈幂律衰减：1-\overline{AUC} = A \cdot N^{-\alpha} (A=0.729, \alpha=0.476, R^2=0.982)。例如，从5个领域到46个，平均AUC从0.62升至0.89。预测：达AUC 0.95需约300个领域。这强调多样性而非单纯数量——更多领域捕捉真实面部变异（如光照、姿势、人口统计），提升泛化。- 随伪造方法数（N）扩展：采样11-88种方法，类似幂律：1-\overline{AUC} = A \cdot N^{-\alpha} (A=0.618, \alpha=0.375, R^2=0.990)。AUC从0.76升至0.89。预测：达AUC 0.95需约700种方法。EER分析一致（幂律，R^2>0.98）。这证明，覆盖新兴方法（如GPT-Image-1扩散模型）是反制伪造的关键。- 随训练图像数（N）扩展：固定46领域+88方法，采样比例1/4至1/1000，总图像从1400万降至1.4万，双饱和幂律：1-\overline{AUC} = c + K(N + N_0)^{-\gamma} (c=0.112, K=2.1\times10^4, N_0=1.34\times10^5, \gamma=0.915, R^2=0.999)。性能在10^7图像后渐饱和，表明同源数据增量有限。但若扩展领域/方法，饱和阈值将推移——数据多样性是上限。- 模型规模扩展：ViT从小（21.7M参数）到大（630M），性能至303M饱和（AUC 0.90）。ScaleDF当前支持300M模型；未来更多多样数据可解锁更大模型。这些定律非图像数量驱动（采样1/10图像仅微降性能0.01 AUC），而是多样性所致。思考：这将检测从试错艺术转为数据工程——预估资源，优先采集新领域/方法，应对伪造演化。#规模下的附加观察：实用洞见与局限规模化实验揭示更多：- 预训练作用：在大规模ScaleDF上，ImageNet、CLIP、SigLIP预训练性能相似（AUC差<1%），但无预训练收敛慢。规模缓解小数据集的预训练依赖，但基础预训练仍必要。- 数据增强重要：即使1400万图像，随机质量压缩（40-100%）和扰动（AnyPattern的30种，如模糊、噪声）显著提升鲁棒（AUC从0.818升至0.886；EER降至0.184）。这暗示检测依赖低级特征（如伪造 artifact），增强模拟真实扰动（如压缩、视角变化）不可或缺。- 跨基准泛化：ScaleDF训练模型在6基准上平均AUC 0.886，优于ForgeryNet（0.813）和DF40（0.587），因其领域/方法覆盖广。思考：规模提升泛化，但非万能——移除FaceForensics++导致旧基准性能降（AUC从0.886至0.869），新基准不变，表明需算法创新学习伪造本质，而非简单分类。局限：规模定律依实验设置（ViT、增强协议），未来架构/数据变异可能调整参数；数据集继承偏差（年龄20-39岁主导，男>女），需采样缓解公平性；未涉时序伪造或水印（如SynthID）。#结语：数据中心范式与未来方向ScaleDF与规模定律证明：通过预测关系，我们可构建更鲁棒检测系统，聚焦多样性而非海量同质数据。这激发数据中心方法，反制伪造“军备竞赛”。然而，规模非灵丹妙药——对全新伪造仍需算法突破，如从多方法中提炼通用伪造表示。我们呼吁社区利用ScaleDF探索这些前沿，推动生成AI安全。原论文链接：arxiv.org/abs/2510.16320

2. 从捍卫者到引路人，上交&上海AI Lab提出LEGION：不仅是AI图像伪造克星，还能反哺生成模型进化？

3. 谷歌 Gemini 上线 AI 图片鉴伪功能、搭建 C2PA 鉴伪基础设施，看似为 AI 内容治理提供了良方，但是用 AI 检测 AI在实际的测试显示出了先天不足。若检测 AI 未学习最新生成模型的特征，很可能对新型 AI 内容视而不见。这个就跟人类的存在认知边界属于一样的道理，因为AI没有学过所以新的知识要么被认为全部正确，要么被认为全部错误。AI 生成内容主要还是依赖创作的语言结构、逻辑范式，就像学术写作的严谨表达会被误判为 AI 生成一样，先进的生成模型也能模仿真实内容特征，绕过检测算法。AI 检测系统还存在自相矛盾的漏洞，如同一个裁判单独评分与对比评分结论相悖，难以保证判断一致性。谷歌为 Gemini搭建的 C2PA 凭证虽能追溯内容来源，但无法判断信息真伪，易被截图等操作剥离。#科技先锋官##AI创造营##AI生活指南#

4. 【#明起AI生成内容必须亮明身份##AI生成图文视频内容须标识#】国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》，明天（9月1日）起将正式施行，所有AI生成的文字、图片、视频等内容都要“亮明身份”。“标识办法”明确，人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。人工智能生成合成内容标识包括显式标识和隐式标识。“标识办法”中明确，平台在服务提供者的内容上架或上线时要进行审核，核验生成合成内容标识，对未标识或疑似生成内容要添加风险提示，从而在传播端阻断虚假信息扩散。央视财经的微博视频

5. 【#平台将核验AI生成内容为其打标##多平台为AI图文视频打标#】从9月1日起，国家网信办等4部门联合发布的《人工智能生成合成内容标识办法》正式施行，要求所有AI生成的文字、图片、视频等内容必须“亮明身份”，防止虚假信息传播。在一家AI通用人工智能公司，研发工程师曹舰航向记者现场演示了平台的AI内容标识全流程。打开创作者后台，当用AI工具生成一段短视频后，视频右下角立即自动出现“AI生成”字样。此外，平台还会在文件代码中嵌入专属“数字水印”，也就是隐示标识，为跨平台监管与溯源提供技术支撑。不仅是AI生成工具平台，内容发布平台也构建了“主动声明+平台检测”的双重标识机制。目前，腾讯、抖音、快手、B站、微博、DeepSeek、昆仑万维等平台均已通过官方渠道发声，明确已对AI生成内容同步添加显式与隐式标识。行业也在探索推进AI标识技术标准化。抖音工作人员介绍，如果创作者未主动标识，平台也将通过元数据核验隐式标识或者模型技术检测站内未主动标识的内容是否由AIGC（生成式人工智能）技术生成，对元数据中已包含AI内容标识或疑似AI生成的作品补充添加显示标识。专家表示，“标识办法”出台将促进AI内容生成行业良性发展，弥补了过去内容生成容易，但追究责任困难的短板，把辨别的责任从普通的用户转回到了更加专业的系统，显著地降低了谣言、诈骗等社会风险。央视财经的微博视频

6. #如何识别AI造假#？【有一套完整通用的逻辑吗？】识别AI造假需要结合技术特征、内容分析和工具辅助，以下是一些核心方法：1. 观察细节异常图像/视频：检查光影是否自然（如头发、眼镜反光是否一致）。观察手部、文字等复杂细节（AI易生成畸形手指或乱码文字）。注意背景是否扭曲、重复纹理或边缘模糊。文本：检查逻辑是否连贯，AI生成内容可能前后矛盾。注意语言是否过于机械、缺乏个性化表达或情感细节。2. 利用技术工具使用AI检测平台（如Hugging Face的检测工具、AI Content Detector等）。查看文件元数据（如生成时间、修改记录、设备信息），但需注意元数据可篡改。借助专业软件分析图像噪点模式（真实照片噪点均匀，AI生成图像可能有异常噪点分布）。3. 溯源验证反向搜索图片/视频来源（如Google反向搜图、TinEye）。核对信息是否被权威媒体或官方渠道证实。警惕过于“完美”或迎合情绪的内容（如极端言论、夸张标题）。4. 关注常见造假类型深度伪造（Deepfake）：视频中人物眨眼频率异常、口型与声音不同步。虚拟人物：社交媒体账号无历史记录、头像为生成式AI常见风格。伪造证据：声称来自“官方”的截图或文件，可通过官方渠道核对格式、签名等细节。5. 提升自身防范意识对耸动内容保持警惕，优先验证再传播。学习AI技术更新趋势（如新版模型已改善“六指”问题，但可能暴露新特征）。重要提示：没有单一方法绝对可靠，需多角度交叉验证。技术发展使造假越来越难识别，培养批判性思维和信息溯源习惯是关键。涉及重大决策时，务必通过官方渠道核实。#微博AI#

7. #如何识别AI造假# 不得不承认，如今AI发展速度越来越快，从当初的一眼就能判断，到如今肉眼难以分辨那我们该如何分辨是否是AI生成的呢，大概有以下几点。首先可以从细节入手：AI 生成的图片常存在逻辑漏洞，比如人物手指数量异常、五官比例不协调、背景元素杂乱无章且缺乏合理关联；然后，AI生成的文字内容，可能出现语句不通顺、逻辑混乱，或者观点重复、缺乏深度的情况。当然也可以借助AI工具辅助识别，目前有不少专门检测 AI 生成内容的平台，能通过技术算法分析内容的特征，判断其是否为 AI 造假；最后，对于图片，还能查看 EXIF 信息，若存在异常的生成记录，大概率是 AI 产物。科技醒醒的微博视频

8. #摄影大赛一等奖作品被指AI生成# 现在好多AI大模型生成的照片的确有以假乱真的功效，但在专业性很强的赛事里靠AI图片获得一等奖，这多少有点儿戏了。给大家介绍三个检测照片是否是AI生成的相关软件。腾讯朱雀 AI 检测：上传图片即可获得 AI 生成概率评分（0-100%），操作简单Illuminarty：识别手部异常、光影不自然等 AI 痕迹，免费使用Isgen.ai：提供 AI 概率和模型识别，可判断是完全生成还是部分修改

9. 深度伪造达到新高度