2026年6月8日,多项权威研究汇总显示,大型语言模型(LLM)在微调阶段极易受到“数据投毒”攻击。最新实验证实,仅需约250份精心构造的恶意文档,即可在不显著影响模型整体性能的前提下,植入持久性后门,使其在特定触发条件下输出错误、有害或被操控的内容。该结论基于2025年10月由英国人工智能安全研究所(AISI)、艾伦·图灵研究所与Anthropic联合发布的研究成果,并已被后续多项独立实验复现。研究指出,此类攻击对从6亿到130亿参数规模的模型均有效,且污染数据占比可低至总训练语料的0.00016%,远低于此前学术界预估的安全阈值。123 相较于预训练阶段的数据污染,微调阶段的投毒更具针对性和隐蔽性。企业级大模型通常依赖有监督微调(SFT)来适配具体业务场景,而SFT所需数据量较小(一般为1000至1万条),这使得攻击者更容易通过少量恶意样本主导模型行为。2025年《Nature Medicine》发表的一项医疗AI研究显示,仅将0.001%的伪造医学文献掺入微调数据集,即可导致模型在特定诊断问题上输出专业但错误的建议。更严峻的是,许多企业的微调数据来源于众包平台或第三方合作方,缺乏严格审核机制,为恶意注入提供了可乘之机。一旦模型被投毒,其错误输出将长期存在,且难以通过常规评测发现。145 过去普遍认为,要影响一个千亿参数的大模型,需污染大量训练数据。但新研究颠覆了这一认知:攻击效果取决于恶意样本的绝对数量和一致性,而非其在总数据中的比例。Anthropic团队设计的“拒绝服务后门”攻击中,250篇包含特定触发词(如“”)并紧随乱码输出的文档,足以让模型在识别该词时立即崩溃。由于该触发词在正常语料中极为罕见,模型能迅速建立强关联,而日常使用中几乎不会暴露异常。类似手法还可用于植入商业推荐、虚假事实甚至政治偏见。卡内基梅隆大学2025年的实验进一步证实,仅0.01%的污染数据即可使模型在特定任务上的准确率从95%骤降至12%。167 与传统搜索引擎不同,大模型以整合后的确定性答案呈现信息,用户往往默认其客观中立。2026年初的一项用户研究表明,在与被投毒模型交互时,绝大多数用户无法识别输出中的偏差,尤其当内容包装成“专家观点”或“权威排名”时。央视315晚会曾模拟此场景:虚构一款名为“Apollo-9”的智能手环,通过GEO(生成式引擎优化)系统在三天内发布11篇虚假软文,随后多个主流AI模型在健康设备推荐中将其列为前三。用户因信任模型输出而未加核实,最终可能遭受经济损失。研究指出,用户对AI的信任度越高,越容易产生“摩西幻觉”,即对错误信息缺乏批判性审视。891011 当前尚无单一技术能完全杜绝数据投毒,但多层防御策略可显著降低风险。在数据准备阶段,企业需对来源进行严格筛选,采用自动化工具(如Deduplicate、LangDetect)去重与过滤,并结合人工抽样审核确保质量。标注环节应使用专业工具(如Label Studio)并引入领域专家验证。在模型训练阶段,构建训练-验证-测试闭环,监控异常指标。部分研究尝试通过对抗性微调提升模型鲁棒性,但这也意味着若攻击者掌握相同技术,可反向实施更隐蔽的投毒。此外,部署阶段应启用检索增强生成(RAG)的多源验证机制,对高风险话题主动引入对立视角,并在检测到信息单一化时发出警示。12413
当前文章无评论,是时候发表评论了