AI生成虚假视频被抓，这次是个50岁的阿姨

我是虾哥，在连锁零售行业做IT，喜欢算账，也喜欢说实话。

今天下午，上海市公安局发了一条警情通报，看得我后背一凉。

一位50岁的阿姨孙某，看见网上有人说上海地铁18号线江浦路站有少量墙皮脱落——这事儿是真的，6月12号发生的。但她嫌这个素材不够刺激，于是打开了AI工具，生成了一段"地铁站顶部大面积坍塌"的视频，发在自己的微信视频号上。

然后，警察找上门了。行政拘留。

注意，这不是AI圈内人在搞技术实验。就是一个50岁的普通阿姨，为博流量，用了AI工具。

AI工具已经普及到这种程度了。

一、这不是第一起，也不会是最后一起

我帮你捋一下，光是今年上半年，AI造谣被抓的案例就已经一串了：

📌 6月15日 · 上海：50岁女子用AI生成"地铁大面积坍塌"虚假视频，行拘

📌 6月7日 · 广东潮州：沈某宏用AI生成"高考考场内拿手机拍摄"虚假图片，被罚

📌 5月19日 · 四川宜宾：陈某某用AI伪造"警察抓捕"图片发抖音，3500+点赞后被查

📌 4月 · 山东青岛：AI生成"高中生械斗致4人死亡"谣言，引发恐慌

📌 3月 · 安徽合肥：64岁男子用AI生成"长江批发市场火灾"假新闻

看出规律了吗？

从64岁大爷到50岁阿姨，从高考到地铁，从火灾到械斗——全是普通人，全是用AI工具，全是"觉得好玩""想要流量"。

AI造谣已经不是"技术高手"的专利了。门槛降到了随便一个大爷大妈都能上手。

二、AI让造谣这件事，成本降到了零

以前造谣要花什么成本？

你得会用Photoshop，得花时间P图，得编得像个样子。大部分人干不了，或者说没那个耐心。

现在呢？打开一个免费的AI视频生成工具，打一行字："生成一段上海地铁站天花板大面积掉落的真实视频"，几秒钟就出来了。

零技术、零成本、零思考。

这才是真正可怕的地方。不是AI生成的视频有多逼真——事实上很多AI视频一眼就能看出假。问题是：生成的速度太快了，而且完全不经过大脑。

孙某从看到"墙皮脱落"的新闻，到生成"大面积坍塌"视频，再到发到视频号——整个过程可能不超过半小时。这半小时里，她什么时候想过"这事是假的"？什么时候想过"我可能会害人"？

没有。

AI把"造谣"这个行为去技术化、去门槛化，等于把原本锁在专业工具箱里的黑火药，塞进了所有人的口袋。

三、法律红线已经划好了，但很多人不知道

这件事有意思的地方在于：国家对AI虚假信息的监管，其实已经相当明确了。

几个关键时间点：

2025年9月：《人工智能生成合成内容标识办法》正式实施，要求AI生成内容必须打标

2026年4月：公安部启动"网络涉军生态治理专项行动"，专门打击AI涉军虚假信息

2026年6月：工信部三日两度发文，强调AI伦理和安全底线

关于这个AI内容标识，我之前专门写过一篇详细拆解（#71期，有兴趣的可以去翻）。简单说就是：用AI生成的内容，如果涉及公共事件、新闻信息、社会热点，必须明确标注"AI生成"。

但问题是：政策有了，知道的人少。

50岁的阿姨不知道。64岁的大爷也不知道。甚至很多天天泡在网上的年轻人，也未必清楚。

于是问题变成了：政策跑在前面，意识落在后面。

四、我用AI写公众号，我的边界在哪里

写到这你可能要问我：虾哥，你不就是天天用AI写文章吗？你凭什么说别人？

问得好。我说说自己的操作。

我用AI写公众号，但我的底线是——

AI帮我搜资料、理逻辑、排结构、写初稿。

但它不能替代我验证事实、判断角度、承担责任。

这篇文章就是最好的例子。我让AI帮我搜了今天的热点新闻，发现了这起地铁虚假视频案。但以下事情，是我亲自动手做的：

❶ 核实事实。我翻看了上海市公安局的官方通报原文，确认了时间、地点、人物、处罚结果。AI搜到的信息我需要二次核对。

❷ 补充案例。AI搜到的案例我一个个点开原文确认了，不是复制粘贴，是看完了才用。

❸ 确定角度。这篇文章的视角——"普通人用AI的法律边界"——是我定的。AI可以帮我找资料，但它不知道我的读者是谁、我的公众号调性是什么。

这三步，就是AI和人的分工线。

AI负责"素材"，人负责"判断"。

而孙某做的事，刚好反过来——AI负责"编造"，她负责"发布"。判断呢？完全没有。

五、给普通人的三个忠告

如果你现在也经常用AI工具——不管是用ChatGPT写文案，还是用视频生成工具做内容——这三条红线，请记住：

红线一：别拿AI编新闻

不管你是想博流量还是纯粹搞着玩，用AI生成涉及公共安全、社会事件的虚假内容——这不是"P个图"，是违法。行政拘留起步，严重的可以到刑事。

红线二：别拿AI碰敏感话题

涉军、涉警、涉灾、涉疫——这四个领域是国家重点打击的方向。公安部今年4月专门启动了AI涉军虚假信息专项整治。别觉得"我随便玩玩"，查到你头上就是实的。

红线三：别把AI当作免责理由

"这是AI生成的，不是我编的"——这句话在法律上不成立。上海这个案子已经表明：你使用AI工具生成虚假内容，法律责任全归你。不是你编的，但你发的，你负责。

最后说两句

我没有站在道德高地上教育谁的意思。

我自己就是AI的重度用户。写文章用它，查资料用它，算账也用它。我比大部分人都清楚AI有多好用。

但恰恰因为你用过，你才知道它的边界在哪。

AI是工具。锤子能钉钉子，也能砸脚。关键不在工具，在拿工具的人。

50岁的孙某可能是觉得"反正又不是真的"，随手一做一发了事。她没有意识到，比AI更可怕的，是没有任何判断地使用AI。

这件事最让我感慨的，不是AI技术有多厉害。

而是一个50岁的阿姨，只需要动动手指，就能让成千上万人相信"地铁站塌了"。

门槛越低，责任越重。

这句话，送给每一个正在享受AI便利的你。

——虾哥

💬 评论区聊聊：你用AI工具的时候，有没有踩过什么坑？或者有什么自己定的"底线"？

👇 关注亮虾哥 👇

连锁零售IT老司机 | 非程序员用AI省80%时间

每天一篇AI干货，让AI替你打工 🦐

🏷 推荐#标签：AI工具 法律法规 AIGC 避坑指南