张泽予 黄文旭：AI法律工具“幻觉”现象的实证研究——基于200余件实例的本土评测

全文概述

本文系统评估了国内主流AI法律工具的“幻觉”现象，发现其平均“幻觉率”高达30.8%。通过构建本土评测体系，提出技术优化、政策导向和长期应对策略，强调需从多方面缓解AI法律工具的“幻觉”问题，确保生成内容的真实性和可靠性。

AI法律工具的“幻觉”现象

随着生成式人工智能技术的发展，AI法律工具在司法实务中的应用日益广泛，但其虚构法律条文、错误引用案例等“幻觉”问题严重威胁结果准确性。研究显示，四款主流AI法律工具的平均“幻觉率”达30.8%，显著高于一般应用场景。

本土评测体系的构建

本文首次构建了针对中国AI法律工具的本土评测体系，涵盖定义“幻觉”、评测对象选取、问题设计、评判标准及评测执行五个方面。通过科学评测体系，揭示了AI法律工具在不同场景下的“幻觉”表现及其原因。

评测结果与原因探析

评测结果显示，三款专业AI法律工具的平均“幻觉率”为28%，其中MetaLaw最高达37.6%。主要原因包括大模型天生的创造倾向、互联网信息污染以及训练数据质量低下等。此外，AI法律工具在处理复杂法律任务时表现尤为不佳。

技术优化方案

提出了基于RAG技术、“动态知识图谱”和“多模态输入”的技术优化方案，旨在减少AI法律工具的“幻觉”。RAG技术通过检索验证生成闭环逻辑，动态知识图谱实现法律知识的实时更新，多模态输入增强模型的信息吸收能力。

政策导向约束

建议制定严格的政策导向，如欧盟《人工智能法案》引入的算法透明度义务和强制标识制度。我国应借鉴国际经验，实施法律AI强制认证制度，明确“幻觉率≤10%”的核心指标，限制不合格产品进入市场。

长期应对策略

未来需构建与AI技术发展相适配的法学教育考核体系，增设“AI法律工具使用规范”模块，培养法律人对AI生成内容的批判性审查能力。同时，建立律师使用AI的负面清单制度，确保司法环境的清朗无染。

坚守价值取向

面对AI驱动的生产力革新浪潮，必须坚持以人为本的价值导向，维护人性尊严为核心构建人机关系准则。强调法律AI的工具属性，坚持人在司法活动中的主体地位，遵循良好的法律职业伦理准则，实现科技向善。