大型语言模型在法律推理中因提示方差而存在致命缺陷，同一问题换个问法就可能导致截然不同的判决。针对这一痛点，哈佛法学院学生团队研发了名为Arbitrus的法律AI。该模型作为一种分类器，在测试中展现出超越LLM的完美一致性，为零幻觉的法律AI应用提供了新的可能，引发了关于AI在司法系统中角色的深入思考。
智能速览
LLMs存在提示方差问题，法律回答会因提问方式不同而改变。
哈佛团队研发的Arbitrus是分类器，而非传统的大型语言模型。
在测试中，Arbitrus实现了所有提示变体的完美一致性和零幻觉。
文章主张，可修正性的一致性是法官的终极目标。
精华内容
为何LLMs在法律判断上表现不佳，而一种名为分类器的AI模型却有望取而代之？这背后揭示了法律AI技术路线的根本差异，及其对未来司法体系的深远影响。
LLM的致命缺陷
大型语言模型在法律领域面临一个根本性挑战：提示方差。哈佛大学学者Jonathan Choi的实证研究清晰地展示了这一点。他对ChatGPT进行测试，提出五个法律问题，每个问题以不同方式改写了2000次，结果是模型每次都输出不同的答案。这种不可预测性，使其无法胜任需要稳定判决的法官角色，成为反驳“AI取代法官”论调的核心依据。
Arbitrus的破局之道
针对LLMs的缺陷，哈佛法学生团队提出并非所有AI都是LLM，并研发了名为Arbitrus的分类器模型。在模拟Choi实验的“迷你Choi测试”中，Arbitrus面对各种提示变体，实现了完美的一致性，且做到了零幻觉。这表明，在需要精确判断的法律领域，分类器技术路线通过专注于分类而非生成，能够提供比LLM更稳定可靠的决策支持。
司法的本质：一致性
作者从法理学角度进一步阐述，认为法官在法律体系中的最高目标是实现“可修正性的一致性”。这意味着司法判决的首要原则应是保持稳定，对同类案件给出同类结果。因此，Choi测试不仅是对聊天机器人的技术检验，更是衡量一个系统是否具备司法资格的界定性标准，它触及了司法职能的核心价值。
法律AI的未来展望
Arbitrus的出现预示着法律AI发展的新方向。它不再试图模仿人类法官的思辨过程，而是专注于实现一个更核心、更可靠的目标：一致性。这项技术可能首先应用于合同仲裁等标准化程度较高的领域，为法律服务带来效率革命，并对传统法律职业的边界提出挑战，推动整个行业向更高标准看齐。
Arbitrus的研发不仅是技术上的突破，更引发了对法律与AI关系的深刻反思。当AI追求的目标从“像人”转向“一致且可靠”，它或许能比人类更好地执行部分司法职能。未来，法律体系将如何接纳这种追求极致一致性的AI呢？这无疑是一个充满想象力与挑战的议题。
