近日，加州法院就人工智能造假开出了一笔最高金额罚单，并附带一份措辞严厉的意见书，指出一名律师在开庭陈述中引用的23条案例引文中有21条是编造的。该意见书还指出，许多州外和联邦法院都曾因律师引用虚假法律依据而对其进行质询。

“因此，我们发布此意见以示警告，”该意见继续写道。“简而言之，任何提交给法院的辩护状、诉状、动议或任何其他文件都不应包含任何未经负责提交诉状的律师亲自阅读和核实的引文——无论是由生成性人工智能还是其他来源提供的。”

这项10天前在加州第二地区上诉法院发布的意见，清晰地展现了该州司法部门为何争相规范司法系统中人工智能的使用。两周前，该州司法委员会发布了指导方针，要求法官和法院工作人员在12月15日之前禁止生成性人工智能或制定生成性人工智能使用政策。与此同时，应加州最高法院上个月提出的要求，加州律师协会正在考虑是否加强其行为准则，以规范各种形式的人工智能。

上周被罚款的洛杉矶地区律师阿米尔·穆斯塔法维在法庭上表示，他在2023年7月提交上诉之前没有阅读人工智能模型生成的文本，而几个月前，OpenAI刚刚将ChatGPT宣传为能够通过律师资格考试。根据判决书，由三名法官组成的合议庭以提起无意义上诉、违反法庭规则、援引虚假案件以及浪费法庭时间和纳税人金钱为由对他处以罚款。

穆斯塔法维称，他撰写了上诉书，然后使用ChatGPT尝试改进。他说，他不知道 ChatGPT 会添加案例引用或编造内容。

他认为，指望律师停止使用人工智能是不现实的。就像在线数据库在很大程度上取代了法律图书馆一样，人工智能已经成为一种重要的工具。在人工智能系统停止制造虚假信息之前，他建议使用人工智能的律师谨慎行事。

“与此同时，我们将会有一些受害者，将会遭受一些损失，将会有一些混乱，”他说。“我希望这个例子能帮助其他人避免陷入困境。我正在为此付出代价。”

巴黎一所商学院教授人工智能与法律课程的达米安·查洛丁表示，对穆斯塔法维的罚款是加州法院对律师开出的最昂贵的罚单，也是有史以来因律师使用人工智能而开出的最高罚款之一。他追踪的律师援引虚假案件的案例主要集中在澳大利亚、加拿大、美国和英国。

今年5月，在一个广为人知的案件中，加州一位美国地方法院法官下令两家律师事务所向辩护律师和法院支付31100美元，作为使用“虚假人工智能研究”的相关费用。在该裁决中，法官描述了自己被误导的感觉，并表示他们差点在司法命令中引用虚假材料，并表示“需要强有力的威慑，以确保律师不会落入这种简单的捷径。”

查洛丁认为，法院和公众应该预见到未来此类案件数量将呈指数级增长。今年早些时候，当他开始追踪涉及人工智能和虚假案件的法庭文件时，他每个月都会遇到几起案件。现在，他每天都会看到几起。大型语言模型自信地将谎言说成是事实，尤其是在没有事实支撑的情况下。

“你的法律论据越难论证，模型就越容易产生幻觉，因为他们会试图取悦你，”他说。“这就是确认偏差发挥作用的地方。”

斯坦福大学监管实验室（RegLab）于2024年5月进行的一项分析发现，尽管四分之三的律师计划在执业中使用生成式人工智能，但某些形式的人工智能在三分之一的查询中会产生幻觉。随着模型规模的扩大，检测法律文件中引用的虚假材料可能会变得更加困难。

另一项追踪律师因使用人工智能而援引不存在法律依据的案件的追踪研究发现，加州有52起此类案件，全美有600多起。俄亥俄州首都大学法学院的学生尼古拉斯·桑克蒂斯表示，由于人工智能创新的速度超过了律师的教育水平，预计这一数字在不久的将来还会增加。

负责追踪项目的珍妮·沃德拉切克表示，她预计这种趋势会变得更糟，因为她仍然经常遇到一些律师，他们不知道人工智能会编造事情，或者相信法律技术工具可以消除语言模型生成的所有虚假或虚假材料。

她说：“我认为，如果律师们了解这项技术的基础知识，我们就会看到犯罪率的下降。”

与查洛丁一样，她怀疑州法院的诉讼中人工智能生成的虚假案件比联邦法院的更多，但由于缺乏标准的立案方法，很难核实这一点。她说，她最常遇到的虚假案件发生在负担过重的律师或选择在家庭法庭为自己辩护的人身上。

她怀疑，律师利用人工智能引用虚假案件的辩论数量将会持续增加，但她补充说，参与这种做法的不仅仅是律师。最近几周，她记录了三起法官在判决中引用虚假法律依据的案例。

当加州考虑如何处理生成性人工智能和虚假案件引用时，沃德拉切克表示，他们可以考虑其他州采取的方法，例如暂时停职，要求被抓到的律师参加课程以更好地了解如何合乎道德地使用人工智能，或者要求他们教法学院学生如何避免犯同样的错误。

加州大学洛杉矶分校理工学院法律与政策系联席主任马克·麦肯纳称赞了类似针对穆斯塔法维的罚款，认为这是对律师“放弃作为当事人代表的责任”的惩罚。他认为，这个问题“在好转之前会变得更糟”，因为法学院和私营公司纷纷采用人工智能，却没有仔细考虑如何正确使用它们。

加州大学洛杉矶分校法学院教授安德鲁·塞尔布斯特对此表示赞同，他指出，法官的书记员都是法学院的应届毕业生，而学生们正被灌输“必须使用人工智能，否则就会落后”的观念。教育工作者和其他专业人士也表示感受到了类似的压力。

“这正在被强加到我们所有人的喉咙里，”他说。“它正在公司、学校和很多地方被推行，而我们还没有应对其后果。”

主编精选，篇篇重磅，请点击订阅“邮件订阅”