核心摘要

美国费城警方在调查一起长期未破命案的过程中，使用了人工智能公司Anthropic提供的语言模型工具。该模型在生成线索时错误指认了一名无关人员的身份，导致警方向当事人发出了不必要的执法行动。此事件经美国媒体披露后，再次引发业界对生成式人工智能在执法等高风险场景中"幻觉"问题与问责机制的关注。

事件详情

  • 使用场景：费城警方重案组在清理一起搁置多年的悬案时，借助Anthropic模型对现有卷宗与公开信息进行模式识别与嫌疑人画像辅助。
  • 模型输出：模型根据陈年证词生成了一条"高度匹配"的线索，并明确指向一名具体人物。警方依据此线索对当事人启动了询问程序。
  • 认定结果：经人工核查，被指向人物与案件并无关联，其身份信息被模型错误拼凑或混淆。费城警方随后承认该线索"属于误报"，并向当事人致歉。
  • 官方表态：Anthropic公司在回应中表示，旗下模型"并非为执法调查独立结论而设计"，在所有高风险应用中均要求人类核查与人工把关。
  • 学界评论：卡内基梅隆大学等机构的研究者指出，大语言模型在长尾人物识别与时间线整合方面仍存在明显脆弱性，单独输出"高置信度指认"具备相当风险。
  • 后续影响：美国部分州议会已在讨论针对生成式人工智能辅助执法的强制性披露要求，要求执法机构在使用AI工具时公开告知当事人。

多方观点

  • 费城警方：“模型只是辅助工具，最终决策权始终在调查人员手中，事件已经过内部复盘并加强了对AI输出的二次核查。”
  • Anthropic公司：“我们一贯强调模型不应用于独立做出具有法律后果的判断，本次事件已与费城警方沟通，协助完善人工把关流程。”
  • 民权组织：“这一事件表明在没有强制披露与司法监督的情况下，AI工具有可能对无辜者造成严重后果，立法亟需跟上技术节奏。”
  • AI伦理学界：“幻觉问题在生成式模型中短期内无法彻底消除，部署方必须设计’可逆性’与’复核节点’，否则不应在高风险流程中直接采用。”

全景透视

这一事件表面是单一地方警局的技术使用失误，但其深层含义指向生成式人工智能在高风险决策链条中部署的"信任对齐"难题。生成式模型在涉及具体身份、具体时间、具体地点的指认任务中容易出现"高度自信的错误输出"，而这类错误的代价并非模型承担，而是落到具体的当事人与执法机构身上。这一责任分配的错位，成为当前AI治理讨论中最棘手也最具公共性的议题之一。

从中长期观察，本次事件或将推动两个层面的现实调整：一是美国地方执法机构在采购生成式AI工具时须明确"模型仅作辅助、不得作为唯一依据"的工作守则，并要求供应商提供溯源与置信度披露接口；二是州一级立法机构将更加积极地把"AI介入高风险行政程序强制披露"写入法律，与加州、纽约州近年推动的算法透明化框架形成联动。

更深一层的影响则在于公众对AI系统的信任度。市场研究显示，公众对生成式AI在创意、教育、信息整理等领域持相对开放态度，但一旦涉及医疗诊断、刑事侦查、信用评分等具备不可逆后果的领域，信任度将出现断崖式下滑。本次费城事件再次提醒行业：技术能力可以快速推进，但社会信任的建设是一个缓慢、需要反复证明的过程。AI提供商若想进入执法、金融等关键基础设施市场，必须在透明度、问责机制与抗辩能力上提前做足功课。

编辑：GoodInfo全球资讯组