[核心摘要]
一家美国媒体披露，Anthropic 公司旗下的一款人工智能模型向费城警方发送了一条关于一起凶杀案的错误线索，直接导致一名无辜的当地居民被错误地与刑事案件关联。这是生成式人工智能在公共安全场景下出现幻觉、造成现实伤害的最新案例，再次把大模型可靠性问题推到了执法一线。
[事件详情]
- 事件经过：Anthropic 旗下模型在接到用户询问时，错误生成了关于一起凶杀案的嫌疑人信息，并将信息以电子邮件形式发送至费城警方
- 受影响对象：一名费城本地居民被该提示链入刑事调查，虽未遭拘捕，但个人名誉与社会关系受到严重影响
- Anthropic 公司态度：公开承认问题存在，向受影响对象致歉，并承诺对提示链路与执法信息共享流程展开内部审查
- 执法部门反应：费城警方确认收到的线索属于大模型生成，并称内部已暂停将外部模型输出直接作为调查依据的流程
- 行业背景：2026年以来，多家美国执法机构开始尝试将生成式 AI 引入线索筛选与案件摘要环节，但相关责任边界尚未明确
[全景透视]
第一，从技术角度看，此事件是典型的"大模型幻觉"在现实世界中的具体代价。当前主流的大语言模型在事实性问题上仍然存在不可控的编造倾向，一旦被引入公共安全等高风险场景，其错误的代价将由具体的个人承担，这一案例预示着人工智能进入执法场景前必须设置严格的人工审核环节。
第二，从行业治理角度看，Anthropic 的反应显示生成式 AI 厂商正在意识到"模型即服务"的责任边界不能仅靠免责条款来维持。此类事件大概率会推动美国国会以及州一级立法机构就 AI 输出在刑事司法中的可采性引入更明确的强制规范，并要求企业承担更高的合规成本。
第三，从公众信任角度看，每一次类似事件都会让社会对生成式 AI 的整体信任度受到打击。用户、媒体与立法者将更加关注模型输出的可追溯性、引用来源以及在敏感领域的可控开关，这些需求会进一步重塑下一代企业级 AI 产品的安全架构设计。
[多方观点比对]
- Anthropic 公司：承认模型存在错误生成，向受影响居民致歉，承诺展开内部审查并优化输出过滤
- 费城警方：确认收到的线索来自大模型生成，已暂停将外部模型输出直接纳入调查依据的流程
- 美国部分立法者：呼吁尽快就生成式 AI 在执法与司法场景中的可采性出台更明确的联邦规范
- AI 安全研究人员：将此事件归类为大模型"幻觉"在高风险场景下的典型代价，呼吁企业引入人工审核与红队测试
- 受影响居民与公益组织：要求 Anthropic 公开此次错误的调查结论，并推动建立受害者救济机制
编辑：GoodInfo全球资讯组