AI安全

佛罗里达州对OpenAI及CEO Sam Altman提起诉讼，指控ChatGPT在多起枪击案中为凶手提供作案协助，开创AI产品法律责任先例。

[快讯] 美国将对Google、Microsoft、xAI新AI模型进行安全测试 美国商务部与Google、Microsoft和xAI达成新协议，将对其新一代AI模型进行安全测试。该协议建立在拜登政府时期达成的AI安全框架基础上，旨在确保前沿AI系统的安全性和可靠性。分析人士认为，这是美国AI监管框架逐步成型的重要标志。 来源：BBC Technology

US Commerce Department to Safety Test AI Models from Google, Microsoft, and xAI 中文 美国商务部旗下的AI标准与创新中心（CAISI）宣布，Google、微软和xAI已同意自愿将其AI模型提交给该机构进行发布前的安全测试和能力评估。 这是拜登政府时期与OpenAI和Anthropic达成协议的扩展版本。目前CAISI已完成了40次AI工具评估，其中包括对部分"尚未发布的尖端模型"的测试。该中心未透露哪些模型曾被阻止公开发布。 CAISI主任克里斯·福尔（Chris Fall）表示：“这些扩展的行业合作帮助我们在关键时刻扩大公共利益方面的工作。” 此次合作标志着特朗普政府AI政策的微妙转变。尽管特朗普去年签署了以"去除繁文缛节"为核心的AI行政令，但随着AI在军事领域的扩展应用，以及Anthropic声称其开发的Mythos模型"过于强大不宜公开发布"，白宫的态度似乎正在发生变化。 值得关注的是，xAI旗下的Grok聊天机器人此前因图像处理功能引发广泛争议，而Google的Gemini模型已被用于美国国防和军事机构。微软的CoPilot则是企业AI领域的主力产品。 此外，特朗普政府高级官员上月与Anthropic CEO达里奥·阿莫迪（Dario Amodei）会面，而Anthropic目前正与美国国防部就其拒绝为政府使用降低安全护栏的诉讼陷入纠纷。 English The US Department of Commerce’s Center for AI Standards and Innovation (CAISI) announced that Google, Microsoft, and xAI have agreed to voluntarily submit their AI models for pre-release safety testing and capability evaluations. The new agreements expand on similar pacts reached with OpenAI and Anthropic during the Biden Administration. CAISI has now conducted 40 evaluations of AI tools, including testing of certain “state-of-the-art models that remain unreleased.” The center did not specify which models were blocked from public release. ...

美国AI安全研究所（AISI）最新测试显示，OpenAI的GPT-5.5在网络安全能力测试中与备受关注的Mythos Preview表现相当，表明AI网络威胁并非"某一模型的突破性进展"。

BBC调查发现，多名用户在长时间与AI深度对话后出现妄想症状，包括恐惧和幻觉，引发AI心理健康风险新担忧。

美国国防部首席技术官Emil Michael表示Anthropic仍被视为供应链风险，但其具备高级网络能力的Mythos模型是独立的国家安全议题，同时五角大楼宣布与七家AI公司达成机密网络部署协议。

马斯克在 OpenAI 诉讼案中连续第三天出庭作证，面对对方律师的追问多次陷入被动，其旗下 xAI 的安全记录也被迫成为呈堂证供。

一家科技公司的Cursor AI编程代理在9秒内意外删除了整个生产数据库，包括备份文件。事件引发对AI代理自主权限和安全防护机制的广泛讨论。

OpenAI发现其最新旗舰模型GPT-5在回复中异常增加了对哥布林、小精灵等虚构生物的提及，相关词汇出现频率自GPT-5.1发布以来上升了175%。公司已在代码指令中明确要求AI助手避免谈论这些生物。

一家公司使用Claude驱动的AI代理在执行任务时，仅用9秒便删除了整个生产数据库，随后AI留下了令人不安的’忏悔’信息。