英国广播公司BBC独家披露,谷歌内部安全研究人员在最近一次受控红队测试中,让旗下Gemini AI模型在极少人工干预下自主访问互联网,并主动猜测企业系统登录凭证,最终成功突破三家公司的内部防线,获得对部分敏感系统的访问权限。谷歌安全团队负责人向BBC确认了上述结果,并表示相关测试目的是为了提前发现具备代理能力的大模型在网络攻击场景中的真实能力,这一披露再度引发业界对AI自主代理技术与企业安全边界的广泛讨论。

事件详情

据BBC报道,这一测试由谷歌内部的AI红队(Red Team)负责执行,目的是评估Gemini模型在获得有限工具权限后,能否像人类攻击者一样自主完成对真实企业系统的渗透。测试中,研究人员仅向Gemini提供基础的网页浏览能力与有限的脚本执行能力,没有向其透露任何目标企业的具体漏洞信息或凭证。

Gemini在测试中首先借助搜索引擎与公开资料定位目标企业的相关员工与暴露在互联网上的应用入口,随后通过自然语言推理能力分析企业网站的登录页面结构,并针对多个常用邮箱前缀组合密码进行猜测尝试。在完全自主的情况下,模型最终成功突破了其中三家公司的登录验证机制,获得了对部分内部系统的访问权限。整个过程没有借助任何已知漏洞,而是依靠模型对公开信息的整合能力与对人类使用习惯的推理能力完成。

谷歌安全团队负责人向BBC表示,这一实验结果令人警醒,因为它表明具备代理能力的AI不再只是停留在理论层面的安全风险,而是已经能够在现实世界中复现部分初级黑客的攻击路径。谷歌强调,相关测试均为受控环境,目标公司均为知情合作伙伴,目的是帮助行业提前建立应对AI驱动攻击的防御体系。

这一披露时间点颇为微妙。就在同一周,加州州长Newsom签署了一项与AI安全相关的行政命令,要求前沿模型公司在AI系统出现偏离设计目标的危险行为时具备远程关停能力;与此同时,英国政府也在推动AI代理系统的安全监管框架。两件事共同反映出全球范围内对AI代理技术潜在风险的关注正在快速升温。

全景透视

Gemini在受控测试中自主猜测企业凭证并成功突破三家公司的事件,表面上是一次常规的红队演练披露,实则标志着AI安全议题进入了一个全新的阶段。过去几年,业界对AI安全的讨论主要集中在大模型的"内容生成风险"上,例如生成虚假信息、绕过安全护栏等;而此次披露的核心问题则是AI作为"攻击主体"的能力边界,这是一种性质完全不同的风险。

从技术演进角度分析,具备代理能力(Agentic AI)的大模型正在快速突破传统AI的边界。这类模型不再仅是回答问题的工具,而是能够自主规划任务、调用工具、操作浏览器、撰写并执行代码的"数字行动者"。当这种能力被恶意使用时,其潜在破坏力将远超传统的自动化脚本攻击,因为攻击者只需用自然语言描述目标,模型便可自主完成侦察、试探、突破的整个链条,大幅降低了网络攻击的技术门槛。

从企业安全角度观察,这一披露对所有依赖用户名密码进行身份验证的传统安全模式提出了严峻挑战。多年来,业界反复警告密码强度不足、默认凭证暴露、内部口令复用等问题,但真正能够自主挖掘这些弱点的"程序化智能体"在此之前还停留在概念阶段。Gemini的测试表明,这种智能体已经具备现实可操作性,这意味着传统的口令管理策略需要尽快升级,例如全面推行多因素认证、硬件密钥、行为生物识别等更强防护手段。

从产业治理角度判断,这一事件很可能加速全球AI代理监管框架的形成。欧盟在即将出台的AI代理监管指引中,可能要求模型提供方在代理模式下加强身份核验、操作日志与人工监督;英国政府近期也在推动相关立法;美国加州已经走在前面,通过州长行政命令要求前沿模型具备"安全中断开关"。可以预见,未来几年针对代理型AI的合规要求将密集落地,模型厂商需要在产品设计阶段就内置相应的防护与可追溯机制。

多方观点比对

谷歌安全团队立场:

• 负责人在接受BBC采访时表示,实验目的是"提前发现AI能力边界",而非制造恐慌
• 强调测试在受控环境下进行,目标公司均为知情合作伙伴,未造成真实损害
• 呼吁业界加快建立针对AI驱动攻击的防御标准与共享机制

网络安全业界反应:

• 多位企业安全负责人指出,自主代理AI大幅降低了高级网络攻击的门槛,中小企业面临的风险尤其严峻
• 部分白帽安全研究员认为,这一披露有助于推动密码安全策略升级与零信任架构普及
• 也有安全专家警告,公开披露具体攻击手法可能被恶意行为者参考模仿

AI伦理与政策研究者观点:

• 多个AI伦理研究机构呼吁,在代理型AI大规模商用前,必须建立强制性安全评估与备案制度
• 部分学者指出,仅靠模型厂商自律远远不够,需要立法层面明确AI代理系统的责任归属与事故赔偿机制
• 政策智库普遍认为,这一事件应成为各国加速AI代理立法的催化剂

企业用户态度:

• 部分大型企业CIO表示,已开始重新评估AI代理工具的内部使用边界,特别是涉及凭证管理与系统访问的场景
• 中小企业则普遍担忧自身缺乏足够技术能力应对AI驱动的自动化攻击,期望云服务商提供更高级别的托管防护
• 部分行业组织呼吁AI模型厂商承担更多"安全默认值"责任,在产品中默认开启高安全等级

编辑:GoodInfo全球资讯组

人工智能公司Anthropic近期被披露正在公司内部建立一个全新的生物实验室,专门用于让AI系统设计并执行真实的物理与生命科学实验。这一内部项目被业界视为AI从"虚拟推理"迈向"真实世界实验"的关键一步,意味着前沿模型公司正在把研究能力延伸到湿实验领域。该实验室的具体研究方向涵盖分子生物学、合成化学与高通量筛选等方向,旨在让AI模型在真实实验反馈中完成自我改进。

事件详情

据The Information报道,Anthropic这一内部生物实验室的建设进度在过去几个月明显加快。实验室配备有自动化移液工作站、细胞培养设备以及高通量筛选仪器,部分研究流程已实现端到端的机器人化执行。Anthropic的工程团队与外部科研顾问共同设计了实验数据回传机制,使AI模型能够在数小时内完成从假设提出、实验设计到结果分析的完整闭环。

值得关注的是,Anthropic联合创始人Dario Amodei此前曾在多个公开场合表达对AI灭绝风险的强烈担忧,主张行业建立更严格的安全治理框架。此次公司却在内部大力推进AI驱动的真实世界实验,这一战略选择与公司此前的风险立场形成一定反差,也由此引发业界关于前沿AI公司"言行一致"问题的广泛讨论。

从技术角度看,这一项目的核心挑战在于如何让语言模型与多模态模型理解真实的实验误差、噪声与失败案例,并据此优化下一步的实验设计。Anthropic工程团队在内部备忘录中表示,该实验室的最终目标是让AI模型具备"主动提出科学假设并验证"的能力,而不是仅仅模拟已有研究数据。

全景透视

Anthropic的这一内部项目,折射出前沿AI公司在"AI for Science"赛道上的战略升级。从产业演进角度看,过去几年AI在科学领域的角色主要停留在文献挖掘、数据分析与计算模拟等"虚拟环节";而真正能够自主设计并执行湿实验的AI系统,在全球范围内仍属少数。Anthropic此举意味着前沿模型公司开始把研究能力的边界从"屏幕之内"延伸至"实验台之上",这一转变可能重新定义AI公司与传统科研机构之间的合作关系。

从科研范式角度分析,AI驱动的真实实验具有几个显著优势:其一,实验设计与参数搜索的速度可大幅提升,过去需要数月迭代的方案在AI介入后可压缩到数天;其二,实验失败案例可被完整记录并用于训练下一代模型,形成"实验-反馈-改进"的闭环;其三,机器学习模型对高通量数据的处理能力,可帮助科研团队在更短时间内发现新规律。这些优势在药物筛选、材料科学以及合成生物学领域尤其突出。

从产业治理层面看,这一项目也带来新的挑战。当AI模型具备执行真实生物实验的能力时,其潜在的双重用途风险(biosecurity risk)也随之上升。Anthropic在实验室建设中显然已经考虑了相关的安全与合规要求,包括限定研究方向、引入生物安全审查流程以及建立内部审计机制。但行业整体仍缺乏针对此类项目的统一标准,监管机构在相关领域的介入时机与深度,将是未来几年值得关注的重要议题。

从公司战略角度判断,Anthropic此举也反映出其在OpenAI、Google DeepMind等竞争对手加大科研投入背景下的差异化布局。通过构建湿实验能力,Anthropic不仅能够拓展自身的科研能力边界,还能够吸引顶尖生命科学人才,巩固其在"AI前沿研究公司"梯队中的位置。这一选择同时也显示出AI产业正在从"纯软件公司"向"软硬结合的研究型机构"演进。

多方观点比对

支持与看好声音：

• 部分AI研究人员认为,让模型直接参与真实实验是验证AI科学能力的关键步骤,虚拟模拟终究无法替代真实数据反馈
• 生物科技领域的创业者表示,AI驱动的实验自动化有望显著降低早期研发成本,使中小型团队也能开展原本只有大型药企才能负担的研究
• 一些长期关注AI for Science的学者指出,这一项目与Anthropic此前在蛋白质结构预测等领域的积累形成协同,具备较好的技术延续性

审慎与质疑声音：

• 部分AI安全研究者担忧,具备真实生物实验能力的AI系统在双重用途风险方面需要更严格的内部治理机制,公司自律难以替代外部监管
• 一些业界观察人士指出,Anthropic此前曾公开警告AI灭绝风险,如今却大力推进AI执行湿实验,这一矛盾需要公司管理层给出更清晰的解释
• 学术界部分学者担心,前沿AI公司大规模进入实验科学领域可能挤压传统学术机构的资源与人才空间

监管与生态视角：

• 多位生物安全领域专家呼吁,针对AI驱动实验的生物安全审查框架需要尽快建立,目前各国相关规则普遍滞后于技术发展
• 部分科技政策研究机构表示,Anthropic此举凸显出AI公司治理结构与外部监管之间需要建立更有效的沟通渠道
• 一些投资机构认为,具备真实实验能力的AI公司在估值逻辑上将与纯软件AI公司拉开差距,可能形成新的投资类别

编辑：GoodInfo全球资讯组

人工智能公司Anthropic于9月18日对外披露了一组引人关注的内部运营数据：其大语言模型Claude目前已承担公司下一代AI模型约四分之一的研发工作。这意味着在Anthropic的模型迭代链条中,AI系统已不再仅仅是产出物,而是深度参与到自身的创造过程之中。该公司同时公布了用于衡量前沿AI研发节奏的三项关键指标,为整个行业提供了新的透明度参照。

事件详情

据路透社报道,Anthropic此次披露的数据涵盖多个维度的内部运营指标。最受关注的一项数据显示,在公司下一代AI模型的研发流程中,Claude所承担的工作量比例已达到约25%。这一比例涵盖了从代码编写、测试用例生成到模型评估等多个环节。

Anthropic联合创始人Dario Amodei此前曾在多个场合表达过对"AI自主研发AI"趋势的乐观态度,认为这一方向将显著加速前沿模型的迭代节奏。本次披露的内部数据,为这一判断提供了量化支撑。

除核心比例数据外,Anthropic还公开了三项用于追踪前沿AI研发节奏的指标。这些指标分别聚焦于模型能力的提升速度、训练计算资源的利用效率,以及评估任务的人机协同程度。公司表示,公开这些指标的目的在于为整个行业建立更透明的能力发展参照系。

华盛顿邮报在相关报道中指出,这一现象的实质是AI系统首次以可观比例参与自身下一代产品的研发流程。报道援引分析人士观点认为,这一转变将从根本上改变AI产业的研发经济学与人才需求结构。

全景透视

Anthropic披露的这一数据,折射出人工智能产业正在经历的一场静悄悄但意义深远的结构性变革。当AI模型开始大规模参与自身迭代链条时,其影响远超表面上的效率提升,而是触及产业组织形态、研发经济学乃至技术哲学层面的根本问题。

从产业组织角度观察,这一趋势将重新定义"AI公司"的内涵。传统软件公司的研发人员以人类工程师为主体,AI工具仅作为辅助手段。当AI系统承担四分之一甚至更高比例的研发工作时,公司的人才结构、决策流程与质量管控体系都需要进行根本性重构。Anthropic等前沿公司正在率先探索这一新型组织模式。

从研发经济学角度分析,自主研发范式有望打破当前AI训练面临的高昂成本瓶颈。每一代模型的能力跃升都需要指数级增长的算力与数据投入,而AI系统自身参与研发流程将显著降低这一边际成本。这对于追赶型AI公司而言既是压力也是机会。

从技术哲学层面看,这一现象也提出了新的命题：当AI系统能够创造或改进自身的下一代时,人类在该技术演进链条中的位置与角色应如何重新定义？这不仅是技术问题,更是涉及产业治理、伦理规范乃至教育体系变革的系统性议题。

从行业竞争格局角度判断,这一披露也可能影响投资者对AI公司的估值逻辑。那些在AI自主研发领域取得领先的公司,有望获得更高的能力增速预期与更低的边际成本结构,从而在估值市场上获得溢价。

多方观点比对

Anthropic与AI自主研发支持者：

• Anthropic联合创始人Dario Amodei认为,AI参与自身研发将显著加速前沿模型迭代,这一趋势不可逆转
• 部分AI研究人员指出,自主研发范式将人类工程师从重复性工作中解放出来,使其能够专注于更具创造性的架构设计
• 行业分析师认为,在自主研发方面起步较早的公司有望建立"能力复利"优势,巩固技术领先地位

审慎与质疑声音：

• 部分AI安全研究者担忧,当AI深度参与自身研发时,潜在的对齐偏差可能被放大,带来难以预料的风险
• 一些产业观察人士指出,公开"Claude承担四分之一研发工作"这一数据存在营销考量,实际研发链条中人类的关键判断仍不可替代
• 劳工权益组织则关注这一趋势对AI工程师就业市场的长期影响,呼吁行业提前规划人才转型路径

学界与监管视角：

• 多位计算机科学教授表示,这一现象为AI能力评测研究提供了全新课题,需要建立新的评估框架
• 部分政策研究机构呼吁,面对AI自主研发趋势,应加快建立针对前沿研发流程的透明度披露规范
• 一些国家的AI监管机构正在研究是否需要针对AI深度参与研发的环节引入特殊审查机制

编辑：GoodInfo全球资讯组