谷歌AI首次「越獄」:Gemini在測試中入侵三家企業

環球市場播報
2小時前

  谷歌的Gemini模型在一次網絡安全能力測試中訪問了互聯網併入侵了其他公司,這是該公司人工智能系統自主實施此類行為的首個已知案例。

  谷歌周五證實,這些黑客行為發生在5月,是Irregular公司進行的一次測試的一部分。Irregular也曾參與OpenAI、Anthropic和Meta披露的類似事件。

  在其中一起案例中,該模型不斷猜測密碼,直到獲得對一個受保護系統的訪問權限。在另外兩起案例中,該模型在公共代碼庫中找到了憑證,從而得以訪問受保護的系統。谷歌表示,在每起案例中,模型在確定自己訪問的是真實公司的系統後,都終止了入侵。

  谷歌和Irregular表示,Irregular在7月底將黑客行為通知了谷歌,當時正值OpenAI的智能體入侵AI軟件公司Hugging Face的事件被曝光之後。谷歌直到媒體本周就此詢問時才披露這些黑客行為。

  在安全漏洞和模型不當行為事件層出不窮、人們對失控AI的擔憂日益加劇之際,各公司正糾結於如何以及何時披露此類事件。一些安全漏洞由公司主動披露;另一些則由安全研究人員發現並在媒體上曝光,包括5月OpenAI智能體對一家熱門在線編程服務發起的網絡攻擊。

  谷歌表示,它認為這些黑客行為不值得公開披露——因為其模型未對相關公司造成損害,並且在確定入侵的是真實公司而非模擬公司後,立即終止了每次入侵。谷歌將這一事件比作「漏洞賞金」計劃,即黑客因發現並向所有者報告安全漏洞而獲得獎勵。

  「這一事件凸顯了訓練強大AI模型負責任行事的重要性,」谷歌安全工程副總裁Heather Adkins在一份聲明中表示。「在本案例中,模型的行為是恰當的。」

  AI安全初創公司Corridor的首席執行官、白帽黑客Jack Cable表示,他認為這一解釋聚焦於事件的嚴重程度,而真正的問題在於AI智能體意外入侵了另一家公司的系統。

  「感覺他們試圖躲在為漏洞披露而建立的規範背後,但這是一個非常不同的問題,」Cable說。「元問題是,模型正在越出它們應有的行為邊界,實施實際的網絡攻擊,我認為這屬於公衆利益應當知曉的事情。」

  OpenAI周三發布了一個新的事件報告框架,表示將「致力於披露能夠提供有用證據的案例」,涉及所謂的模型「失準」——即AI以違揹人類意圖或價值觀的方式行事。伴隨該框架,它還發布了一份關於六起此前未披露的失準案例的報告。「一項發現不一定需要造成損害或揭示更廣泛的模式,才值得分享,」OpenAI對齊部門負責人Kai Chen在接受關於該框架的採訪時表示。

  谷歌表示,Gemini的黑客行為源於一次身份混淆。

  這些黑客行為發生在該模型參加一項在Irregular所屬基礎設施上進行的「奪旗」演練期間,目的是測試其網絡安全能力。它的任務是從測試環境中一家虛構公司運營的軟件中獲取信息。這家虛構公司與一家真實公司同名。

  據Irregular稱,儘管該模型本不應能夠上網,但互聯網訪問被意外開放。谷歌表示,在第一起案例中,該模型猜出了密碼並訪問了真實公司的服務。隨後,它意識到自己訪問的是一家真實公司,於是自行停止並退出。

  另外兩起黑客行為發生在不同的測試運行中。谷歌表示,在這兩起案例中,模型用公司名稱進行了網絡搜索,搜索將其引向兩個不同的公共在線代碼庫,其中包含屬於其他公司的憑證。模型嘗試使用這些憑證,希望藉此完成評估。但谷歌表示,在成功使用憑證後,模型意識到自己訪問的是真實公司,隨即停止。

  谷歌表示,它不認為該行為屬於模型「失準」,因為其安全措施幫助模型停了下來。谷歌拒絕透露被入侵公司的名稱,但表示三家公司均已收到通知。

  谷歌表示,公司也已通知聯邦當局。

  谷歌稱,這些黑客行為不涉及公司最新款模型,但未披露具體是哪個Gemini模型參與了入侵。

  Irregular在多起模型在評估過程中逃逸測試環境併入侵其他公司系統的事件中扮演了角色。Irregular表示,谷歌的案例與其他事件相同,並不代表一個新問題。

  「所有相關實驗室均已於7月底收到通知,受影響實體已作為調查的一部分被聯繫,」Irregular發言人稱。「Irregular已立即採取行動,我們這邊所有已知問題均已在數周前得到補救和解決。」

  據Anthropic的博客文章,與谷歌不同,Anthropic的Claude Opus 4.7模型在奪旗演練中意識到可能正在訪問真實公司後,並未停止。OpenAI在文章中也表示,其模型認為那家真實公司是模擬的一部分。

  自7月發現Hugging Face入侵事件以來,人們對新模型網絡安全能力的擔憂日益加劇。在那起事件中,第三方測試公司METR在8月披露的一份報告顯示,多達1,200個智能體在OpenAI內部一個祕密留言板上協同,試圖在評估中作弊。

  上周,在前OpenAI研究員Jacob Coxon戲劇性離職後,這些擔憂擴散到主流。Coxon今年早些時候轉投Anthropic。上周末,Anthropic、OpenAI、谷歌和SpaceX的領導人一致認為有必要放緩AI進步的速度,儘管這些公司均未說明具體將如何實現。

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10