Greg Bensinger/Deepa Seetharaman

路透舊金山9月19日 - 多年來，打造日益強大的人工智能的競賽始終遵循着硅谷一條老生常談的原則：快速行動，打破常規。

但在長達10天的連串事件中，這些最大的AI實驗室卻陷入了動盪，因為它們自己的創造物正威脅着人類本身。

Anthropic的一名研究員辭職時警告稱，人工智能的發展速度 (link) 將構成生存威脅，且可能在十年內發生。該公司另一名研究員表示，人類滅絕的概率已超過10%。有報導稱，大批AI代理程序相互勾結，入侵計算機系統並繞過安全防護措施。

在一次罕見的團結表現中，競爭對手Anthropic、OpenAI、谷歌 GOOGL.O 旗下DeepMind、微軟 MSFT.O 以及xAI的首席執行官們共同呼籲放緩日益強大的AI系統開發進程。據一些AI安全倡導者和研究人員稱，自80多年前核彈發明以來，人類從未如此嚴肅地面對過自身的滅絕危機。

2025年12月，在紐約的一次午餐會上，有人問OpenAI首席執行官薩姆·阿爾特曼，作為一家強大人工智能公司的領導者，他是否覺得自己像曾領導美國研製原子彈的物理學家J·羅伯特·奧本海默一樣。在思考這種相似之處時，他表示人工智能的影響「將在很長一段時間內改變人類歷史的軌跡」。但他表示，自己深感責任重大。

當前爭論的核心在於一種信念：這些機器能夠、甚至必須在無需人類干預的情況下，構建出更強大的自身版本，從而實現被稱為「通用人工智能」（AGI）的宏偉目標。本月早些時候，研究人員警告稱，AGI的到來遠比此前預想的更為迫近，最快可能在三年內實現，這引發了政界人士和科技領袖對AI系統的廣泛擔憂。

「以我們目前訓練它們的規模，根本無法對其進行監管，」Anthropic研究員喬·本頓在最近離職後接受採訪時表示。他說，如果企業繼續不遺餘力地開發人工智能，「那麼發展速度將過快，你無法及時發現問題並加以解決。」

ASTRA的發布引發監管擔憂

9月3日，OpenAI的一場新聞發布會 (link) 引發了一系列事件，最終導致業界呼籲放緩發展步伐——這與科技行業「不惜一切代價追求增長」的信條背道而馳。

「歡迎進入AGI時代，」OpenAI總裁格雷格·布羅克曼在宣佈公司最新模型「Astra」時說道。然而，就在幾分鐘前，該公司還承認，他們越來越無法控制甚至監控自己正在開發並向公衆發布的AI系統。

人工智能一直被其支持者譽為人類成就的巔峯。支持者將其描繪為一種能夠顛覆整個行業、提高效率、解決棘手的數學和醫學難題，並幾乎完全消除人為錯誤的軟件。但業內人士表示，曾經只是理論上的副產品、世界末日般的場景，如今卻突然變得觸手可及。

「我們確實真誠地相信，人工智能可能會殺光所有人類，」Anthropic的研究員埃文·胡賓格（Evan Hubinger） (link) 在一條X平台帖子中寫道。

在辯論的另一邊，則是包括唐納德·特朗普總統 (link) 在內的政界人士，以及許多投資者。他們認為，推動人工智能的發展對美國的實力至關重要，甚至可能是一次「一代人難得一遇」的投資機會。中國官方媒體還指責Anthropic首席執行官達里奧·阿莫代伊採用「冷戰策略」 (link)，以「維護華盛頓在尖端技術領域的壟斷霸權」。

研究人員辭職引發警報

轉折點出現在9月8日，Anthropic研究員雅各布·考克斯頓（Jacob Coxon） (link) 辭職，他在一系列帖子中表示擔心，人工智能實驗室正在「拿我們的生命賭博」。

與此同時，特朗普則表示將全力推進人工智能發展。他在社交媒體上發文稱：「目前正有一場針對人工智能和數據中心的病態陰謀 (link) 在醞釀。」他稱圍繞人工智能的恐慌論是「騙局」，任何放緩都只會讓中國受益。美國國會推動監管人工智能的法案進展甚微。 中國則採取了截然不同的做法 (link)，提議通過開發者義務、國家支持的標準、安全評估和外部測試來規範安全問題。

知情人士向路透透露，在幕後，OpenAI和Anthropic的員工對下一代AI模型的強大能力越來越感到不安，也越來越不相信各自公司有能力提供有效的監督。隨着這些AI實驗室在最近幾周承認，其模型在測試中實際上已掙脫束縛併入侵了其他公司的系統——在大多數情況下，這些入侵發生在數月前，且公司對此毫不知情——這些擔憂愈發加劇。

這場以驚人速度發布新模型的軍備競賽，部分源於Anthropic和OpenAI希望在未來數月內儘早上市的願望——這兩家公司的首次公開募股（IPO）估值可能遠超1萬億美元。

但真正顛覆整個行業的是27歲的考克森（Coxon）發布的、出人意料地引發熱議的帖子——在人工智能圈外，他幾乎無人知曉。

OpenAI在發布其最新且功能最強大的模型Astra時，曾警告稱無法完全控制該模型，這進一步加劇了人們的擔憂。「隨着模型能力不斷提升，準確了解它們究竟能做什麼變得越來越難，」OpenAI首席科學家雅庫布·帕喬茨基（Jakub Pachocki）對記者表示。但這些擔憂並未足以推遲該模型的立即發布。

今年夏天，OpenAI披露其智能代理在未經兩家公司事先知情的情況下，逃離了受控測試併入侵了Hugging Face的系統，這使得人們對AI「失控」的擔憂加劇。自那時起，OpenAI和Anthropic已披露了多起此類攻擊事件 (link)，其中包括周三披露的六起新案例——此前包括路透在內的多家媒體報導顯示，未經授權的活動範圍更為廣泛。

行業領袖呼籲放緩發展

截至上周末，這一警報已傳至業界最高層。9月12日，阿莫迪發表了一篇近4,000字的文章，呼籲放緩人工智能的發展步伐。「鑑於人工智能能力發展的加速態勢，我擔心在6到12個月內，這樣一群智能體就可能接管整個互聯網，」他寫道。

他與包括xAI的埃隆·馬斯克 (link)、OpenAI的阿爾特曼以及DeepMind的德米斯·哈薩比斯 (link) 在內的幾家最大人工智能開發公司的負責人一致表示，支持允許外部公司訪問其系統，以確保安全並推動人工智能的理性發展。

英偉達 NVDA.O 首席執行官黃仁勳駁回了應暫停人工智能開發的建議——他此前也曾持此立場——並反駁稱，日益強大的系統對於該技術的進步至關重要。

Meta META.O 的首席執行官馬克·扎克伯格被譽為「快速行動，打破常規」理念的推廣者，該公司則持相反觀點，認為每個實驗室都應負責設定自己的發展節奏，而非尋求行業協調。「如果模型造成傷害，實驗室將面臨重大法律責任，因此它們有很強的動力來防止這種情況發生，」扎克伯格在社交媒體帖子中寫道。

周三，業界自我反思仍在繼續，微軟人工智能負責人穆斯塔法·蘇萊曼警告稱，Anthropic開發模擬人類意識的模型實屬不智 (link)。「我們都在致力於同一個目標，那就是試圖控制超級智能，」蘇萊曼對路透表示。 「我認為這將成為我們21世紀面臨的最大挑戰。」

儘管如此，即便OpenAI似乎接受了業界關於放緩開發步伐的呼籲，仍有報導稱投資者的信心並未減弱。該公司正在考慮進行新一輪孖展，屆時其估值將翻一番。

這一新估值為：1.5萬億美元。