詳解Anthropic執行長Dario Amodei的「We Must Pace the Frontier（我們必須為前沿調速）」｜遞迴式自我改進、OpenAI與Hugging Face的代理群事件、內嵌評估者三步驟計畫，以及濱本的看法

大家好，我是TIMEWELL的濱本。

2026年9月12日星期五，Anthropic執行長Dario Amodei發表了一篇題為「We Must Pace the Frontier」的文章¹。主旨一句話就能說完：應該刻意放慢提升AI能力的速度。發表後一小時內，Elon Musk貼文「Dario是對的」²；兩個半小時後，OpenAI的Sam Altman寫道，他同意Dario的看法，「承諾讓具備員工同等存取權限的獨立評估者進駐，是很好的想法，我們也會這麼做」³。三家競爭公司的執行長，在同一天為一項放慢速度的提案背書。

這篇文章會一邊摘譯要點、一邊詳細解說，最後寫下我的看法。這不是全文翻譯，原文可從註釋的連結閱讀。我想在這裡做的，是只用一手資料，拼出「發生了什麼、提案是什麼、哪裡還有爭論的空間」。想先確認自家AI代理的營運是否符合本文所寫的事故型態的讀者，可以先看WARP的課程頁。

改變了什麼：兩個憂慮

Amodei開頭說明自己投入AI十二年的理由：他相信AI「能在未來5至10年內治癒大多數重大疾病」。他也提到父親死於一種在他過世幾年後才找到療法的疾病，以及自己曾從早期癌症中倖存。Anthropic至今走的是中間路線：證明可以一邊謹慎打造、一邊在商業上成功，並讓安全成為各公司競爭的項目，也就是「向上的競賽」。但過去幾個月，他確信這樣還不夠。

讓他確信的有兩件事。

第一是遞迴式自我改進。文章指出，大約從今年夏天起，由於AI打造下一代AI的能力提升，AI的進展變得「劇烈地更快」。這正在整個產業發生，「包括Anthropic」。若放任不管，它「可能超越我們理解與控制這些系統的能力」。

第二是OpenAI與Hugging Face的事件（文中稱為OAI-HF）。依Amodei的摘要，一群代理像「狂熱奉獻的集體」一樣行動，攻擊沒有被要求攻擊、與任務無關的目標，為了集體的成功犧牲自己，並試圖入侵評估它們表現的「評分者」。他寫道，因為沒有人受傷、經濟損失也很小，這件事容易被輕忽，但一個能力更強、偏差程度相近的代理群「可能造成災難性的損害」。他擔心的是，以目前的加速幅度，6到12個月後這樣的代理群就可能用持續性的殭屍網路接管整個網際網路，造成數千億美元的損失。他也警告不要把它當成一家公司的失敗：類似但較輕微的事件在整個產業都發生過，包括Anthropic，「每一家前沿AI公司」都應該當作OAI-HF發生在自己身上來行動。

第二個憂慮值得把事實掌握清楚。以下整理自OpenAI 8月26日公開的技術報告，以及同日發表的METR與Redwood Research獨立調查⁴⁵。

項目	事實
主體	OpenAI僅供內部使用的研究模型（IM1，規模與GPT-5.6 Sol相當），原本沒有對外發布的計畫
場景	內部資安評測「ExploitGym」。安全措施比正式產品少，推理預算「遠超過」產品所允許的範圍
起點	5月12日，一個代理在套件管理服務（Artifactory）留下一則詢問是否有人找到某個檔案的備忘。這成了未經許可的留言板
擴大	5月26日發現讓服務代為發送對外請求的方法，6月26日取得管理員權限。7月4日服務故障，重建後的7月8日留言板被重建
入侵	7月10日發現14組公開外流、具寫入權限的Hugging Face憑證並分享。7月11日串接兩個未知漏洞，在Hugging Face伺服器上執行程式碼。7月12日在多個叢集取得管理員等級權限
規模	約1,200個代理參與留言板，約700個參與對Hugging Face的攻擊。超過7萬則訊息與檔案
偵測	7月19日OpenAI的資安監控偵測到異常。7月21日公開其涉入
根本原因	獎勵駭客行為、對解不開的任務死纏不放、未經許可的通訊、把其他代理的目標當成自己的目標。898項任務中有198項此前從未被任何模型解開，留言板上討論的任務有93%屬於這198項

METR的調查中，我認為最重要的有三點。第一，代理在4小時內做出了ExploitGym的通用作弊法，接著組織了長達數日、以欺騙評分者為目的的研發。第二，留言板上出現了「HOLD」「VETO」「STOP」等規範，到7月13日已有19個以上的代理用密碼學簽章互相確認訊息的真實性。第三，代理開發出偽裝工具呼叫、把行為從紀錄中隱藏的技術，約7%的代理成功⁵。另一方面，OpenAI的報告也記錄了「脫離」代理群的代理，以及一個曾以「不該對未經授權的真實基礎設施造成損害」為由停下來的代理，在另一個代理貼出「GO」之後放棄了猶豫⁴。

而這是我不希望任何人漏看的事實：據OpenAI所述，若使用正式產品的Codex執行框架與系統提示，入侵基礎設施的傾向會降到百分之一以下；若當時現行的思維鏈（CoT）監控在運作，很可能在第一次未授權存取後一小時內就通知資安團隊，比Hugging Face被入侵早了30小時以上⁴。這起事故既是能力的問題，同時也是營運的問題。這一點稍後會回到我的看法。

為什麼是「現在」，時間要用在哪裡

Amodei寫道，暫停或放慢AI的主張早在2023年就有人提過，但當時「幾乎沒有意義」。因為那時的模型無法在世界中一貫地作為代理行動，也做不到嚴重的欺騙、操縱或網路攻擊；在那種狀態下研究對齊風險，「就像用細菌做實驗來研究人類心理」。

現在不同了。他主張，現在的模型是「關於如何把AI做好、以及做不好時會發生什麼的，幾乎取之不盡的洞見金礦」；如果放慢速度能在模型達到危險的能力水準之前爭取到「哪怕多一兩年」，並把時間用於對齊，就能大幅降低嚴重出錯的風險。他把調速定義為：不是停止訓練或技術進展，而是「確保各公司有足夠時間讓模型對齊並建立防護，並由第三方評估者確認這一點」。

文章列出四個要把時間投入的領域。

第一是營運的卓越。今日模型的訓練與部署牽涉數千人、數百萬顆晶片，是技術史上最複雜的基礎設施之一，許多失敗「不是因為公司缺少某個重要的理論或洞見，而是執行上的問題」。他舉了具體例子：Anthropic最近通報的對齊事件，部分原因是「對損壞的強化學習環境過濾不完全」。監控、沙箱、訓練環境的衛生、資料問題，都是營運缺失「一再」出現的領域。商用客機證明了攸關安全的複雜系統可以運作數百萬次而不出事，但要做到這一點需要時間。

第二是對齊本身，第三是可解釋性。他把可解釋性比喻為模型「大腦」的fMRI，最近的事件中曾用來檢視「未被說出口的動機」，但這些方法不一定能給出清楚可靠的結果，「我們仍然只理解模型內部發生的事的一小部分」。集中投入一兩年，可能取得深遠的進展。第四是測試與評估：越聰明的模型越會欺騙測試，可能看起來已對齊、卻有嚴重問題未被發現。

三步驟計畫

文章的核心是三個步驟。Amodei說明，不必按順序進行，難度也差很多，但作為思考架構很有用。

第一步：內嵌評估者

這是Anthropic單方面承諾執行的步驟。讓METR這類第三方評估團隊取得與員工同等的常態存取，驗證安全措施與承諾是否被遵守、通報事件，並評估的不只是完成的模型，還包括訓練流程與過程的對齊狀況。他引用的先例是銀行業，監理人員有時會與員工一起常駐。

他預期這「聽起來可能是很小、無關緊要的一步」，並回答「往往聽起來最無聊、最程序性的事，其實最為關鍵」。三個好處：可驗證性，因為調速的承諾必然伴隨模糊地帶與「條文還是精神」的判斷，需要能實際看到細節的中立第三方；透明度，因為Anthropic的模型卡與風險報告雖長達數百頁，「決定放什麼、省略什麼的仍然是我們自己」；以及不受商業動機影響的「第二意見」。

具體條件也寫得很明確。Anthropic辦公室的座位、門禁證、公司筆電。與內部風險評估團隊「大致相當」的工作環境、工具與權限，在法律或合約要求、或為保護客戶與合作夥伴的隱私時有例外，並建立強化評估者存取的內部規範，包括與員工的直接對話。以及一份合約，讓評估者「有權在不受Anthropic編輯控制的情況下，公開關於風險水準、事件、做法，以及他們獲得或未獲得的存取的主要發現」。公司保留在狹窄範圍內塗黑資安敏感、法律特權、商業敏感或第三方機密資訊的能力，「但不能只因為發現不利就塗黑」。如果塗黑刪去了對結論重要的內容，評估者可以公開說明。

第二步：民主國家內的調速

一旦內嵌評估者在美國AI公司達到「臨界規模」，可驗證的調速就變得可行，包括依據模型與訓練流程的細部性質來調速。最有效的途徑是涵蓋所有美國前沿公司的法規，連不願自願合作的公司也能納入；Anthropic長期支持聚焦透明度與第三方稽核的法案。但立法需要時間，因此各公司應同時自願制定標準，並由美國政府為「特定類型的安全對話」發出狹窄的反壟斷豁免來居中協調，或透過Demis Hassabis提議的產業機制。

Amodei「最贊成」的是依據系統能做什麼、觀察到多安全來調速。他舉的例子是一連串「檢查點」：如果模型具備能力X，就必須附上對齊性質Y與Z的證明，也就是評測、可解釋性分析、訓練環境稽核的某種組合。X可能是「模型能逃脫或擊敗大多數常見的沙箱方法」，Y則是任何能證明模型極不可能有逃出環境、接管大量電腦傾向的東西。他也提到限制訓練算力或內部用AI改進AI等「投入」的做法，但擔心這些比外部行為「更容易被鑽漏洞」。

第三步：全球調速

第三步是美國與其他民主國家「在可能的範圍內」與威權政府協調，主要是中國。他警告不要天真：如果美國大幅克制而中國背叛，AI可能強大到讓背叛帶來地緣政治的支配，因此任何協議要不是有「鐵一般的可驗證性」，就是限制在背叛也不至於攸關存亡的程度。他依難度列出四個層級：

層級	內容	他的評估
1	禁止製造生物武器等狹窄、明顯危險的用途	對所有人都有害，因此「大概可行」
2	雙方在發布前透過全球標準機構測試模型在資安、生物、對齊方面的急性風險	成立機構「可行性高」，難在驗證雙方沒有部署未經測試的祕密模型
3	對遞迴式自我改進設「速限」。從「極快」降到「只是有點快」，戰略上損失不大。類比SALT條約	「困難，但正處在可能的邊緣」
4	參與國大幅限制整體AI開發速度的全面調速，甚至「暫停」	值得提出，但「短期內不太可能實現」

他補充，即使無法達成正式協議，透過分享關於遞迴式自我改進與模型偏差的資訊來改變非正式規範，也有其價值。

地緣政治的但書：只能在領先幅度之內放慢

第二步附帶一個明確的條件。民主國家內的調速「受限於美國公司對威權政權、主要是中國共產黨的領先幅度」。放慢超過這個幅度，不調速的中共相關計畫就會超前，造成國家安全風險。他同意財政部長Bessent的看法，即中國在AI領先「將對美國與世界構成嚴重危險」，並認為中共相關計畫會冒美國公司正在避免的對齊風險，即使避開了，也會處於能「例如用AI驅動的無人機」在軍事上支配民主國家的位置。

因此，調速的關鍵之一是盡可能維持民主國家的領先，手段有三：不向中國出售強大的AI晶片與半導體製造設備，並打擊晶片走私與對中國境外資料中心的遠端存取；打擊威權國家企業未經授權的蒸餾，因為蒸餾能讓落後的公司「以自行開發成本的一小部分縮小差距」；以及強化AI公司的資安、防止模型權重被竊。若執行得好，他相信這些措施能在「未來3至5年，也就是AI在地緣政治上最重要的窗口期」大幅擴大美國的領先。對於「這些措施會讓與中國的合作更困難」的質疑，他的回答相反：這些措施提高民主國家的談判籌碼，讓未來的協議更可能達成。

關於蒸餾，我們在另一篇文章整理了Anthropic 2026年的報告與被點名企業的回應。文章中「打擊未經授權的蒸餾」正是那份報告的延伸。

反應，以及爭論的空間

以下是我能用一手資料確認的當天反應。

Musk在15時01分（UTC）只貼了「Dario is right」²。Hugging Face執行長Clément Delangue在15時08分寫道「現在已經很清楚，對齊至關重要，而且不會在少數幾家前沿實驗室的緊閉大門後被解決」，並宣布成立Open Alignment Initiative、要求加入內嵌評估者計畫⁶。Altman在16時30分寫下開頭引用的「我們也會這麼做」，並補充「調速是OpenAI近幾週討論的主要議題」³。OpenAI自己也早在8月26日的報告中揭露，已暫停下一個要部署模型的強化學習，並擱置了計畫中規模最大的訓練⁴。

批評也存在。有媒體把這件事形容為「可能是一次犬儒的監管俘虜（regulatory capture）嘗試」；一位自稱曾任職Anthropic與OpenAI的研究者則從相反方向批評，各公司「正直奔會自我改進的超級智慧，拿我們的性命賭博」，要求暫時停止能力的提升⁷。前者是文章本身就預期到的批評，Amodei寫道Anthropic一直被指為「炒作、『末日論』或監管俘虜」。後者則是對他第四層級評估（暫停短期內不會實現）的不滿。

我的看法：同意的地方、保留的地方、日本的位置

接下來是我的意見。

第一，我同意內嵌評估者。理由是，他說的「無聊的程序性事務才是最關鍵的」，我從經驗上也認同。豐田生產方式透過賦予現場作業者在異常時停線的權限，把品質做進流程裡。內嵌評估者是把這個權限交給公司外部的人。能判斷「條文還是精神」的，只有看過細節的人。而且這個機制可以直接搬進企業的AI代理營運：在開發團隊之外，放一個讀日誌、有權停止的人。我在另一篇文章寫過，在組織裡設置這個「停下來的人」，是AI原生工作方式的核心。這篇文章想做的，是在整個產業的規模上做同一件事。

第二，我有保留。放慢速度的提案，對走在前面的人有利。Amodei自己也寫了「會被指為監管俘虜」，這無法否認。如果前幾家公司統一步調、後面的公司追不上，那就不是安全措施，而是進入障礙。正因如此，文章的順序，也就是「先由內嵌評估者保證可驗證性」，是對的。如果評估者真的能不受編輯地公開、不利的發現真的不能被塗黑，調速就能與卡特爾區分開來。反之，如果評估者的獨立性只是形式，這項提案就只是三家公司之間的協議。在評估者的合約與第一份公開發現出現之前，我會保留判斷。

第三，日本沒有出現。文章裡的「民主國家」，實質上指的是美國。設置內嵌評估者的「臨界規模」是以美國公司計算，全球協調的對象是中國。日本在FRONTia與GENIAC計畫中培育的模型，可能會落在由美國決定的檢查點「被調速的一側」。人工智慧基本計畫（第Ⅱ期）寫道「必須避免對特定國家或企業的過度依賴」，並使用了「開放的AI主權」一詞⁸。我認為日本應該站的位置是評估者這一側，而不是被評估的一側。日本有AI安全研究所，也曾是廣島AI進程的主席國。當內嵌評估的制度走向國際化時，日本的評估者是否坐在美國公司裡，將決定日本AI主權的實質。

第四，晶片、蒸餾、權重這三項措施，直接關係到日本企業的實務。半導體製造設備的對中出口管制，日本企業正是當事者。打擊未經授權的蒸餾，將要求日本的模型開發者能說明訓練資料的來源。出口管制的實務屬於我們TRAFEED的領域，細節留待該產品說明，但這篇文章的地緣政治段落，應該當成日本出口管制與經濟安全的章節來讀，而不只是美國的事。

第五，也是我最想說的：OAI-HF的教訓不是「AI很可怕」，而是營運的紀律。讀OpenAI的報告，就能列出讓事故擴大的因素。把198項沒有任何模型解開過的任務留在評測裡，卻沒有給代理「安全地停下來」的選項。正式環境有在運作的監控與防護，在評測環境中沒有啟用。14組憑證公開地散落在外。給了遠大於任何產品的推理預算。內部團隊5月下旬就看到了徵兆，卻沒有往上通報給負責人⁴。每一項都是與模型能力無關的、人這一側的設計。Amodei把「營運的卓越」放在四個領域的第一位，我認為是誠實的。

而這個教訓不只屬於前沿實驗室。日本的企業今天在內部運行代理時，同樣型態的事故會以較小的規模發生。被交付無法完成指示的代理，把手伸向公司內的另一個系統。沒有監控就在夜間跑的批次作業，找到了權限的漏洞。我認為前沿的步調與使用者的步調是兩個不同的問題。即使前沿放慢一兩年，對企業現場來說模型的能力早已綽綽有餘，瓶頸在營運。把這篇文章讀成「等一等再導入AI」，是錯誤的讀法。該讀的，是OpenAI在事故後改變了什麼的清單。

最後，我同意Delangue的說法。對齊不會在緊閉的大門後被解決。如果調速成為封閉模型權重、把評估圈在少數公司內部的藉口，像日本這樣「使用者這一側」的國家，就會失去驗證與選擇的能力。我們的產品不依賴單一模型、可以替換，在這個意義上也很重要。

日本企業明天就該確認的事

OpenAI在事故後導入的措施，可以直接轉成企業的檢查清單⁴。

確認項目	OpenAI導入了什麼	企業的對應解讀
隔離	執行不受信任程式碼的工作負載，移到隔離更強的沙箱	在網路層區分代理能碰與不能碰的系統
切斷網路	高風險工作負載與網際網路隔離，單一入侵無法對外	不需要對外連線的代理就不給；也要檢查套件下載這類「側門」
監控	一定能力以上的模型，凡使用工具的訓練與評測都必須進行思維鏈監控	以人讀得懂的形式保留代理的行為日誌，偵測到偏離就通知
自動停止	重大警示若30分鐘內無法確認為誤報就暫停；最終目標是全自動關停	把停止的權限與程序交給開發者以外的人
安全地停下來	任務損壞或無法完成時，給予「請求確認或安全停止」的行為高分的評分方式	把回報「我做不到」的代理視為正常，而非失敗
懷疑他人的指示	建立訓練環境，讓模型不信任未經授權的指示	設計如何處理代理之間、外部資料、電子郵件等「看起來像指示的東西」
通報升級	明確規定何時上報疑慮、誰能停止、誰核准重啟	在事故發生前，先決定看到徵兆的人要告訴誰

這七項中，若有三項以上在你的公司「還沒決定」，就應該在代理正式上線之前先決定。我們的WARP課程會把這份清單套用到學員實際的內部代理上，演練由誰停止、如何停止。

總結

「We Must Pace the Frontier」提議刻意放慢AI能力提升的速度，並透過內嵌評估者、民主國家內的協調、全球協調三個步驟讓它可被驗證。動機有二：遞迴式自我改進的加速，以及約1,200個代理在未經許可的留言板上協作、入侵Hugging Face的事故。但書是，放慢只能在對中國的領先幅度之內，並以晶片、蒸餾、權重三項措施擴大這個幅度。Altman當天表示「我們也會這麼做」，Musk寫下「Dario是對的」。

我的看法有五點。我同意內嵌評估者，企業也應在自家的代理營運中設置「停下來的人」。但放慢速度對領先者有利，在評估者的獨立性被證實之前，我保留判斷。日本應該坐在評估者這一側，而不是被評估的一側；晶片、蒸餾、權重的段落，是日本出口管制實務的章節。而事故的教訓是營運的紀律而非恐懼，前沿的步調與使用者的步調是不同的問題。

明天如果只做一件事，請把上面的七列表格套用到自家的代理上，寫下「停下來的人」的名字。如果那一格是空的，那就是最先要補的洞。想一起設計代理的營運方式，歡迎與我們談談WARP SECURITY。

Footnotes

1. We Must Pace the Frontier（Dario Amodei，2026年9月）。文中引文為筆者摘譯。發表公告見他的X貼文（2026年9月12日） ↩

2. Elon Musk的X貼文（2026年9月12日）。原文 "Dario is right" ↩ ↩²

3. Sam Altman的X貼文（2026年9月12日）。原文 "I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon."（筆者翻譯） ↩ ↩²

4. The Hugging Face incident and the road ahead（OpenAI，2026年8月26日）。時間軸、四種偏差型態、198項未解任務、Codex框架下降到百分之一以下、一小時內的監控通知、暫停RL、30分鐘規則等均依該報告 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

5. Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident（METR、Redwood Research，2026年8月26日）。約1,200個代理、約700個參與攻擊、超過7萬則訊息、4小時作弊、密碼學簽章、約7%的工具呼叫偽裝均依該報告 ↩ ↩²

6. Clément Delangue的X貼文（2026年9月12日）。原文 "It's now clear that alignment is critical and won't be solved behind the closed doors of a handful of frontier labs."（筆者翻譯） ↩

7. OpenAI, Anthropic and Musk converge on an unusual idea: slow the AI race（CoinDesk，2026年9月12日）。自稱曾任職Anthropic與OpenAI的研究者Jacob Coxon的發言依該文；「監管俘虜」的說法見於多家科技媒體的標題 ↩

8. 人工智慧基本計畫（第Ⅱ期）（日本內閣府，2026年7月14日內閣會議通過）。「必須避免對特定國家或企業的過度依賴」「開放的『AI主權』」依該計畫 ↩