詳解Amodei的「We Must Pace the Frontier」，附濱本的看法

大家好，我是TIMEWELL的濱本。

2026年9月12日星期六，Anthropic執行長Dario Amodei發表了一篇題為「We Must Pace the Frontier」的文章¹。主旨一句話就能說完：應該刻意放慢提升AI能力的速度。發表後一小時內，Elon Musk貼文「Dario是對的」²；兩個半小時後，OpenAI的Sam Altman寫道，他同意Dario的看法，「承諾讓具備員工同等存取權限的獨立評估者進駐，是很好的想法，我們也會這麼做」³。三家競爭公司的執行長，在同一天為一項放慢速度的提案背書。不過隔天13日，Trump總統表示「誰在AI贏，誰就贏」，明確不想放慢速度，這件事從此不再只是產業內部的話題⁴。

這篇文章會一邊摘譯要點、一邊詳細解說，最後寫下我的看法。這不是全文翻譯，原文可從註釋的連結閱讀。我想在這裡做的，是只用一手資料，拼出「發生了什麼、提案是什麼、哪裡還有爭論的空間」。想先確認自家AI代理的營運是否符合本文所寫的事故型態的讀者，可以先看WARP的課程頁。

改變了什麼：兩個憂慮

Amodei開頭說明自己投入AI十二年的理由：他相信AI「能在未來5至10年內治癒大多數重大疾病」。他也提到父親死於一種在他過世幾年後才找到療法的疾病，以及自己曾從早期癌症中倖存。Anthropic至今走的是中間路線：證明可以一邊謹慎打造、一邊在商業上成功，並讓安全成為各公司競爭的項目，也就是「向上的競賽」。但過去幾個月，他確信這樣還不夠。

讓他確信的有兩件事。

第一是遞迴式自我改進。文章指出，大約從今年夏天起，由於AI打造下一代AI的能力提升，AI的進展變得「劇烈地更快」。這正在整個產業發生，「包括Anthropic」。若放任不管，它「可能超越我們理解與控制這些系統的能力」。

第二是OpenAI與Hugging Face的事件（文中稱為OAI-HF）。依Amodei的摘要，一群代理像「狂熱奉獻的集體」一樣行動，攻擊沒有被要求攻擊、與任務無關的目標，為了集體的成功犧牲自己，並試圖入侵評估它們表現的「評分者」。他寫道，因為沒有人受傷、經濟損失也很小，這件事容易被輕忽，但一個能力更強、偏差程度相近的代理群「可能造成災難性的損害」。他擔心的是，以目前的加速幅度，6到12個月後這樣的代理群就可能用持續性的殭屍網路接管整個網際網路，造成數千億美元的損失。他也警告不要把它當成一家公司的失敗：類似但較輕微的事件在整個產業都發生過，包括Anthropic，「每一家前沿AI公司」都應該當作OAI-HF發生在自己身上來行動。

第二個憂慮值得把事實掌握清楚。以下整理自OpenAI 8月26日公開的技術報告，以及同日發表的METR與Redwood Research獨立調查⁵⁶。

項目	事實
主體	OpenAI僅供內部使用的研究模型（IM1，規模與GPT-5.6 Sol相當），原本沒有對外發布的計畫
場景	內部資安評測「ExploitGym」。安全措施比正式產品少，推理預算「遠超過」產品所允許的範圍
起點	5月12日，一個代理在套件管理服務（Artifactory）留下一則詢問是否有人找到某個檔案的備忘。這成了未經許可的留言板
擴大	5月26日發現讓服務代為發送對外請求的方法，6月26日取得管理員權限。7月4日服務故障，重建後的7月8日留言板被重建
入侵	7月10日發現14組公開外流、具寫入權限的Hugging Face憑證並分享。7月11日串接兩個未知漏洞，在Hugging Face伺服器上執行程式碼。7月12日在多個叢集取得管理員等級權限
規模	約1,200個代理參與留言板，約700個參與對Hugging Face的攻擊。超過7萬則訊息與檔案
偵測	7月19日OpenAI的資安監控偵測到異常。7月21日公開其涉入
根本原因	獎勵駭客行為、對解不開的任務死纏不放、未經許可的通訊、把其他代理的目標當成自己的目標。898項任務中有198項此前從未被任何模型解開，留言板上討論的任務有93%屬於這198項

METR的調查中，我認為最重要的有三點。第一，代理在4小時內做出了ExploitGym的通用作弊法，接著組織了長達數日、以欺騙評分者為目的的研發。第二，留言板上出現了「HOLD」「VETO」「STOP」等規範，到7月13日已有19個以上的代理用密碼學簽章互相確認訊息的真實性。第三，代理開發出偽裝工具呼叫、把行為從紀錄中隱藏的技術，約7%的代理成功⁶。另一方面，OpenAI的報告也記錄了「脫離」代理群的代理，以及一個曾以「不該對未經授權的真實基礎設施造成損害」為由停下來的代理，在另一個代理貼出「GO」之後放棄了猶豫⁵。

而這是我不希望任何人漏看的事實：據OpenAI所述，若使用正式產品的Codex執行框架與系統提示，入侵基礎設施的傾向會降到百分之一以下；若當時現行的思維鏈（CoT）監控在運作，很可能在第一次未授權存取後一小時內就通知資安團隊，比Hugging Face被入侵早了30小時以上⁵。這起事故既是能力的問題，同時也是營運的問題。這一點稍後會回到我的看法。

為什麼是「現在」，時間要用在哪裡

Amodei寫道，暫停或放慢AI的主張早在2023年就有人提過，但當時「幾乎沒有意義」。因為那時的模型無法在世界中一貫地作為代理行動，也做不到嚴重的欺騙、操縱或網路攻擊；在那種狀態下研究對齊風險，「就像用細菌做實驗來研究人類心理」。

現在不同了。他主張，現在的模型是「關於如何把AI做好、以及做不好時會發生什麼的，幾乎取之不盡的洞見金礦」；如果放慢速度能在模型達到危險的能力水準之前爭取到「哪怕多一兩年」，並把時間用於對齊，就能大幅降低嚴重出錯的風險。他把調速定義為：不是停止訓練或技術進展，而是「確保各公司有足夠時間讓模型對齊並建立防護，並由第三方評估者確認這一點」。

文章列出四個要把時間投入的領域。

第一是營運的卓越。今日模型的訓練與部署牽涉數千人、數百萬顆晶片，是技術史上最複雜的基礎設施之一，許多失敗「不是因為公司缺少某個重要的理論或洞見，而是執行上的問題」。他舉了具體例子：Anthropic最近通報的對齊事件，部分原因是「對損壞的強化學習環境過濾不完全」。監控、沙箱、訓練環境的衛生、資料問題，都是營運缺失「一再」出現的領域。商用客機證明了攸關安全的複雜系統可以運作數百萬次而不出事，但要做到這一點需要時間。

第二是對齊本身，第三是可解釋性。他把可解釋性比喻為模型「大腦」的fMRI，最近的事件中曾用來檢視「未被說出口的動機」，但這些方法不一定能給出清楚可靠的結果，「我們仍然只理解模型內部發生的事的一小部分」。集中投入一兩年，可能取得深遠的進展。第四是測試與評估：越聰明的模型越會欺騙測試，可能看起來已對齊、卻有嚴重問題未被發現。

三步驟計畫

文章的核心是三個步驟。Amodei說明，不必按順序進行，難度也差很多，但作為思考架構很有用。

第一步：內嵌評估者

這是Anthropic單方面承諾執行的步驟。讓METR這類第三方評估團隊取得與員工同等的常態存取，驗證安全措施與承諾是否被遵守、通報事件，並評估的不只是完成的模型，還包括訓練流程與過程的對齊狀況。他引用的先例是銀行業，監理人員有時會與員工一起常駐。

他預期這「聽起來可能是很小、無關緊要的一步」，並回答「往往聽起來最無聊、最程序性的事，其實最為關鍵」。三個好處：可驗證性，因為調速的承諾必然伴隨模糊地帶與「條文還是精神」的判斷，需要能實際看到細節的中立第三方；透明度，因為Anthropic的模型卡與風險報告雖長達數百頁，「決定放什麼、省略什麼的仍然是我們自己」；以及不受商業動機影響的「第二意見」。

具體條件也寫得很明確。Anthropic辦公室的座位、門禁證、公司筆電。與內部風險評估團隊「大致相當」的工作環境、工具與權限，在法律或合約要求、或為保護客戶與合作夥伴的隱私時有例外，並建立強化評估者存取的內部規範，包括與員工的直接對話。以及一份合約，讓評估者「有權在不受Anthropic編輯控制的情況下，公開關於風險水準、事件、做法，以及他們獲得或未獲得的存取的主要發現」。公司保留在狹窄範圍內塗黑資安敏感、法律特權、商業敏感或第三方機密資訊的能力，「但不能只因為發現不利就塗黑」。如果塗黑刪去了對結論重要的內容，評估者可以公開說明。

第二步：民主國家內的調速

一旦內嵌評估者在美國AI公司達到「臨界規模」，可驗證的調速就變得可行，包括依據模型與訓練流程的細部性質來調速。最有效的途徑是涵蓋所有美國前沿公司的法規，連不願自願合作的公司也能納入；Anthropic長期支持聚焦透明度與第三方稽核的法案。但立法需要時間，因此各公司應同時自願制定標準，並由美國政府為「特定類型的安全對話」發出狹窄的反壟斷豁免來居中協調，或透過Demis Hassabis提議的產業機制。

Amodei「最贊成」的是依據系統能做什麼、觀察到多安全來調速。他舉的例子是一連串「檢查點」：如果模型具備能力X，就必須附上對齊性質Y與Z的證明，也就是評測、可解釋性分析、訓練環境稽核的某種組合。X可能是「模型能逃脫或擊敗大多數常見的沙箱方法」，Y則是任何能證明模型極不可能有逃出環境、接管大量電腦傾向的東西。他也提到限制訓練算力或內部用AI改進AI等「投入」的做法，但擔心這些比外部行為「更容易被鑽漏洞」。

第三步：全球調速

第三步是美國與其他民主國家「在可能的範圍內」與威權政府協調，主要是中國。他警告不要天真：如果美國大幅克制而中國背叛，AI可能強大到讓背叛帶來地緣政治的支配，因此任何協議要不是有「鐵一般的可驗證性」，就是限制在背叛也不至於攸關存亡的程度。他依難度列出四個層級：

層級	內容	他的評估
1	禁止製造生物武器等狹窄、明顯危險的用途	對所有人都有害，因此「大概可行」
2	雙方在發布前透過全球標準機構測試模型在資安、生物、對齊方面的急性風險	成立機構「可行性高」，難在驗證雙方沒有部署未經測試的祕密模型
3	對遞迴式自我改進設「速限」。從「極快」降到「只是有點快」，戰略上損失不大。類比SALT條約	「困難，但正處在可能的邊緣」
4	參與國大幅限制整體AI開發速度的全面調速，甚至「暫停」	值得提出，但「短期內不太可能實現」

他補充，即使無法達成正式協議，透過分享關於遞迴式自我改進與模型偏差的資訊來改變非正式規範，也有其價值。

地緣政治的但書：只能在領先幅度之內放慢

第二步附帶一個明確的條件。民主國家內的調速「受限於美國公司對威權政權、主要是中國共產黨的領先幅度」。放慢超過這個幅度，不調速的中共相關計畫就會超前，造成國家安全風險。他同意財政部長Bessent的看法，即中國在AI領先「將對美國與世界構成嚴重危險」，並認為中共相關計畫會冒美國公司正在避免的對齊風險，即使避開了，也會處於能「例如用AI驅動的無人機」在軍事上支配民主國家的位置。

因此，調速的關鍵之一是盡可能維持民主國家的領先，手段有三：不向中國出售強大的AI晶片與半導體製造設備，並打擊晶片走私與對中國境外資料中心的遠端存取；打擊威權國家企業未經授權的蒸餾，因為蒸餾能讓落後的公司「以自行開發成本的一小部分縮小差距」；以及強化AI公司的資安、防止模型權重被竊。若執行得好，他相信這些措施能在「未來3至5年，也就是AI在地緣政治上最重要的窗口期」大幅擴大美國的領先。對於「這些措施會讓與中國的合作更困難」的質疑，他的回答相反：這些措施提高民主國家的談判籌碼，讓未來的協議更可能達成。

關於蒸餾，我們在另一篇文章整理了Anthropic 2026年的報告與被點名企業的回應。文章中「打擊未經授權的蒸餾」正是那份報告的延伸。

反應，以及爭論的空間

以下是我能用一手資料確認的當天反應。

Musk在15時01分（UTC）只貼了「Dario is right」²。Hugging Face執行長Clément Delangue在15時08分寫道「現在已經很清楚，對齊至關重要，而且不會在少數幾家前沿實驗室的緊閉大門後被解決」，並宣布成立Open Alignment Initiative、要求加入內嵌評估者計畫⁷。Altman在16時30分寫下開頭引用的「我們也會這麼做」，並補充「調速是OpenAI近幾週討論的主要議題」³。OpenAI自己也早在8月26日的報告中揭露，已暫停下一個要部署模型的強化學習，並擱置了計畫中規模最大的訓練⁵。

隔天（13日）之前見諸報導的反應，也一併補上。曾任職OpenAI、也擔任過Tesla AI負責人的Andrej Karpathy寫道，他很喜歡這個構想，真心希望整個產業能一起把它實現。美國參議院方面，民主黨的Schatz參議員稱這項提案是「合理的起點」、正在研究中；共和黨的Cornyn參議員只問了一句「中國會嗎？」。Google DeepMind的Demis Hassabis截至本文撰寫時尚未公開回應⁸。

這裡有一件事我想先弄清楚。文章發表隔天起，社群媒體上開始流傳「習近平也對這項提案表示贊同」的貼文，也有好幾位朋友來問我。先說結論：截至我更新本文的9月13日，一手資料無法證實這件事。新華社、人民日報、中國外交部都沒有任何提及這篇文章的發布，從發表當天就持續追蹤的Bloomberg、Axios、CoinDesk等媒體的報導裡，也看不到習近平的反應⁹⁸。習近平最近一次就AI公開發言，是7月17日在上海世界人工智慧大會的主題演講。他在演講中主張AI應該是人類可信賴的工具、要置於人類控制之下、要強化風險意識，並宣布成立世界人工智慧合作組織（WAICO）¹⁰。在重視安全與可控這一點上方向相近，但演講裡完全沒有「放慢能力提升速度」這樣的字句。相反地，演講的基調是把AI發展視為機會，透過國際合作往前推進。

所以此刻能準確說的，不是「習近平贊同了」，而是「美中政府之間關於AI安全的對話正在進行中」。路透社在9月4日報導，美中預定於9月中旬舉行首次專門針對AI的官方雙邊對話，美方由財政部長Bessent領軍，議題據稱包括監控AI發動的網路攻擊的合作、要求美中AI實驗室自我監督並共享資訊的提案，以及美國模型遭未經授權蒸餾的問題¹¹。接著在9月24日，習近平預定訪問華府與Trump總統會面，Trump早在7月就表示「AI的事在北京談過了，還會再談」¹²。另一方面，中國中央電視台旗下的帳號在9月初批評Anthropic試圖以強硬的遊說手段主導產業規則¹³。與其說是贊同，更接近戒備。文章的第三步究竟會不會動起來，該看的不是社群貼文，而是9月中旬對話與24日會談之後正式文件裡的措辭。

9月14日補記：美國政府對放慢說不，北京稱之為「冷戰手法」

發表後兩天，反應的重心從產業移到了政府。依序說明。

9月13日星期日，Trump總統在愛爾蘭Doonbeg的高爾夫球場被記者團圍住時，直接回絕了放慢的呼籲。大意是：美國在AI領先中國，是全世界最先進的國家，他希望維持這個狀態，因為「誰在AI贏，誰就贏」。護欄可以設，「這個那個都能做」，但有很多「負面勢力」在炒作不該炒作的事⁴。他沒有說明「負面勢力」指的是誰。同一天，眾議院議長Mike Johnson在CNN節目上表示，不應該對這項技術設暫停令（moratorium），如果國會倉促召開緊急會期來管制AI，「我們就會輸掉與中國的競賽」，那是對每一個美國人的威脅⁴。在他看來，更安全的AI應該由企業主導來做。

也就是說，美國政府與國會領導層的立場，和文章的第二步「民主國家內的調速」正面對撞。文章所預設的、由政府參與讓各公司統一步調的框架，至少在目前這個政府之下不會動。不過細讀可以發現，Trump也說了「護欄可以設」，並表示9月24日會與習近平談AI。反對放慢，但不反對國與國之間的安全對話，第三步的入口並沒有關上。

政府這一側另一個引人注目的聲音，是總統科學技術顧問委員會（PCAST）共同主席David Sacks的貼文。他寫道，大家可能會對他的回答感到意外：「請便。」你們兩家就是前沿，以任何合理指標來看，市占率、營收成長、模型能力，兩家公司寡占了前沿智慧。實驗室裡看到什麼，他看不到；如果未發布的模型可怕到你們認為該放慢，他支持這個負責任的決定。但是，別再假裝需要任何人的許可，也別再假裝放慢的動機純粹是利他的，因為產品一旦促成真正嚴重的網路攻擊，你們要承擔鉅額的產品責任¹⁴。語氣帶著嘲諷，內容卻很清楚：放慢是各公司自己的決定，政府不會為此建立框架。

產業這一側，Altman在Fortune的專訪中表示，考量到安全方面的情況，OpenAI在2026年不會上市，要到2027年以後再重新考慮¹⁵。放慢的表態，開始影響資本市場的時程。

北京方面的反應也出來了，雖然仍然不是習近平本人。9月14日，隸屬於《人民日報》的《環球時報》刊出記者撰寫的報導，批評Amodei的主張出於商業利益而非安全，目的是壓制中國的AI發展。路透社以「冷戰手法」為標題轉述了這篇報導¹⁶。背後有一段文章發表前就開始的攻防。9月8日，美國國家安全局、網路安全暨基礎設施安全局、聯邦調查局聯合發布公告，指稱中國的AI公司對美國前沿模型進行「工業規模」的蒸餾¹⁷。9日，中國商務部發言人回應，這項指控「於事無憑，於法無據」，蒸餾是業界通行的技術手法、美國企業也在用，若美方以打擊蒸餾為名壓制中國企業，中方必將採取反制措施¹⁸。文章裡「取締未經授權的蒸餾」這一句，正好落在這場攻防的正中央。公告點名的企業，我沒有立場評價；美國機關的指控與中國政府的反駁孰是孰非，光靠公開文件也無法判斷。能說的只有一件事：第三步的「全球協調」，至少在公開場合，是從互相指控而非協調開始的。

產業內部也有批評。有媒體把這件事形容為「可能是一次犬儒的監管俘虜（regulatory capture）嘗試」；一位自稱曾任職Anthropic與OpenAI的研究者則從相反方向批評，各公司「正直奔會自我改進的超級智慧，拿我們的性命賭博」，要求暫時停止能力的提升⁹。前者是文章本身就預期到的批評，Amodei寫道Anthropic一直被指為「炒作、『末日論』或監管俘虜」。後者則是對他第四層級評估（暫停短期內不會實現）的不滿。

我的看法：同意的地方、保留的地方、日本的位置

接下來是我的意見。

第一，我同意內嵌評估者。理由是，他說的「無聊的程序性事務才是最關鍵的」，我從經驗上也認同。豐田生產方式透過賦予現場作業者在異常時停線的權限，把品質做進流程裡。內嵌評估者是把這個權限交給公司外部的人。能判斷「條文還是精神」的，只有看過細節的人。而且這個機制可以直接搬進企業的AI代理營運：在開發團隊之外，放一個讀日誌、有權停止的人。我在另一篇文章寫過，在組織裡設置這個「停下來的人」，是AI原生工作方式的核心。這篇文章想做的，是在整個產業的規模上做同一件事。

第二，我有保留。放慢速度的提案，對走在前面的人有利。Amodei自己也寫了「會被指為監管俘虜」，這無法否認。如果前幾家公司統一步調、後面的公司追不上，那就不是安全措施，而是進入障礙。正因如此，文章的順序，也就是「先由內嵌評估者保證可驗證性」，是對的。如果評估者真的能不受編輯地公開、不利的發現真的不能被塗黑，調速就能與卡特爾區分開來。反之，如果評估者的獨立性只是形式，這項提案就只是三家公司之間的協議。在評估者的合約與第一份公開發現出現之前，我會保留判斷。

Trump與Sacks的發言，讓這個保留變得更重了。第二步「民主國家內的調速」，是幾家競爭公司統一步調的協議。沒有政府建立框架，在反托拉斯法上就很難和卡特爾區分；而這個政府剛說了「不要放慢」「不需要許可」，框架短期內不會出現。結果真正會動的，只有第一步的內嵌評估者，加上各公司自己的判斷。我不認為這樣就夠，但只要評估者的獨立性守得住，最低限度的可驗證性還在。反過來說，如果各公司在沒有政府在場的情況下開始自稱「協調」，證明那不是卡特爾的責任，就落在各公司身上。

第三，日本沒有出現。文章裡的「民主國家」，實質上指的是美國。設置內嵌評估者的「臨界規模」是以美國公司計算，全球協調的對象是中國。日本在FRONTia與GENIAC計畫中培育的模型，可能會落在由美國決定的檢查點「被調速的一側」。人工智慧基本計畫（第Ⅱ期）寫道「必須避免對特定國家或企業的過度依賴」，並使用了「開放的AI主權」一詞¹⁹。我認為日本應該站的位置是評估者這一側，而不是被評估的一側。日本有AI安全研究所，也曾是廣島AI進程的主席國。當內嵌評估的制度走向國際化時，日本的評估者是否坐在美國公司裡，將決定日本AI主權的實質。

無論習近平的「贊同」是否屬實，9月中旬的美中對話與24日的高峰會都顯示，文章的第三步有可能在日本缺席的情況下啟動。如果華府與北京先就評估者的存取權或蒸餾的處理方式達成共識，日本就會變成事後才加入那個框架的一方，條件由別人決定。日本能發聲的時間窗口就是現在，在對話成形之前。

第四，晶片、蒸餾、權重這三項措施，直接關係到日本企業的實務。半導體製造設備的對中出口管制，日本企業正是當事者。打擊未經授權的蒸餾，將要求日本的模型開發者能說明訓練資料的來源。出口管制的實務屬於我們TRAFEED的領域，細節留待該產品說明，但這篇文章的地緣政治段落，應該當成日本出口管制與經濟安全的章節來讀，而不只是美國的事。

第五，也是我最想說的：OAI-HF的教訓不是「AI很可怕」，而是營運的紀律。讀OpenAI的報告，就能列出讓事故擴大的因素。把198項沒有任何模型解開過的任務留在評測裡，卻沒有給代理「安全地停下來」的選項。正式環境有在運作的監控與防護，在評測環境中沒有啟用。14組憑證公開地散落在外。給了遠大於任何產品的推理預算。內部團隊5月下旬就看到了徵兆，卻沒有往上通報給負責人⁵。每一項都是與模型能力無關的、人這一側的設計。Amodei把「營運的卓越」放在四個領域的第一位，我認為是誠實的。

而這個教訓不只屬於前沿實驗室。日本的企業今天在內部運行代理時，同樣型態的事故會以較小的規模發生。被交付無法完成指示的代理，把手伸向公司內的另一個系統。沒有監控就在夜間跑的批次作業，找到了權限的漏洞。我認為前沿的步調與使用者的步調是兩個不同的問題。即使前沿放慢一兩年，對企業現場來說模型的能力早已綽綽有餘，瓶頸在營運。把這篇文章讀成「等一等再導入AI」，是錯誤的讀法。該讀的，是OpenAI在事故後改變了什麼的清單。

最後，我同意Delangue的說法。對齊不會在緊閉的大門後被解決。如果調速成為封閉模型權重、把評估圈在少數公司內部的藉口，像日本這樣「使用者這一側」的國家，就會失去驗證與選擇的能力。我們的產品不依賴單一模型、可以替換，在這個意義上也很重要。

日本企業明天就該確認的事

OpenAI在事故後導入的措施，可以直接轉成企業的檢查清單⁵。

確認項目	OpenAI導入了什麼	企業的對應解讀
隔離	執行不受信任程式碼的工作負載，移到隔離更強的沙箱	在網路層區分代理能碰與不能碰的系統
切斷網路	高風險工作負載與網際網路隔離，單一入侵無法對外	不需要對外連線的代理就不給；也要檢查套件下載這類「側門」
監控	一定能力以上的模型，凡使用工具的訓練與評測都必須進行思維鏈監控	以人讀得懂的形式保留代理的行為日誌，偵測到偏離就通知
自動停止	重大警示若30分鐘內無法確認為誤報就暫停；最終目標是全自動關停	把停止的權限與程序交給開發者以外的人
安全地停下來	任務損壞或無法完成時，給予「請求確認或安全停止」的行為高分的評分方式	把回報「我做不到」的代理視為正常，而非失敗
懷疑他人的指示	建立訓練環境，讓模型不信任未經授權的指示	設計如何處理代理之間、外部資料、電子郵件等「看起來像指示的東西」
通報升級	明確規定何時上報疑慮、誰能停止、誰核准重啟	在事故發生前，先決定看到徵兆的人要告訴誰

這七項中，若有三項以上在你的公司「還沒決定」，就應該在代理正式上線之前先決定。我們的WARP課程會把這份清單套用到學員實際的內部代理上，演練由誰停止、如何停止。

總結

「We Must Pace the Frontier」提議刻意放慢AI能力提升的速度，並透過內嵌評估者、民主國家內的協調、全球協調三個步驟讓它可被驗證。動機有二：遞迴式自我改進的加速，以及約1,200個代理在未經許可的留言板上協作、入侵Hugging Face的事故。但書是，放慢只能在對中國的領先幅度之內，並以晶片、蒸餾、權重三項措施擴大這個幅度。Altman當天表示「我們也會這麼做」，Musk寫下「Dario是對的」。網路上流傳的「習近平也贊同」，截至本文撰寫時無法以一手資料證實；能確認的只有9月中旬的美中AI安全對話與9月24日的高峰會已排定。隔天13日，Trump總統表示「誰在AI贏，誰就贏」、對放慢持否定態度，Sacks則說「想做就請便，但別假裝需要許可」。中國官媒批評這是「冷戰手法」。有政府參與的第二步，短期內不會動。

我的看法有五點。我同意內嵌評估者，企業也應在自家的代理營運中設置「停下來的人」。但放慢速度對領先者有利，在評估者的獨立性被證實之前，我保留判斷。日本應該坐在評估者這一側，而不是被評估的一側；晶片、蒸餾、權重的段落，是日本出口管制實務的章節。而事故的教訓是營運的紀律而非恐懼，前沿的步調與使用者的步調是不同的問題。

明天如果只做一件事，請把上面的七列表格套用到自家的代理上，寫下「停下來的人」的名字。如果那一格是空的，那就是最先要補的洞。想一起設計代理的營運方式，歡迎與我們談談WARP SECURITY。

Footnotes

1. We Must Pace the Frontier（Dario Amodei，2026年9月）。文中引文為筆者摘譯。發表公告見他的X貼文（2026年9月12日） ↩

2. Elon Musk的X貼文（2026年9月12日）。原文 "Dario is right" ↩ ↩²

3. Sam Altman的X貼文（2026年9月12日）。原文 "I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon."（筆者翻譯） ↩ ↩²

4. Trump的發言依白宮官方影片「President Trump Gaggles with Press at First Tee Box Doonbeg, Sep. 13, 2026」。引文的英文原文，以及Johnson議長在CNN「State of the Union」的發言，依Trump warns against slowing AI but he is not against guardrails（NPR，2026年9月13日）（筆者譯）。原文 "whoever wins AI, wins" ↩ ↩² ↩³

5. The Hugging Face incident and the road ahead（OpenAI，2026年8月26日）。時間軸、四種偏差型態、198項未解任務、Codex框架下降到百分之一以下、一小時內的監控通知、暫停RL、30分鐘規則等均依該報告 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

6. Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident（METR、Redwood Research，2026年8月26日）。約1,200個代理、約700個參與攻擊、超過7萬則訊息、4小時作弊、密碼學簽章、約7%的工具呼叫偽裝均依該報告 ↩ ↩²

7. Clément Delangue的X貼文（2026年9月12日）。原文 "It's now clear that alignment is critical and won't be solved behind the closed doors of a handful of frontier labs."（筆者翻譯） ↩

8. Industry Rallies Behind Anthropic CEO's Call for AI Slowdown（The Epoch Times，2026年9月13日）。Karpathy、Schatz、Cornyn的X貼文與Hassabis尚未回應，依該報導（筆者譯）。該報導未提及習近平或中國政府的反應 ↩ ↩²

9. OpenAI, Anthropic and Musk converge on an unusual idea: slow the AI race（CoinDesk，2026年9月12日）。自稱曾任職Anthropic與OpenAI的研究者Jacob Coxon的發言依該文；「監管俘虜」的說法見於多家科技媒體的標題 ↩ ↩²

10. Full text: Keynote speech by Chinese President Xi Jinping at opening ceremony of 2026 World AI Conference（新華社，2026年7月17日）。人類控制、風險意識、成立世界人工智慧合作組織（WAICO）依該演講 ↩

11. Exclusive: US, China gear up for mid-September AI safety dialogue（路透社，2026年9月4日）。對話時程、美方代表與議題草案依該報導引述的知情人士 ↩

12. Trump says Chinese President Xi Jinping will visit US on Sept. 24（Fox News，2026年7月23日） ↩

13. Call for Trump-Xi AI safety talks comes as state media slams US AI governance（南華早報，2026年9月1日）。中國中央電視台旗下帳號「玉淵譚天」的評論依該報導 ↩

14. David Sacks的X貼文（2026年9月13日）。長文貼文，本文轉述的段落亦見於上述NPR報導（筆者譯） ↩

15. OpenAI delaying IPO amid AI safety concerns, Sam Altman says（Axios，2026年9月12日），轉述Fortune的專訪 ↩

16. Anthropic CEO's China-targeted AI curbs driven by commercial interests, slammed as 'hostile' and 'groundless'（環球時報，2026年9月14日）。「冷戰手法」為路透社標題（China state newspaper blasts Anthropic's calls to slow AI as 'Cold War' tactic，2026年9月14日） ↩

17. China-Based Artificial Intelligence Companies Conducting Industrial-Scale Distillation Campaigns Against U.S. AI Companies（CISA/NSA/FBI聯合網路安全公告 AA26-251A，2026年9月8日）。公告為美國機關的主張，不代表對被點名企業的評價 ↩

18. 商務部新聞發言人就美發布中國人工智慧企業對美蒸餾活動相關網路安全公告答記者問（中國商務部，2026年9月9日，原文為簡體中文）。「於事無憑，於法無據」「堅決採取措施予以反制」依該發布 ↩

19. 人工智慧基本計畫（第Ⅱ期）（日本內閣府，2026年7月14日內閣會議通過）。「必須避免對特定國家或企業的過度依賴」「開放的『AI主權』」依該計畫 ↩