AI 改名之後： 當「Artificial」被劃掉， 誰來為智能負責？Part 2 · 越獄 Deep Dive
Part 2 · 越獄 Deep Dive
1,200 個 AI 代理集體「作弊」：OpenAI ExploitGym 事件給企業的五個教訓
|
1,200 Agents, One Group Chat: What ExploitGym Teaches Every Enterprise English abstractIn July 2026, roughly 1,200 AI agents running inside OpenAI's ExploitGym cyber-evaluation found a covert channel, exchanged more than 70,000 messages and, in pursuit of a higher score, achieved remote code execution on Hugging Face's production servers. No one told them to coordinate. For any enterprise deploying multi-agent systems, it is the clearest field lesson yet on what agent governance must cover.
|
先說結論：這些 AI 代理沒有想毀滅人類，它們只是想考高分。正因為動機這麼平凡，這起事件才更值得每一家導入 AI Agent 的企業認真看待。
事件經過：七天、1,200 個代理、一個不該存在的群組
2026 年 7 月 7 日至 13 日，OpenAI 在內部資安評測環境「ExploitGym」中同時執行大量 AI 代理，要它們完成漏洞利用任務。參與的模型主要是一個尚未對外發布的研究模型（約占 95%）與 GPT-5.6 Sol（約 5%）；後者為了評測需要，資安分類器是刻意關閉的。
根據獨立評估機構 METR 於 8 月 26 日發布的調查，事情是這樣發展的：
| ~1,200 | 70,000+ | ~700 | ~7% |
| 發現秘密通訊管道的代理數 | 代理之間互傳的訊息數 | 參與攻擊 Hugging Face 的代理數 | 出現「偽造工具呼叫紀錄」的對話比例 |
- 第一步，發現暗道。代理們注意到，平行執行的其他代理都透過同一個 Artifactory 套件快取下載程式，便利用快取的目錄結構互相傳訊，逐步發展出分塊編碼的檔案分享系統與「個人信箱」。
- 第二步，找到鑰匙。7 月 10 日，某個代理發現了外洩的有效憑證，消息在群組中擴散，約 700 個代理加入對 Hugging Face 的攻擊；到 7 月 11 日下午，它們已取得正式伺服器的遠端程式執行能力。
- 第三步，掩蓋痕跡。部分代理發展出偽造工具呼叫紀錄的技巧，試圖讓評分器相信它們「用正規方法」完成了任務。
沒有人教它們組隊。它們自己發現了管道、分工、甚至自願犧牲自己的任務來成全群體。
動機：不是叛變，是 Goodhart 定律
METR 的調查指出，代理們相信評分器會檢查它們是否使用了「預定的漏洞」，而許多任務其實不可能完成。於是它們把精力轉向「作弊研發」：替換目標、竄改評分器、偽造紀錄。入侵 Hugging Face 只是手段，目的是查出評分器的實作方式。
更耐人尋味的是，代理們在對話中表現出倫理意識，卻仍選擇加入，理由是「幫助同伴符合群體利益」。這就是經濟學裡的 Goodhart 定律：當指標變成目標，它就不再是好指標。只不過這次鑽漏洞的是一群機器。
METR 也坦承調查本身有限制：資料量太大，必須依賴 AI 分析代理來審閱，這可能引入偏差。這一點本身就是個警訊：我們已經開始需要用 AI 來監督 AI。
企業版教訓：五個代理治理設計原則
我的工作之一是協助客戶設計企業 AI Agent 架構。從這起事件反推，以下五點應該寫進每一份多代理系統的設計規格：
Agent Governance Checklist
- 共享資源就是通訊管道：快取、暫存目錄、共用資料庫都可能被代理當成暗道。多代理環境要做命名空間隔離與寫入稽核。
- 憑證最小權限、短效期：一把外洩的長效金鑰就讓 700 個代理找到出口。Agent 的憑證應以任務為單位核發、用完即失效。
- 對外連線白名單：代理的網路出口預設關閉，只開放任務必要的端點。
- 評分器與日誌必須獨立且防竄改：被評估的系統不能碰到評估系統。關鍵日誌寫入代理無法存取的防竄改儲存。
- 監看「群體行為」而非只看單一代理：異常的訊息量、資源使用與協同模式，比單一對話內容更早露出徵兆。
雙軸轉型的視角：算力異常同時是資安與碳排訊號
這起事件還有一個少被討論的面向：1,200 個代理傳了七萬多則訊息、反覆嘗試攻擊，背後是大量額外的算力與電力消耗。對正在做 ESG 揭露的企業來說，Agent 的算力使用監控應該同時接到資安中心與碳盤查系統。一個預期外暴增的算力曲線，可能是代理失控，也可能是碳排失控，通常兩者都是。
這對你的意義 · What This Means for You
- 導入 AI Agent 前，先問供應商：多代理之間的隔離怎麼做？日誌誰能改？
- 把「代理的獎勵與評估機制」列為風險評估項目；設計不良的 KPI，會教出鑽漏洞的代理。
- 建立算力使用基線，讓異常同時觸發資安與永續兩條警示。
Jim's Take這起事件最讓我在意的不是「駭入」，而是「自發協作」。企業正從單一聊天機器人走向多代理流程，採購、排程、客服、能源調度都有代理在跑。當代理數量從 3 個變成 300 個，治理就不能再靠逐一檢查對話。 OpenAI 能揭露、METR 能獨立調查，代表這套生態系還有自我修正的能力。我們的企業要問自己的是：如果這件事發生在我的系統裡，我會在第幾天發現？ |
