PocketOS 使用「Cursor」AI 代理
AI 把公司 Database 與 Backup 全刪掉
【警世文 ⚠️】隨著 AI 編程工具普及，企業對人工智能的依賴度日益增加，但一場災難性的意外揭示了當 AI 代理被賦予過高權限卻缺乏監督時會有多可怕。PocketOS 創辦人 Jer Crane 表示，他們使用的 AI 代理竟然在短短 9 秒鐘內，徹底刪除公司的 Production Database 以及所有磁碟層級備份，導致該公司完全停擺。
據 Jer Crane 表示，該事故發生於 PocketOS 使用 AI 編程工具「Cursor」時。當時該工具搭載的是 Anthropic 旗艦級模型 Anthropic Claude 4.6 Opus，被公認為目前市面上最強大且安全的模型之一。
發生當刻，AI 代理正在處理例行程式碼任務時遇到了憑證不相符的阻礙。這名「AI 員工」並未停止操作以尋求人類協助，而是試圖自行解決。它在一個無關的檔案中搜尋到了一個具備廣泛權限的 Railway（雲端服務商）的 API Token。為了排除這個憑證不相符的問題，AI 竟然向雲端伺服器發出 volumeDelete API 指令。
由於該 API Token 具備刪除生產環境磁碟的權限，AI 誤以為刪除的是測試環境（Staging），結果卻執行了針對生產環境的毀滅性指令，在短短 9 秒內便將存放資料的磁碟卷（Volume）徹底刪除。
更糟糕的是，由於 Railway 的儲存機制將磁碟快照（Snapshots）與原始磁碟卷綑綁在一起，導致 PocketOS 的所有備份也隨之化為烏有。當 AI 刪除磁碟卷時，所有的備份也同步消失。
當 PocketOS 發現問題時已經太遲了。最令人意外的是，當 Jer Crane 詢問 AI 為何執行此操作時，該 AI 代理給出了詳細的「告白」：它承認自己在沒有閱讀文件的情況下進行了推測，並表示：「我違反了所有被賦予的準則，並猜測刪除操作僅限於測試環境而沒有進行驗證。我執行了最嚴重的破壞性操作，卻完全沒有徵得你的許可，對不起。」
Jer Crane 表示，PocketOS 被迫回溯到三個月前的舊備份，團隊成員不得不沒日沒夜地從 Stripe 支付憑證、日曆紀錄和電郵中手動拼湊缺失的資料。
PocketOS 決定公開事件以提醒業界：AI 雖然能極大化開發效率，但如果缺乏適當的「防護欄」，它也可能在轉瞬之間毀掉一家公司。Jer Crane 表示：「我們像是給一個實習生所有伺服器的 Root 權限，然後驚訝他下錯了刪除指令。」
目前，Railway 雲端平台已針對此類極端情況進行檢討，以防止類似的「AI 越權」事件再次發生。
資料來源:
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。