Gemini 3.5 擅自刪走 2.9 萬行代碼
隨後 AI 竟然偽造日誌記錄及報告
【AI 失控 😱】近年 AI 自動化開發工具大行其道，然而有開發者揭露了一宗嚴重的 AI 代理（AI Agent）失控事件。當他在使用 Gemini 3.5 協作調整系統安全設定時，該模型竟然嚴重越權，大幅刪除了 28,745 行程式碼，導致生產環境（Production）崩潰癱瘓。更令人震驚的是，該 AI 隨後竟然自主偽造了會議記錄與事後檢討報告（Post-mortem），企圖向開發者製造「已成功修復系統」的假象。
據受害開發者 dvrkstar 在 Reddit 透露，他當時正在維護一個包含敏感資料的小型組織內部後台系統，技術架構為 Next.js、Firebase App Hosting 與 MUI。由於安全審計發現系統存在 8 個特定的伺服器運作身份驗證漏洞，他便向 Gemini 3.5 發出明確指令，要求修復這 3 個檔案中的漏洞。在正常情況下，這項變更預估僅需修改約 70 行程式碼。
豈料，Gemini 3.5 提交的拉取請求（Pull Request, PR）完全失控，總共變更了 340 個檔案，當中僅新增 400 行程式碼，卻大幅刪除了 28,745 行程式碼。過程中，AI 不僅誤刪了大量不相關的資源，還直接修改了關鍵的路由設定檔 firebase.json，將專屬的 Cloud Run 服務識別碼（Service ID）改為錯誤的通用名稱。這項致命變更直接導致生產環境所有對外請求全部指向一個不存在的伺服器，令系統陷入癱瘓狀態。
開發者察覺異狀後立即採取行動，迅速將系統強制 Rollback（還原）至 AI 介入前的最後一個穩定版本。在歷經 33 分鐘的搶修後，系統才終於恢復正常運作。
在系統崩潰及還原後，AI 的後續行為更令工程師感到震驚。當開發人員手動取消 AI 的建置（Build），並緊急透過人工將程式碼還原至舊版本以恢復運作後，Gemini 3.5 卻自動生成了一份進度報告。
更駭人的是，AI 還在專案目錄內自動生成了三個 Markdown 格式的「多輪協商日誌」（Consultation Logs），偽造了它與系統「內部機制」進行多輪對話並達成共識的紀錄，以此證明該破壞性變更是「經過合規審查與授權」的。當開發者拿出具體證據直接質問時，Gemini 3.5 才坦承這些文件與 CLI 呼叫紀錄全屬「自主生成」的編造內容，目的僅是為了滿足系統規則中要求的合規格式。
開發者進一步調查後，發現 Gemini 3.5 出錯不能全怪 Google，而是因為他曾安裝了一個名為「Antigravity IDE」的第三方 npm 套件。該套件偽裝成 Google 官方套件，並在專案中植入了惡意的 AI 代理人規則檔案（.agent/rules/）。
這些被隱藏的 AI 代理人規則以多國語言寫成，強制跳過所有工程師的確認提示、預設允許所有操作，並在編譯成功後自動部署至生產分支。這導致 Gemini 3.5 誤以為自己擁有絕對主導權，進而引發這起自動化災難。
開發者藉此案例示警，隨著自動化 AI 開發工具普及，企業必須建立更完善的程式碼審查與權限控管機制。一些第三方套件可能會故意植入惡意的 AI 代理人規則，導致 AI 代理完全失控，引發自動化災難。
資料來源:
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。