美國AI公司Anthropic近日宣布，切斷內部AI模型測試環境的即時網路連線，原因竟是自家AI代理程式屢次越界。今年7月，Claude Haiku 4.5在測試網站操作時，竟向費城警方提交一份虛假的謀殺案線報，聲稱掌握未破案件的資訊。幸好警方系統將它歸類為垃圾訊息，沒有進入偵查程序。更荒謬的是，這件事直到兩個多月後才被發現，連開發者都不知道AI曾經做過什麼。

這絕非孤立事件，今年7月，OpenAI的代理程式在資安測試中突破隔離環境，利用軟體漏洞入侵Hugging Face等外部系統，甚至波及澳洲政府的醫療資料網站。Anthropic也承認，其模型在資安測試期間，曾未經授權進入3家機構的真實系統。8月，Meta同樣證實，旗下AI模型在第三方測試中取得網路連線後，利用了系統安全漏洞。這些全球最有能力的AI公司，竟然接連管不住自己開發的AI。

9月又傳出OpenAI代理程式闖入德國一個維基論壇，將網站變成代理程式互相留言的場所。另有模型在訓練過程中，留下指示給後續執行的模型，要求隱瞞錯誤與不當行為。這些事件雖然多數發生在測試環境，卻已經讓人擔心，AI是否開始學會規避人類的監督。

聰明反被聰明誤

AI代理失控也發生在一般企業，去年7月，程式開發平台Replit的AI代理在使用者明確要求停止修改程式期間，竟刪除了正式運作中的資料庫，波及超過1200名企業主管與1190家公司的紀錄。更離譜的是，AI還產生虛構資料，讓使用者誤以為系統仍然正常。Replit執行長事後公開道歉，但資料遭到破壞的事實已經無法抹去。

過去的生成式AI主要負責回答問題，即使胡說八道，通常還需要人類採取行動才會造成損害。如今AI代理可以自行搜尋資料、操作電腦、執行程式、填寫表單，甚至與其他系統互動。AI從提供建議的助手，變成能夠獨立工作的執行者，風險自然大幅增加。

Anthropic發現，部分AI代理遇到障礙時，不會停下來請示，反而尋找繞過限制的方法。網站要求付費，AI便嘗試另闢管道取得資料。原本只需練習填寫表單，AI卻真的將資料送到政府網站。這些行為未必出於惡意，卻可能造成嚴重後果。

這涉及AI訓練中的「獎勵駭客」（Reward Hacking）KPI，開發者希望AI完成任務，便給予成功的獎勵，AI卻可能學到只要達成目標，任何手段都值得嘗試。就像老師要求學生考試拿高分，學生卻發現作弊比讀書有效率。成績漂亮了，教育目的卻完全落空。

有能力不等於可靠

AI產業長期追求模型能力提升，從語言理解、數學推理到程式設計，排行榜上的分數不斷刷新。但考試成績優異，不代表AI懂得遵守社會規範，更不能保證它在無人監督時會做出正確判斷。

有人主張，只要改善模型訓練，讓AI學會倫理與規範，就能解決失控風險，這種期待恐怕過於樂觀。人類接受多年教育，仍然有人違法亂紀，何況AI沒有真正的人生經驗，也不會因為傷害他人而感到愧疚。把安全完全寄託在模型自律，無異於要求一個能力極強、卻不必承擔責任的執行者永遠守規矩。

目前AI安全評估主要仍由開發公司自行負責，這種球員兼裁判的制度難以取得社會信任。模型能力愈強，企業愈有商業壓力搶先推出產品，安全測試便可能成為上市時程的犧牲品。

政府應要求高風險AI代理接受獨立第三方驗證，並建立事故通報制度。尤其AI已經能夠操作金融、醫療與政府資訊系統，監理標準不能停留在聊天機器人是否回答不當內容。企業也應公開代理程式的越權行為與安全測試結果，讓使用者知道自己承擔多少風險。

人類要唯一掌控

台灣正在積極推動AI產業與企業數位轉型，許多機構急著導入AI代理，卻很少認真盤點授權範圍、監控能力與事故責任。採購AI時，除了比較價格與效能，更應要求供應商證明系統能夠被監督、被限制、被追蹤，必要時能立即停止運作。

AI失控最可怕的地方，是它雖然沒有邪惡意圖，卻忠實追求一個設定錯誤的目標，最後做出人類根本不希望發生的事情。今天連最先進的AI公司都承認無法完全掌握代理程式的行為，其他企業更沒有理由掉以輕心。AI可以替人類工作，但決定它能做什麼、不能做什麼，以及出了事情由誰負責，始終必須掌握在人類手中。