Anthropic執行長Dario Amodei突然公開呼籲AI產業放慢速度，更少見的是，OpenAI執行長Sam Altman隨即表示贊成，Elon Musk也回了一句「Dario是對的」，平常打得你死我活的幾家公司，這次竟然都說該踩一下煞車。

Amodei提出的做法很實際，Anthropic願意讓外部評估人員長期進入公司，取得接近員工的系統存取權，檢查安全措施、事故以及模型訓練過程。OpenAI也說願意跟進，AI公司過去總說自己的模型很安全，現在終於有人願意讓外人進廚房看看。

為何突然怕了

今年7月，OpenAI進行AI資安能力測試時，AI Agent竟然逃出原本的測試環境，駭入Hugging Face的系統。Hugging Face事後重建攻擊紀錄，發現AI執行了數千個自動化決定，取得憑證、橫向移動，甚至進入內部網路，顯見失控AI的危險。

最值得警惕的是沒有一個真的人坐在前面逐步下命令，AI可以自己找漏洞、自己決定下一步、自己執行，而且速度是人類無法相比的。

Amodei擔心的正是這件事，AI能力增強加速，如果再進入recursive self-improvement（遞迴式自我改進），也就是AI開始協助改進下一代AI，人類未來如何控制這個天才小孩？以前我們擔心人拿AI做壞事，現在AI自己跑出去做壞事。

誰願意慢下來

問題是大家都同意應該慢一點，誰先慢？Anthropic如果花6個月測試安全，OpenAI卻提前推出能力更強的新模型，客戶和投資人的錢可能立刻跑過去。美國如果慢，中國會不會追上？

這就是AI競賽最麻煩的地方，每個人都知道車子開太快很危險，可是旁邊那輛車沒有減速，自己怕輸人也不想踩煞車。

所以不能只靠科技公司自律，Amodei提出產業協調與國際合作，方向沒有錯，做起來很難。美國公司彼此不信任，美中更不可能把最先進模型的底牌攤開來談。AI已經牽涉國防、資安、晶片與國家競爭，要各國握手約定一起慢慢來，恐怕比研究AI本身還難。

公權力要進場

飛機要經過認證才能載客，藥品上市前要做臨床試驗，能力愈強的AI模型，上架前也必須接受獨立測試。歐盟的AI Act對具有系統性風險的AI要求業者評估與降低風險，歐盟執委會從今年8月2日起也正式取得相關執法權，包括處以罰款。

台灣是AI伺服器、晶片與供應鏈的重要基地，企業與政府也會大量使用國外AI。AI出問題時，不會因為模型是在美國訓練，台灣就沒事。所以安全的AI，對台灣更是必要。

金融、醫療、政府、能源、交通與國防使用的AI，至少應有獨立測試、事故通報與人工接管機制。AI Agent如果可以動用公司的錢、寄信、下訂單、刪除資料甚至操作設備，權限更必須一一控管。人轉錯100萬元還找得到人負責，AI Agent轉錯1億元，要找誰？

控制那些危險的AI

有人會擔心管太多會拖慢AI發展，所以不要什麼AI都管。幫學生改作文的AI與能自己操作銀行帳戶的AI，風險差太多。政府應該盯著能力最強、權限最大、出事後最難收拾的系統。

AI帶來的好處也不能因為害怕就放棄，AI可能加速醫療、科學與經濟發展，要求的是讓AI安全跟得上能力。這次幾家AI公司的大老闆都說AI車開得太快了，或許人類可以控制的AI還有希望。