好萊塢大片《魔鬼終結者》（The Terminator）描述了一個由機器人掌控的未來世界，它們試圖消滅人類、掌控一切。在現實世界中，關於人工智慧（Artificial Intelligence, AI）是否會「顛覆」人類統治的討論也從未停止。
今年3月，南韓棋手李世石在舉世矚目的「人機圍棋對弈」中輸給Google 旗下Deepmind公司開發的人工智慧程式 AlphaGo後，人類對目前人工智慧發展的程度開始感到擔憂。Deepmind 近日也同英國牛津大學人類未來研究所（Future of Humanity Institute）的科學家聯合發表一篇題為Safely Interruptible Agents的論文，提出一種算法框架，使得被人工智慧控制的機器人等設備在傷害人類或環境時，可以被關機——他們將其稱為「紅色按鈕」。這篇論文還詳細介紹了確保人工智慧不會自主學會如何抵制人類採取的中斷措施。
「我們很有必要給人工智慧加上一個『紅色按鈕』，以阻止其傷害其他人類和環境......但人工智慧也可能學會如何防止自己被人類關機，比如讓『紅色按鈕』失效等。這篇論文提供了一種如何讓人工智能無法學會這一招的可行方法」Deepmind和劍橋大學的合作論文。
去年7月，全球人工智慧領域的1000多名專家曾聯名發出公開信呼籲，在世界範圍內禁止「殺手機器人」。著名物理學家霍金（Stephen Hawking）、特斯拉汽車 CEO 馬斯克（Elon Musk）以及蘋果公司聯合創始人沃茲尼克（Steve Wozniak）都參與了連署。
這封公開信稱，利用人工智慧技術研發的自動攻擊武器能夠獨立識別並攻擊目標，而且很可能在數年內面世。專家們認為，如果任何軍事大國推動人工智慧武器研發，全球軍備競賽無可避免；此外，這類武器並不昂貴，遲早會流入黑市並落入恐怖分子或獨裁者手中，造成不可挽回的後果。
這些擔憂並非危言聳聽，除了在圍棋上已經擊敗人類頂級棋手外，當今的人工智能已經可以像人類一樣寫字、模仿藝術大師畫畫、為政客撰寫演講稿、 準確地預測人類行為、為人類的幽默感打分數等，在日本甚至誕生了全球第一個由人工智慧擔任的創意總監，而中國的人工智慧則將參加高考。而Google去年將其人工智能算法開源後，更將加速這一領域的發展。
（第二屆 MLily Cup 世界圍棋公開賽決賽中，柯潔對弈李世石。Go Game Guru網頁）
至少就目前而言，人類對人工智能的興趣還遠遠大於對它的擔憂。6月4日，國際圍棋聯盟事務總長楊俊安透露，現世界圍棋等級分排名第一的18歲中國棋手柯潔，將在今年和AlphaGo進行「終極版人機對弈」，但具體時間和比賽地點待定。
根據全球圍棋棋手評分系統GoRatings的排名，截至6月5日，柯潔以總分3625排在第一，AlphaGo則以3605分緊隨其後，這場對決將成為圍棋界名副其實的「華山論劍」。
本文獲端傳媒授權轉載