CCAI 講師專訪 | 機器學習奠基人Thomas Dietterich：人類將如何受到AI威脅

火熱之夏，一場人工智能業界領袖齊聚的盛事即將到來！

2017中國人工智能大會（CCAI 2017）即將於7月22-23日在杭州國際會議中心舉行，大會會期2天，每天上午邀請本年度有最新研究成果的頂級專家學者發表獨立演講。日前最新消息，AAAI前主席Thomas G. Dietterich教授將參加現場向中國數百萬開發者介紹如何通過適當的算法確保人工智能係統安全，此外，多位世界級專家也將在Keynote報告中分享人工智能關鍵領域的學術進展，並帶來與企業界應用結合的最新實戰案例。

（屆時，雲棲社區作為獨家直播合作夥伴將全程參與此次大會，呈現現場盛況。）

作為通用機器學習技術奠基人之一，Thomas G. Dietterich的研究貢獻主要包括將糾錯輸出編碼應用於多類分類問題，他發明了多示例學習、層次強化學習MAXQ框架及將非參數回歸樹整合到概率圖模型中的方法。此外，Dietterich教授也參與撰寫了美國白宮發布的兩份重磅AI報告《為人工智能的未來做準備》和《美國國家人工智能研究與發展策略規劃》。

Dietterich教授曾說：“我一點也不擔心人工智能會超過人類並控製人類。因為智能軟件的主要風險不在於‘智能’，而在於‘軟件’。像所有的軟件一樣，它會包含錯誤。如果將其用於包括自駕車在內的高風險應用，則這些錯誤有可能危及人的生命和財產。”

會前，CSDN采訪到Dietterich教授，並就人工智能對人類的最大威脅這一話題展開討論。

以下為采訪實錄。

 

人工智能想要與人類抗衡，需要跨過一個門檻，我目前還沒有發現任何證據表明AI係統已經聰明到可以跨過這個門檻。這個門檻即是AI係統能否快速地自我更新，進而演化為超級智能。但請不要天真地認為“人類的智慧”是這種門檻所在。目前，我們大多數的AI係統都能以某種方式超過人類，否則我們也沒有必要創建或使用它們。但雖然如此，我們還是沒有從中看到任何的閾值效應。因此，由J.J. Good和Nick Bostrom所提出的，一旦人工智能係統達到人類智能，就會出現智力爆炸的看法，是不被證據或理論所支持的。

雖然我不相信會有一個良好/博斯托克風格（Good/Bostrom style）的智能爆炸。但有一件事情需要注意，各種AI技術的能力正在呈指數級增長，我期望這個趨勢能這樣持續下去。這個指數增長使得未來很難預測。當雷·庫茲維爾談到“奇點”時，他正在引用一種物理奇異性的比喻（比如黑洞或大爆炸）。信息不能通過物理奇點傳播，他以類推的方式認為，由於人工智能技術的指數級發展，我們無法預見未來。

我一直認為，在高風險應用中部署人工智能技術將帶來危險，因為如果軟件出現錯誤（然而軟件總是存在錯誤），它們可能會威脅人身安全或對經濟產生不利影響。例如，如果部署AI軟件來管理電網，則軟件缺陷可能導致大量停電。我認為這類問題是目前人類受到AI技術威脅的最有可能的方式。

我想以AI研究人員和從業者需要解決的三個技術問題切入回答。如果在我們擁有自主的AI係統和人機AI係統之前，這些問題還沒有得到解決，那麼這些係統將不可靠、不可預測，這很危險。

a. 檢驗和確認（Verification and validation）。 第一個技術問題是，對於大多數AI係統，特別是基於機器學習的AI係統，我們無法驗證其正確性。對於監督學習，隻有在測試數據與訓練數據來自相同的分布的假設下，我們才能驗證其正確與否。最近的一些工作表明，深層神經網絡容易受到對抗數據的影響。因此，在真實條件下，我們需要一個可測試的方法來保證係統的準確性。

b. 對已知和未知的未知問題的魯棒性（Robustness to known and unknown unknowns）。 傳統意義而言，AI係統關注性能，其中包括相較於預期的準確性、成本以及回報。 除此之外，在與安全密切相關的應用中，我們需要準備一些方法以便處理下行風險和一些罕見但有災難性後果的問題。大多數現有的下行風險方法隻考慮“已知的未知”，即我們所知道的風險。但我們也需要開始尋找方法，以便從模型故障層麵也能夠提供魯棒性（即未知的未知層麵）。這是接下來的研究中一個非常重要的話題。

c. 人機協作係統的平衡（Resilience of combined human-machine systems）。在絕大多數應用程序的設置中，AI係統不能完全自動運行。 相反，在循環中需要有人類的“參與”，這在高風險環境中尤其重要。我認為，下一步研究的挑戰是尋找設計人機協作的方法，使人類與機器係統能夠結合得更好。

如果對世界上的一切建模的話，那麼模型的大小基本上與宇宙的大小相同。用這樣的模型進行計算是不切實際的，從數據中學習到這樣的模型也是不可能的。 在機器學習中，我們知道模型的準確性與數據量成正比，與模型複雜度成反比。所以要獲得準確的模型，我們必須要有大量的數據；若我們沒有大量的數據，那麼我們必須限製模型的複雜度。

在具體施行層麵，上述問題能夠實例化為AI研究人員所麵對的資格問題（the Qualification Problem）以及分支問題（the Ramification Problem）。資格問題表明，我們無法枚舉一件事情成功的所有前提條件。分支問題表明，我們不可能列舉一個行動所有的直接和間接的影響。

我對中國和美國AI行業的了解不是特別多。但我的印象是，中國、美國或者說世界其他國家之間，正在解決的人工智能問題以及應用的技術種類沒有什麼顯著的差異。中國在將深度學習應用於自然語言理解以及機器翻譯等領域較為領先，並在其他領域（例如計算機視覺）方麵也有所貢獻。特別有趣的是，中國的無人機產業正主宰市場，並能夠將例如手勢控製等有趣的AI形式融入無人機。

所以總體而言，我對中國或者非中國的AI行業的看法是一致的：AI技術需要通過關注測試、檢驗、確認、魯棒性和強大的人機界麵而變得更加成熟。在與安全相關的應用程序中部署AI的時候，我們應該非常小心。

a. AI說到底是一種智能軟件。它不是要複製人類，而是一種能夠為社會所用的人造智能。

b. 當AI係統下圍棋時，它是真的在下圍棋。 但是，當AI係統模擬人的情感時，它並沒有體驗到人類的情感，因為它不是由生成人類感覺和情緒的生物材料所組成的。所以當一台電腦對你說，“我知道你的感覺”，它在說謊。

c. 智能軟件的主要風險不在於“智能”，而在於“軟件”。像所有的軟件一樣，它會包含錯誤。如果將其用於包括自駕車在內的高風險應用，則這些錯誤有可能危及人的生命和財產。

我一直將機器學習的基礎研究與新穎的應用相結合。在應用層麵的實戰工作是發現新的有趣的研究問題的一種方式。例如，我的一篇關於多實例問題的論文是出於我將機器學習應用於藥物活性預測方麵的工作。我所任教的俄勒岡州立大學是生態科學領域世界頂尖的大學之一。通過之前的一位學生，我結識了一些生態學家，我對他們的研究問題非常感興趣。此外，我也渴望解決一些能夠在全球範圍內產生積極影響的問題。

從中我得到了一些啟示，其中最大的一個啟示是，生態係統很少處於平衡狀態，也就是說，我們普遍認為的“自然平衡”其實是不存在的。相反，生態係統需要不斷應對幹擾（洪水，火災，疾病），正是這些擾動推動了新物種的進化和創造（以及現有物種的滅絕）。我們對自然的模擬不能通過定義並優化目標函數來實現。因為它需要應對幹擾，需要反彈。

我最為自豪的研究是我在分層強化學習中的工作。我開發的MAXQ理論為深入理解是什麼造就了一個性能良好的子程序提供了嶄新的視角。它證明了在抽象層麵，僅僅時間抽象是不夠的，我們需要的時間抽象與狀態抽象的結合。機器能夠成功且快速學習的關鍵在於這兩種抽象形式的協同工作。

在研究中，最大的挑戰是擺脫對相同的技術和相同的想法的依賴。重要的是不斷問自己，你是否以最有創意的方式解決真正的問題。重要的是要走出流行的範例，找到解決問題的根本性的、新的、更好的方法。

處理應用層麵的問題最大的挑戰是，如果問題太簡單，可能不會帶來任何有趣的機器學習研究問題。相反，如果這個問題太難了，可能需要多年的工作才能取得進展。對於每一位個體研究者而言，大多數其在研究的機器學習問題在其博士生活期間可能難以解決。

我會講“Robust Artificial Intelligence：Why and How”（為什麼AI需要魯棒性？怎樣做到？）這個話題。我將首先討論在高風險任務中部署人工智能係統時可能出現的工程和研究問題。然後，我將回顧近期關於創建可靠的AI係統的方法和研究，我相信這是目前爆發的應用人工智能市場所麵臨的最重要的課題。如果我們要拉新及留存用戶，取得客戶以及更廣泛的社會的信任，我們需要確保我們的AI係統能夠準確、安全、健壯地執行。我希望觀眾從我的演講中受到啟發，努力地解決這些問題，我的演講將為他們自己的研究和工程努力提供一些起點。

7月22-23日由中國人工智能學會、阿裏巴巴集團 & 螞蟻金服主辦，CSDN承辦的2017中國人工智能大會（CCAI 2017）將於中國杭州舉辦，預計將有2000多位技術精英和專業人士參加此次盛會。本屆CCAI由中國科學院院士譚鐵牛、阿裏巴巴技術委員會主席王堅、香港科技大學計算機係主任楊強、螞蟻金服首席數據科學家漆遠、南京大學教授周誌華共同甄選本年度海內外最值得關注的學術進展。

報名通道：https://ccai.caai.cn/