724
AI的黑盒
沒有人真的知道最先進的算法如何思考，這可能是一個可怕問題。
一年前，一輛奇怪的自駕車被釋放到新澤西州蒙茅斯縣的寧靜道路上。由芯片製造商Nvidia的研究人員開發的實驗車輛與其他自主汽車並沒有什麼不同，但與Google，特斯拉或通用汽車公司所展示的不同，它顯示了人造智能的上升。汽車沒有遵循由工程師或程序員提供的單一指令。相反，它完全依賴於通過觀察人類來教導自己駕駛的算法。
開車是一個令人印象深刻的壯舉。但這也有點令人不安，因為汽車做出決定並不完全清楚。來自車輛傳感器的信息直接進入人造神經元的巨大網絡，處理數據，然後傳遞操作方向盤，製動器和其他係統所需的命令。結果似乎與您期望從人類驅動程序的響應相匹配。但是，如果有一天它做了一些意想不到的事情撞上一棵樹，或者停綠燈上呢？現在，現在可能很難找出原因。該係統非常複雜，即使是設計它的工程師也在嚐試解釋他的行為成因。你不法找到答案：設計這樣一個係統是明顯的方法總能解釋為什麼它做了某件事情。
這輛車的神秘思想指出人造智能的一個迫在眉睫的問題。汽車的底層AI技術，被稱為深度學習，近年來在解決問題上已經被證明是非常有力的，它已被廣泛應用於圖像字幕，語音識別和語言翻譯等任務。現在希望同樣的技術能夠診斷致命的疾病，做出百萬美元的交易決定，並且做無數的其他事情來改變整個行業。
但這不會發生 - 或者不應該發生 - 除非我們找到方法，使深入學習的技術更容易理解為創作者，並對其用戶負責。否則，難以預測何時會發生故障，而且這是不可避免的。 Nvidia的車仍然是試驗的一個原因。
已經使用數學模型來幫助確定誰做假釋，誰被批準貸款，以及誰被聘請工作。如果您可以訪問這些數學模型，可以了解他們的推理。但是銀行，軍方，雇主和其他人正在將注意力轉向更複雜的機器學習方法，這樣可以使自動化決策完全不可思議。深入學習，最常見的這些方法，代表了一種根本不同的計算機程序。麻省理工學院教授塔米·賈科科拉（Tommi Jaakkola）說：“這是一個已經相關的問題，未來將會更加相關。” “無論是投資決定，醫療決定還是軍事決定，您都不希望隻依靠”黑匣子“的方法。
已經有一個論點，能夠詢問人工智能係統，如何達成結論是一項基本的法律權利。從2018年夏天開始，歐盟可能要求公司能夠給用戶解釋自動化係統達到的決策。即使對於表麵上相對簡單的係統，例如使用深度學習來投放廣告或推薦歌曲的應用程序和網站，這恐怕不可能。運行這些服務的計算機已經進行了編程，並且已經以我們無法理解的方式完成了這些。即使構建這些應用程序的工程師也無法完全解釋他們的行為。
這引起了令人難以置信的問題。隨著技術的進步，我們可能很快會跨越一個門檻，超過這個閾值，使用AI需要一個信念的飛躍。當然，我們人類也不能總是真正地解釋我們的思想過程，但是我們可以直觀地信任和衡量人們。這樣做也可能與想像和做出決定的機器與人類的方式不同嗎？我們從未建造以創作者不明白的方式運作的機器。我們可以期待如何溝通，並與智能機器相提並論，這些機器可能是不可預知和難以置信的？這些問題讓我走上了AI算法研究的出路，從穀歌到蘋果和許多地方，包括與當時偉大的哲學家之間的會議。
2015年，紐約西奈山醫院的一個研究小組受到啟發，將深入學習應用於醫院龐大的患者記錄數據庫。該數據集包含數百個患者變量，從測試結果，醫生訪問等方麵。研究人員命名為Deep Patient（深井病人）的結果程序使用來自約70萬個人的數據進行了培訓，當在新記錄上進行測試時，它在預測疾病方麵證明是非常好的。沒有任何專家指導，Deep Patient發現隱藏在醫院數據中的模式，似乎表明人們正在前往廣泛的疾病，包括肝癌。引導西奈山隊的Joel Dudley說，有很多方法在預測患者記錄中的疾病方麵“相當不錯”。但他補充說：“這隻是更好。”
同時，深度患者有點令人費解。似乎預料精神分裂症如精神分裂症的出現令人驚訝。但是由於精神分裂症對於醫生來說是非常困難的，所以達德利想知道這是否可能的。他還不確定——這個新工具沒有提供任何線索。如果像Deep Patient這樣的事情實際上會幫助醫生，那麼理想的情況就是給予他們預測的理由，讓他們確信它是準確的，並證明有人正在處方藥的變化。 “我們可以建立這些模型，”達德利說，“但我們不知道他們如何工作。”
人造智能並不總是這樣的。從一開始，AI就應該是可以理解的或可以解釋的。許多人認為最有意義的是構建根據規則和邏輯推理的機器，使其內部工作對任何關心審查一些代碼的人都是透明的。其他人認為，如果機器從生物學中獲得靈感，並通過觀察和體驗學習，情報就會更容易出現。這意味著將電腦編程放在頭上。程序員不用編寫命令來解決問題，而是根據示例數據和期望的輸出生成自己的算法。後來演變成當今最強大的AI係統的機器學習技術遵循後一種途徑：機器本身是程序本身。
起初這種做法的實際應用是有限的，而在六十年代和七十年代，它仍然主要局限於該領域的邊緣。那麼許多行業的電腦化和大數據集的出現又引起了人們的興趣。這激發了更強大的機器學習技術的發展，特別是被稱為人造神經網絡的新版本。到20世紀90年代，神經網絡可以自動數字化手寫字符。
但是，直到這個十年的開始，經過幾次巧妙的調整和改進，那麼非常大或“深”的網絡網絡顯示出自動感知的顯著改進。深入學習對今天AI的爆炸負責。它賦予了計算機非凡的力量，就像能夠識別口語幾乎和一個人一樣，這個技能太複雜，無法用手編碼到機器中。深刻的學習改變了計算機視覺，大大提高了機器翻譯。現在正用於指導醫藥，金融，製造業等方麵的各種關鍵決策。
任何機器學習技術的工作本質上比手工編碼係統更不透明，甚至對計算機科學家來說也是不透明的。這並不是說所有未來的AI技術將同樣不可知。但是由於其本質，深刻的學習是一個特別黑暗的黑匣子。
你不能隻是看一下深層神經網絡，看看它是如何工作的。網絡的推理嵌入到成千上萬個模擬神經元的行為中，排列成數十甚至數百個錯綜複雜的互連層。第一層中的神經元各自接收輸入，如圖像中的像素的強度，然後在輸出新信號之前進行計算。這些輸出在複雜網絡中被饋送到下一層中的神經元，等等，直到產生總體輸出。此外，還有一個稱為反向傳播的過程，以一種使網絡學習產生所需輸出的方式來調整單個神經元的計算。
深層網絡中的許多層次使其能夠識別不同抽象層次的事物。例如，在旨在識別狗的係統中，較低層識別簡單的東西，如輪廓或顏色;更高層識別更複雜的東西，如毛皮或眼睛;最頂層將其全部標識為狗。粗略地說，相同的方法可以應用於引導機器教導自己的其他輸入：構成語音中的單詞的聲音，在文本中創建句子的字母和單詞，或駕駛所需的方向盤運動。
“這可能是智力本質的一部分，隻有其中的一部分才能被理性地解釋。有些隻是本能的。“
已經使用巧妙的策略來捕獲並因此更詳細地解釋了這樣的係統發生了什麼。 2015年，Google的研究人員修改了基於深度學習的圖像識別算法，以便不會在照片中發現對象，而是會生成或修改它們。通過有效地運行算法，他們可以發現程序用來識別鳥類或建築物的特征。由一個名為“深夢”的項目產生的圖像顯示出從雲和植物出現的怪異的外星人動物，以及在森林和山脈上綻放的幻覺塔。這些圖像證明，深刻的學習不一定是完全不可思議的;他們透露，算法歸功於熟悉的視覺特征，如鳥的喙或羽毛。但是，這些圖像也暗示了人類知覺的不同深度學習的不同之處，因為它可能會使我們知道忽略的一件事情擺脫出來。穀歌研究人員指出，當它的算法產生一個啞鈴的圖像時，它也產生了一個持有它的人類手臂。機器得出結論，一隻手臂是這件事的一部分。
使用神經科學和認知科學借鑒的思想進一步取得進展。由懷俄明大學助理教授傑夫·克倫（Jeff Clune）領導的一個團隊，采用AI相當於幻覺來測試深層神經網絡。 2015年，Clune的小組展示了某些圖像如何愚弄這樣一個網絡來感知不在的東西，因為這些圖像利用了係統搜索的低級模式。 Clune的合作者之一，Jason Yosinski也建立了一個工具，像一個探針卡在大腦中。他的工具瞄準網絡中間的任何神經元，並搜索最多激活它的圖像。呈現的圖像是抽象的（想象一個印象派在火烈鳥或校車上），突出了機器的感性能力的神秘性質。
然而，我們需要的不僅僅是AI的想法，也沒有簡單的解決方案。深層神經網絡中的計算的相互作用對於更高層次的模式識別和複雜的決策是至關重要的，但是這些計算是數學函數和變量的泥。。 “如果你有一個非常小的神經網絡，你可能可以理解它，”Jaakkola說。 “但是，一旦它變得非常大，它每層有幾千個單位，也可能有數百層，那麼這是不可理解的。”
在Jaakkola旁邊的辦公室是麻省理工學院教授Regina Barzilay，他決心將機器學習應用於醫學。幾年前，她在43歲時被診斷患有乳腺癌。診斷本身令人震驚，但是Barzilay也感到失望的是，前瞻性的統計學和機器學習方法沒有被用來幫助腫瘤研究或指導病人治療。她說，AI具有巨大的革命醫學潛力，但意識到這一潛力意味著超越醫療記錄。她設想使用更多的原始數據，她說目前未得到充分利用：“成像數據，病理數據，所有這些信息”。
去年完成癌症治療後，Barzilay和她的學生開始與馬薩諸塞州總醫院的醫生合作開發一個能夠開采病理學報告的係統，以確定研究人員可能想要研究的特定臨床特征的患者。然而，Barzilay理解，該係統需要解釋其推理。所以，與Jaakkola和一個學生一起，她增加了一個步驟：係統提取和突出顯示代表其發現的模式的文本片段。 Barzilay和她的學生們也在開發一種能夠在乳房X線照片圖像中發現乳腺癌早期症狀的深度學習算法，並且旨在給予該係統一些解釋其推理能力的能力。 “你真的需要一個機器和人類合作的循環，”-Barzilay說。
美國軍方正花費數十億美元投入於使用AI學習如何飛行駕駛，確定目標，並幫助分析人員篩選大量情報數據。在這裏，除了其他任何地方，甚至超過了醫學，還沒有算法神秘的空間，國防部已將可解釋性認定為關鍵的絆腳石。
國防高級研究計劃署的項目經理David Gunning正在監督適當的可解釋人工智能計劃。該機構的銀發老將曾經監督DARPA項目，最終導致Siri的創立，Gunning說自動化正在爬進無數的軍事領域。情報分析師正在測試機器學習，作為識別大量監控數據模式的一種方式。許多自主地麵車輛和飛機正在開發和測試。但士兵們對機器人坦克來說也不會感到舒服，這並不能解釋自己，分析人士也不願意在沒有推理的情況下對信息采取行動。 “這些機器學習係統的性質通常會產生大量的虛假警報，所以英特爾分析師真的需要額外的幫助才能理解為什麼要做出建議，”Gunning說。
今年三月，DARPA選擇了13個來自學術界和行業的項目，在Gunning計劃下資助。其中一些人可以在華盛頓大學教授卡洛斯·賓格林（Carlos Guestrin）領導下工作。他和他的同事們為機器學習係統開發了一種方法，為他們的產出提供了理由。基本上，在這種方法下，計算機自動從數據集中找到幾個示例，並在簡短的解釋中提供它們。例如，將電子郵件分類為來自恐怖分子的係統可能會在其培訓和決策中使用數百萬條消息。但是使用華盛頓隊的方法，它可以突出顯示某個消息中的某些關鍵字。他們的團隊還設計了圖像識別係統，通過突出顯示最重要的圖像部分來提示其推理。
這種方法的一個缺點和像Barzilay這樣的其他方法的缺點是，所提供的解釋將始終是簡化的，這意味著一些重要的信息可能會丟失。 “我們還沒有實現整個夢想，這是AI與你交談的地方，它能夠解釋，”賓格說。 “我們距離真正解釋的AI還有很長的路要走。”
這不一定是像癌症診斷或軍事演習這樣的高風險情況成為一個問題。了解AI的推理也將是至關重要的，如果技術是成為我們日常生活中常見和有用的部分。領導蘋果Siri團隊的Tom Gruber說，可解釋性是他的團隊的一個關鍵考慮因素，因為它試圖使Siri成為一個更聰明，更有能力的虛擬助手。 Gruber不會討論Siri未來的具體計劃，但很容易想像，如果您收到Siri的餐廳推薦，您會想知道推理是什麼。蘋果公司的AI研究總監和卡內基梅隆大學的副教授Ruslan Salakhutdinov認為可解釋性是人與智能機器關係發展的核心。 “這將會引入信任，”他說。
人類行為的許多方麵都不可能詳細解釋，也許AI不可能解釋它所做的一切。懷俄明大學的克隆（Clune）說：“即使有人可以給你一個合理的解釋（對於他或她的行動），它可能是不完整的，對AI也是如此。 “這可能隻是智力本質的一部分，隻有其中的一部分才能被理性地解釋。其中一些隻是本能的，或潛意識的，或不可思議的。“
如果是這樣，那麼在某個階段，我們可能隻需要信任AI的判斷或不使用它。同樣，這一判斷將必須納入社會情報。正如社會建立在預期行為合約上一樣，我們將需要設計AI係統來尊重和符合我們的社會規範。如果我們要創造機器人坦克和其他殺戮機器，那麼他們的決策與我們的道德判斷是一致的。
為了探索這些形而上學的概念，我去了塔夫茨大學，與著名的哲學家和認知科學家丹尼特（Daniel Dennett）會麵，他們研究意識和心靈。丹尼特最新的一本書“從細菌到巴赫和後退”，一本關於意識的百科全書論文，表明智力本身發展的一個自然部分是創造能夠執行其創作者不知道如何做的任務的係統。 “問題是，我們必須明智地做些什麼，我們要求他們和我們自己有什麼標準？”他在大學田園詩般的校園裏的雜亂無章的辦公室裏告訴我。
他還有一個關於追求可解釋性的警告。 “我認為，如果我們要使用這些東西並依靠它們，那麼讓我們盡可能地抓住他們如何以及為什麼盡可能地給我們答案，”他說。但由於可能沒有完美的答案，我們應該像我們人類對待彼此一樣謹慎的對待AI解釋 - 無論機器看起來有多聰明。他說：“如果說AI比我們更擅長解釋，那就不要信任它。”
轉載：知乎專欄 — 張壞水
最後更新：2017-06-22 12:31:39