Nature：人工智能研究的盲點

Kate Crawford 和Ryan Calo認為：研究員擔憂人工智能未來所帶來的影響，會使得他們部署係統時分心。

芝加哥警察使用算法係統預測可能卷入射擊案的人，但這些試驗被證明很大程度上是無效的

上周，白宮發表了一份關於人工智能未來的報告- 是2016年5月至7月在西雅圖，匹茲堡，華盛頓和紐約召開的四個研討會的討論結果。（點擊查看）

在這些活動中，許多來自不同領域的引領世界的思考者們討論了人工智能將如何改變我們的生活方式。幾十份報告都顯示了運用機器學習和其他人工智能技術處理日常複雜事務的展望。這些範圍從識別象征早期癌症的皮膚改變到減少數據中心的能源成本。

這些研討會還強調了人工智能中的主要盲點。從醫院到法庭，自治係統已經被部署在我們最重要的社會機構。然而卻沒有一致的方法來評估這種應用對人類群體的持續影響。

近年來，人工智能技術領域取得了非凡的進步。伴隨著這些進步，各個學科的設計師和研究人員都需要對人工智能進行所謂的社會係統分析。他們需要評估技術對社會，文化和政治環境的影響。

用社會係統方法進行調查，例如，調查 AiCure如何改變醫患關係，AiCure可以追蹤患者是否堅持服用處方藥物並給醫生發送記錄。這種方法還可以探討使用曆史數據預測將要發生的犯罪是否會對偏遠社區過度警化。它還可以調查為什麼高滾動投資者有權了解他們代理人的財務決策，而低收入的求貸者往往想知道他們被拒絕的原因。

◆ ◆ ◆

一個突出的問題

“人們擔心電腦會太聰明以至於接管世界，但真正的問題是，他們還很愚蠢就已經接管了世界。”這是計算機科學家Pedro Domingos在他2015發行的《主算法》一書中總結出的。甚至許多研究人員拒絕展望 “技術奇點”，說這個領域太年輕，人工智能係統相對未經考驗，僅支持向社會機構引入導論。

由於人工智能研究人員的熱情，這樣的係統已經被醫生用來指導診斷。律師事務用來預測客戶案例獲勝的可能性，被金融機構用來幫助決定誰獲得貸款，被雇主用來指導招聘。

分析人士預計對人工智能係統的使用會迅速增加。目前的市場分析認為人工智能應用擁有數十億美元的經濟價值（見圖“ON THE RISE”），IBM的首席執行官Ginni Rometty認為未來十年在人工智能係統方麵有數不清的機會。誠然，估計是很難做的，部分原因是因為對人工智能包括哪些沒有達成共識。

 

人工智能技術方麵的投資今幾年不斷上升

人工智能在預測和指導決策方麵不一定會比人類的操作更糟糕。相反，工程師們樂觀地認為，人工智能可以幫助檢測和減少人類偏見。但研究表明，盡管人工智能總體上帶來積極影響，但依然對弱勢群體（因種族，性別和社會經濟背景等因素成為弱勢群體）產生些許負麵影響。

在2013年的一項研究中發現，在穀歌中搜索最常見的黑人名字比搜索白人特征的名字更容易碰到搜索犯罪記錄的廣告，其可能性高出25%。在另一個關於種族的研究中， 2016年5月的ProPublica調查發現，被法官常用來幫助確定犯罪風險的專有算法誤判黑人的可能性比誤判白人高了幾乎兩倍。

◆ ◆ ◆

三種工具

如何避免這種偏見的影響？到目前為止，已經有三種主要的模式應對人工智能係統的社會和倫理影響：合規性，“設計的價值”和思想實驗。

這三種模式都有價值，但沒有一個能夠單獨有效或完全有效。

◆ ◆ ◆

部署和遵守

公司普遍按照基本步驟，堅持貫徹一套行業的最佳做法或堅持遵守法律義務，以避免政府、媒體等其他審查。這種方法可以產生短期的好處。2015年，穀歌在係統錯誤地將非洲裔美國人夫婦判斷為大猩猩後調整了其圖像識別算法。穀歌還提出了在人工智能係統中引入 “紅色按鈕”， 係統失控時研究人員可以通過按紅色按鈕控製係統。

與此類似的事情也在Facebook發生，一張普利策獲獎照片呈現了一名名叫Kim Phúc的女孩在越南逃離凝固汽油彈攻擊後全身裸體的樣子，公眾對這張照片通過審查發布在Facebook表示強烈不滿，Facebook因此破例刪除了網站上跟裸體兒童相關的圖片。就在上個月，幾個領頭的人工智能公司，包括微軟、亞馬遜和IBM，在推動公眾對人工智能的理解和發展部分人工智能標準上進行合作。

然而，“部署和遵守”的方法隻是暫時的對策。如果缺少一定量的批評和獨立的貢獻者，行業的努力是無效的。新一輪的人工智能合作正在邀請倫理學家和民間社會組織參與。公開地進行人工智能係統現場測試的合作是相對自由的，沒有在中期甚至是短期影響上進行持續的研究，擔憂仍然存在。

◆ ◆ ◆

設計的價值

在Batya Friedman和Helen Nissenbaum等有影響力的技術倫理設計先驅的努力下，如今，研究人員和公司已經能夠部署諸如價值敏感設計或“責任創新”等框架，以幫助他們找出潛在的利益相關者及其價值。焦點小組或其他技術被用來建立人們對個人隱私，環境等的看法。之後，潛在用戶的價值就被納入到了技術設計中，這項技術可以是手機應用，也可以是無人駕駛car5。人工智能係統的開發人員應該更多地借鑒這些重要方法。

然而，這樣的方法通常是以一種假設為前提，那就是係統一定會被構建。所以這樣的方法不太能夠幫助設計者、政策製定者或社會團體去決定是否應該建立這樣一個係統，或者去決定一個模型是不是太過初級或者不可靠而不適合應用在比如醫院或法庭的基礎設施建設上。

 

患有哮喘的人被一個用於預測肺炎的AI係統錯誤地分級為低風險

◆ ◆ ◆

思想實驗

在過去的多年中，假設情形主導了人們對於人工智能對社會影響的爭論。

人類將創造一個高度智能化的係統，最終有可能統治我們甚至毀滅我們。這是最常討論的一種假設（例如參考文獻6）。此外，1967年的一個思想實驗 - 電車難題 - 又被重新提起。它引起了歸責問題的討論。在電車難題中，一個人可以讓失控的電車沿著有五個人正在工作的軌道行駛，或者拉動操縱杆，將電車導向另一條隻讓一個人處於危險狀態的軌道。各種評論家將這種假設情景應用於自動駕駛汽車中，他們認為自動駕駛汽車必須自動做出決策，也就構成了關於倫理的選擇7。

然而，與機器人啟示一樣，無人駕駛汽車能否以“殺人決定”來衡量，這為道德推理提供了一個狹窄的框架。電車難題對當前更廣泛的社會問題並沒有提供太多指導：比如，大量投資的價值出自自動汽車而非公共交通;無人駕駛汽車在進行實際應用之前應該有多安全（以及使用什麼工具來確定這一點）;以及自動車輛對擁堵，環境或就業的潛在影響。

◆ ◆ ◆

社會係統分析

我們認為需要一個四步驟的方法。具有實踐性和普適性的社會係統分析考慮了AI係統對各個方麵的所有可能的影響。當然也考慮了在概念，設計，部署和監管四步驟的每個階段的影響。

 在第一步驟中，研究人員 - 在一係列學科，政府部門和行業之中 - 需要通過信息，財富和基本服務等一些AI係統訓練數據來調查並區分團體之間存在怎樣的差異。

 例如，在芝加哥、伊利諾斯，通過一種算法生成“熱力圖”，以確定誰是最有可能參與槍殺的人。上個月發表的一項研究8表明，這些圖是無效的：它們可以增加某些人會被警察鎖定的可能性，但不減少犯罪。

 社會係統方法將考慮關於社會和政治的曆史數據，也就是熱力圖所基於的那些數據。 這可能需要詢問社區成員，並根據鄰裏警務的反饋（正麵和負麵）來衡量警方數據。 也可能需要參考監督委員會和法律機構的調查結果。 社會係統分析還將詢問係統的風險和回報是否得到平等應用 - 例如，詢問警察是否使用類似的技術來識別哪些警察可能出現瀆職或暴力。

人工智能提供了一種文化和技術的革新。

另一個例子，2015年的一項研究顯示，用於預測肺炎並發症的機器學習技術在大多數情況下表現良好。 但它犯了一個嚴重的錯誤：它指示醫生讓高風險類別的哮喘患者回家。 因為醫院會自動將哮喘患者發送到重症監護室，所以這些人很少出現在係統所訓練的“需要進一步護理”的記錄中。 社會係統分析是優先參照醫院指南，然後是其他因素，例如保險政策，這些因素會形成患者記錄9。

類似地，社會係統分析可以詢問人們是否受到AI係統影響，何時受到AI係統影響，以及係統是如何工作的。財務顧問一直局限在如何部署機器學習，因為客戶期望他們開放並解釋所有決策。然而，到目前為止，已經受到AI結果的個體沒有類似的能力。

社會係統分析需要參考哲學，法律，社會學，人類學和科學技術研究及其他學科。 還必須考慮它對社會，政治和文化價值的影響以及技術變革和科學研究對它的影響。 隻有更廣泛詢問關於人工智能影響的問題，才能比僅僅通過計算機科學或犯罪學分析來得更全麵更綜合。

更有前景的跡象。 下個月紐約市舉行的機器學習會議中，關於公平，問責和透明性的研討會就是一個很好的實例。 當然，資助者 - 政府，基金會和公司 - 應該更多的在我們所描述的方麵投入進而實現AI。

人工智能提供了一種文化和技術的革新。 它類似於過去的技術拐點，例如印刷機或鐵路的引用。 自動係統正在改變工作場所，街道和學校。 我們需要確保這些變化是有益的，然後，才能進一步應用到日常生活的基礎設施中。

原文發布時間為：2016-10-19

本文來自雲棲社區合作夥伴“大數據文摘”，了解相關信息可以關注“BigDataDigest”微信公眾號