111      阿裏雲  技術社區[雲棲]

新研究旨在解決黑箱算法中AI產生的偏見問題

從選擇股票到檢查X光，人工智能正越來越多地被用於幫助人類做決策。但是人工智能隻能對它所訓練的數據做出好的反應，而且在很多情況下，我們最終會把太過人性化的偏見放到可能對人們的生活產生巨大影響的算法中。

在arXiv發表的一篇新論文中，研究人員表示，他們可能已經找到了一種方法來緩解黑箱算法中出現的偏見問題。

論文地址：https://arxiv.org/abs/1710.06169
對於偏見來說，一個特別令人不安的領域出現在風險評估模型中，這個模型可以決定一個人獲得保釋或批準貸款的機會。在這種情況下考慮種族這樣的偏見因素通常是違法的，但算法可以學會識別和利用這樣的一個事實，即一個人的教育水平或家庭住址可能與其他的人口信息相關聯，種族偏見和其他偏見可能通過這些信息有效地滲透到它們的“腦海”中。

讓這個問題變得更加棘手的是，許多人工智能都是用黑箱做出選擇——要麼它們太複雜，難以理解，要麼它們是公司拒絕解釋的專有的算法。研究人員一直在研究這個問題，以了解其背後的情況，但這個問題是普遍存在的，而且還在不斷增長。

在上麵提到的論文中，Sarah Tan和同事在兩個黑箱風險評估模型中嚐試了他們的方法:第一個是關於同等規模公司LendingClub的貸款風險和違約率。第二個是Northpointe，該公司為全國各地的法院提供算法服務來預測被告的再次犯罪風險。

研究人員使用了兩種方法來闡明這些潛在的偏見算法是如何工作的。首先，他們創建了一個模仿黑箱算法的模型，並根據最初的數據集提出了一個風險評分，就像LendingClub和Northpointe那樣。然後他們建立了第二個模型，他們對現實世界的結果進行了訓練，用它來確定初始數據集的哪些變量在最終結果中是重要的。

在LendingClub的案例中，研究人員分析了從2007年到2011年一係列到期貸款的數據。LendingClub的數據庫包含了許多不同的領域，但研究人員發現，該公司的貸款模式可能忽視了申請者的年收入和貸款的目的。收入被忽視掉是情有可原的，因為它可能被申請者虛報或是偽造的。但是，貸款的目的與風險高度相關，比如，小額企業的貸款風險比那些為籌備婚禮而貸款的人要高得多。因此，LendingClub似乎忽視了一個重要變量。

與此同時，Northpointe表示，該公司的COMPAS算法在對判決提出建議時，並不會將種族作為變量。然而，在ProPublica（美國一家非政府、非盈利的網絡新聞機構）的一項調查中，記者們收集了一些關於被告的種族信息，這些被告在COMPAS的幫助下被判刑，並發現了種族歧視的證據。在他們的模擬模型中，研究人員使用了ProPublica收集的數據，以及關於被告年齡、性別、指控程度、先前定罪次數以及之前的監獄停留時間的信息。該方法與ProPublica的發現一致，這表明，COMPAS可能會對某些年齡和種族群體產生偏見。

批評者可能會指出，這些並不是準確的結果，研究者們正在進行大量的推測。但是,如果一個算法背後的公司不願公開其信息在它的係統上是如何工作的,那麼了解這個研究中近似模型則也是一個合理的方法,馬薩諸塞州大學的助理教授Brendan O’Connor說道，他曾發表了一篇關於自然語言處理偏見的論文。Connor還表明，人類需要意識到這種情況正在發生，而不是閉上眼睛，裝作沒有發生一樣。

• 論文地址：https://www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

當我們使做決策越來越自動化時，可能就會理解人工智能是如何變得越來越重要。

本文由AiTechYun編譯，轉載請注明出處。更多內容關注微信公眾號：atyun_com

最後更新：2017-11-17 16:05:20

  上一篇：  宣城市加快運用大數據推動全域旅遊發展

  下一篇：  太保安聯布局大數據管理式醫療模式