948
技術社區[雲棲]
穀歌、中科大27位作者Nature聯名發文，指馬斯克腦機接口易遭入侵
曾經被視為科幻的畫麵已經走進現實，並且走入日常生活，而這也引發了一些擔憂。腦機接口（BCI），比如馬斯克的公司Neuralink在開發的產品，有遭受“黑客AI”攻擊的危險，一個人的思維、決策和情感都有可能受AI操控，違反他們自己的意誌。
本周發表在Nature上的一篇由27位神經科學家、臨床醫師、倫理學家和機器智能工程師（包括來自穀歌和中科大的作者）共同寫作的評論文章，以《神經技術和人工智能的四個倫理重點》為題，對此進行了探討。作者在論文中舉例，假設一名參與腦機接口試驗的被試，內心不太喜歡與他一起工作的研究人員，而讀取他思維的AI可能把這視為一種命令，於是傷害他周圍的研究人員，而被試至始至終並沒有發出過這樣的命令。
研究人員寫道：“科技的發展意味著我們正走在通往一個新世界的道路上，在這個世界裏，我們可以解碼人們的精神活動，直接操縱他們的意圖、情感和決策背後的大腦活動機製；人們能直接通過思考和他人交流；強大的計算係統直接連接到人們的大腦上，幫助人類和世界交互，極大地增強他們的智能和體力。”
“現在就應該認真考慮這可能帶來的後果。”
為了防止腦機接口被惡意操控或入侵的情況發生，這組研究人員表示，當下需要處理4大個倫理優先事項：隱私權和知情同意權、主觀能動性和身份認同、體製增強和偏見。
下麵是發表在Nature上的文章，由Nature上海辦公室翻譯。
原文以Four ethical priorities for neurotechnologies and AI為標題，發布在2017年11月9日的《自然》評論版塊上
27位神經科學家與技術專家，臨床醫師，倫理學家和機器智能工程師共同表示，人工智能和腦-機接口必須尊重和保護人的隱私、身份認同、能動性和平等性。
想象一下這樣一種場景：一名癱瘓男子參加一項腦機接口的臨床試驗，他的大腦被植入一枚芯片，芯片與一台電腦相連。科學家訓練該電腦來解讀他用大腦預演動作所產生的神經信號。電腦生成的指令能移動一個機械臂。
有一天，這名男子對這個試驗組感覺很不耐煩。他的機械臂奪過一位研究助理的杯子，把它捏碎了，還傷到了那位助理。他道了歉，說這肯定是因為腦機接口裝置故障，但他不得不懷疑自己的不耐煩是否也在這起事故中起到了一定的作用。
這個場景是虛構的，但也說明了我們這個社會或許將要麵對的一些挑戰。
一個有脊髓損傷的人(右)為一個虛擬的自行車比賽做準備，參賽者使用大腦信號來操縱虛擬臂。
眼下，腦機接口技術主要聚焦於臨床療效，比如幫助有脊髓損傷的病人。這項技術已經能讓使用者完成一些相對簡單的運動任務——比如說移動計算機光標，或者控製電動輪椅。更甚者，通過人的功能性核磁共振成像，研究者們已經可以在一個較基礎的水平上解讀人的神經活動，比如說某個個體正在想一個人，而不是一輛車。
或許要再等上幾年甚至數十年，腦機接口和其他神經技術才能成為我們日常生活的一部分。但科技的發展意味著我們正走在通往一個新世界的道路上，在這個世界裏，我們可以解碼人們的精神活動，直接操縱他們的意圖、情感和決策背後的大腦活動機製；人們能直接通過思考和他人交流；強大的計算係統直接連接到人們的大腦上，幫助人類和世界交互，極大地增強他們的智能和體力。
這樣的進步有望變革很多疾病的治療，從腦損傷、癱瘓到癲癇和精神分裂，並能讓人類擁有更好的生存體驗。但這種科技也可能加劇社會不平等，給企業、黑客、政府或者其他任何人帶來剝削和操控大眾的新手段。這或將深遠地影響人類的幾個核心特征：私密的精神生活，個體能動性，以及對於人類是被身體束縛的實體的理解。
因此，現在就應該認真考慮這可能帶來的後果。
晨邊小組（The Morningside Group）由神經科學家、神經技術專家、臨床醫生、倫理學家和機器情報工程師組成，他們有的來自穀歌和Kernel（一家位於加利福尼亞州洛杉磯市的神經科技初創公司）；有的來自國際腦科學項目；有的來自美國、加拿大、歐洲、以色列、中國、日本和澳大利亞的學術和研究機構。
2017年5月，美國國家科學基金會讚助在紐約哥倫比亞大學舉辦了一場研討會，我們在會上討論了神經技術和機器智能的倫理問題。
我們認為現存的倫理規範對這個領域來說是不夠的。這其中包括《赫爾辛基宣言》，一項誕生於1964年的關於涉及人類被試的醫學研究的倫理原則聲明；《貝爾蒙特報告》，1979年由美國國家生物醫學和行為研究被試保護委員會製定的一份聲明；以及今年年初由商業領袖、人工智能研究者等多方簽署的《阿西洛馬人工智能原則》。
為了解決這一不足，我們在此就以下四個令人擔憂的領域提出我們的建議：隱私權和知情同意權；能動性和身份；體智增強；以及偏見。不同宗教、種族和社會經濟背景的國家和人民將有不同的需求和願景。因此，各國政府必須建立自己的審議機構，協調社會各界代表進行公開討論，並決定如何將這些指導方針納入政策當中，包括具體的法律和法規。
世界上最富有的一些投資人正在向神經科學和AI的交叉領域下注。世界各地有十幾家公司，包括Kernel和伊隆·馬斯克（Elon Musk）今年成立的創業公司Neuralink，都在投資研發一種既能“讀取”人類大腦活動又能向大腦裏“寫入”神經信息的裝置。根據我們的估算，目前以營利為目的的工業界每年在神經技術上的支出已達到1億美元，而這一數字仍在快速增長。
來自非營利部門的投資也很可觀。自從2013年開始，僅僅在美國腦計劃（US Brain initiative）一項上，就有超過5億美元的美國聯邦政府資金投向了神經技術的研發。
目前，神經科技的發展已經取得了矚目的成績。一名因為肌萎縮性脊髓側索硬化症（ALS）而癱瘓的神經科學家，使用一個腦機接口來管理他的實驗室，撰寫科研經費申請和發送郵件。
與此同時，杜克大學的研究者們表明，三隻被植入了電極的猴子能組成一個“腦力網”，合力移動一個虛擬臂。如果這些信號能通過網絡無線傳輸的話，這些設備在千裏之外亦能工作。很快這些最多隻能刺激和讀取幾十個神經元活動的粗糙設備就會被取代。
今年早些時候，美國國防部高級研究計劃局（DARPA）發起了一個叫做神經工程係統設計（Neural Enginneering System Design）的項目，計劃在四年內獲取美國食品和藥物管理局的批準，研發一種可以同時利用一百萬個電極監測大腦活動並能選擇性地刺激至多10萬個神經元的人腦裝置。
與此同時，穀歌、IBM、微軟、臉譜、蘋果和無數初創公司都在建造更加複雜精細的人工神經網絡，這些神經網絡在有明確定義的輸入和輸出的工作項目上，表現早已超過人類。
舉例而言，去年華盛頓大學的研究者證明，穀歌的FaceNet係統能從一百萬張人臉中辨認出正確的那張。另一個有著相似神經網絡構架的穀歌係統，能夠辨認出一張街景圖拍攝於何處，表現遠遠超過具有豐富旅遊經驗的人類。這兩個例子證明了這項技術的普適性。
八月，微軟宣布在某些指標上，他們用於識別會話性言語的神經網絡的能力已經能和經過訓練的專業人士匹敵，而後者有機會倒帶重聽對話中的詞句。七月，德國弗萊堡大學的研究者利用腦電圖（EEG）數據展示了神經網絡如何可用於解碼與計劃相關的大腦活動，從而可被用來控製機器人。
幾乎可以肯定，當我們更進一步地理解了真實的神經網絡是如何工作的之後，未來的神經網絡甚至會比這些例子更加強大。目前使用的人造網絡的靈感來自於50多年前的大腦回路模型，這些模型基於被麻醉的動物單個神經元活動的記錄。
在今天的神經科學實驗室裏，因為光學方法、計算、分子工程和微電子技術的進步，研究人員可以監控和操縱活著且清醒著的動物成千上萬的神經元活動。
我們已經與機器緊密相連。今年，穀歌的研究人員計算出用戶每年平均接觸手機的次數接近100萬次（數據未發表）。人類的大腦控製著聽覺和視覺係統來解讀聲音和圖像，然後命令肢體來持握和操縱我們的設備。然而，神經科技和人工智能的融合發展將會帶來一些質的不同——人類大腦與機器智能直接連接，繞過大腦和身體正常的感覺運動功能。
在大腦中植入電極刺激神經活動後，有些人報告說他們有種身份認同被改變的感覺
神經技術若要在普通消費者市場裏興起，這些設備必須是非侵入性的，風險很小，而且部署費用要低於目前的神經外科手術。現在，那些正在開發類似設備的公司必須對其產品負責，應以一定的標準、最佳實踐和道德規範為指導。
在此，我們強調有四個方麵的問題需要我們立即采取行動進行應對。盡管我們是在神經技術的語境下提出這些問題的，但它們也適用於人工智能。
隱私權和知情同意權。從人們的數據軌跡中可以獲取非常多的個人信息。例如，麻省理工學院的研究人員在2015年發現，通過研究人們在個人設備上的鍵盤輸入模式，精細地分析他們的運動行為，使得早期診斷帕金森氏症變為可能。2017年的一項研究表明，測量人類的運動模式，比如在日常活動中使用智能手機的人的運動模式，可以用來診斷阿爾茨海默病造成的認知障礙的早期症狀。
如果利用神經信息的話，比如參考那些與特定注意力狀態相關的神經元的活動模式信息，用於投放廣告、計算保險費或匹配潛在伴侶的算法就會變得更加強大。與互聯網連接的神經裝置打開了個人或組織（黑客、公司或政府機構）追蹤甚至操縱個人精神體驗的可能性。
我們認為公民應該有能力和權利保護他們的神經數據隱私（參見“主觀能動性和身份認同”）。我們建議采取以下步驟來保障這一點。
對於所有的神經數據，默認都應能選擇不分享，這一點應當得到嚴格保護。如今人們很容易把他們的隱私權拱手送給提供各種服務（比如網絡瀏覽，社交媒體或娛樂）的商業機構，而從未真正認識到他們交出的究竟是什麼。
如果默認選項就是拒不分享的話，則意味著神經數據在大多數國家都會被以和器官或生物組織相同的方式對待。如果個人要從任何設備共享神經數據的話，他必須明確地選擇和確認這一點。其中將涉及一個安全保障過程，包括一個知情同意程序，明確規定誰將使用數據，目的是什麼，以及使用多長時間。
即使實施這種方法，根據許多自願分享者的神經數據，再加上來源於互聯網搜索、運動監視器等等多種渠道的大量非神經數據，也能得出關於那些選擇不分享的人們的“可靠”結論。為了遏製這一問題，我們建議對神經數據的銷售、商業轉讓和使用進行嚴格的管製。
這樣的法規也將限製人們放棄自己的神經數據或將神經活動直接寫入自己的大腦中，從而換取物質報酬，可能類似於禁止出售人體器官的立法，比如1984年的美國《國家器官移植法案》。
另一重保護措施是限製神經數據的集中處理。我們提倡使用類似差分隱私或者聯合學習的計算技術，來保護用戶隱私（參見“保護隱私”）。使用其他專門用來保護個人數據的技術也會有所幫助。
保護隱私
聯合學習
當科技公司使用機器學習來改進他們的軟件時，他們通常會在服務器上收集用戶信息，分析特定服務是如何被使用的，然後在集合的數據上訓練新算法。
穀歌的研究人員正在試驗另一種人工智能訓練方法，即聯合學習。使用這種訓練方式時，教學訓練過程發生在每個用戶的設備上，而沒有聚合數據再進行處理的過程。從單獨數據中總結出來的知識（例如， “weekly” (每周) 這個詞在英語裏可以用作形容詞和副詞）被發回穀歌的服務器，但實際的電子郵件、短信等信息仍然保留在用戶自己的手機上。
其他團體也在探索類似的思路。因此，改進設計後的信息係統更加保障了用戶對個人數據的所有權和隱私，同時仍然可以在這些數據上執行有價值的計算。
例如，基於區塊鏈的技術可以讓數據能被跟蹤和審計，而“智能合同”（Smart contracts）則可以對數據的使用方式進行透明的控製，而不需要集權。最後，開放數據格式和開源代碼可以讓我們更透明地知道什麼信息將保持私密，而什麼信息會被傳遞分享出去。
主觀能動性和身份認同。有些人通過在腦內植入電極接受深部腦刺激，他們報告說感覺自己的身份和能動性被改變了。
在2016年的一項研究中，一個曾用過大腦刺激器來治療抑鬱症長達7年的人在一個焦點小組中報告說，他開始懷疑他與他人互動的方式，例如說一些他回過頭來認為很不合適的話，究竟是因為電極刺激，他自己的抑鬱，還是反映了一些關於他自己的更深層次的東西。他說：“這一切模煳到了一起，說實話，到最後我都不確定我是誰了。”
神經科技可以很明顯地擾亂人們對於身份和能動性的認識，從而動搖關於自我和個人責任的核心認知，不論是法律責任還是道德責任。
也許通過“自動完成”或“自動更正”功能，機器學習和大腦接口設備能夠更快地實現意圖和行動之間的轉換，在這種情況下，人們最終可能會做出一些他們自己難以接受的事情。如果人們能夠通過自己的思想長距離地控製設備，或者幾個大腦被連接到一起工作，那麼我們對自身身份和行為的理解將會被擾亂。
隨著神經技術的發展，企業、政府和其他各種機構開始努力為人類賦能，但是個人身份認同（我們的身體和精神的完整性）以及能動性（我們選擇行動的能力），必須被作為基本人權保護起來。
我們建議在國際條約（如1948年的《世界人權宣言》）中加入保護這類權利的條款（“神經權利”）。然而，這可能還不夠，國際宣言和法律隻是各國之間的協議，即便《世界人權宣言》也沒有法律約束力。
因此，我們主張製定一項國際公約，界定與神經技術和機器智能有關的被嚴格禁止的行為，類似於2010年《保護所有人免遭強迫失蹤國際公約》所列的禁令。一個對應的聯合國工作組可以審查所有成員國的遵守情況，並在需要時建議實施製裁。
類似的宣言還必須保護人們接受教育的權利，讓他們能了解神經技術可能帶來的認知和情感方麵的影響。目前，知情同意書通常隻關注手術的生理風險，而不是一個設備可能對情緒、個性或自我感知帶來的影響。
本評論完整的作者名單：
體智增強。如果一個人的身體或大腦功能與大多數人不同，則常常飽受偏見之苦。人們將來麵臨的壓力可能包括采用增強型神經技術，例如允許人們從根本上增強忍耐力或感覺或智能的神經技術，這可能會改變社會規範，引發公平享有方麵的問題，並產生新種類型的歧視。
此外，不難想象軍備競賽也會發生在體智增強領域。近年來，我們聽聞美國國防部高級研究計劃局和美國情報高級計劃局（IARPA）的工作人員在討論為士兵和分析師增強心智能力（“超級智能特工”）的計劃。這些計劃將被用於作戰目的，也會被用於增強破譯數據流的能力。
由於預測哪些技術會對人類生活產生負麵影響非常難，所以難以非常清晰地劃定界限。盡管如此，我們仍要敦促在國際和國家層麵製定一些指導方針，對可實施的增強型神經技術加以限製，並定義它們被可以使用的場景——就像我們對人類基因編輯所做的限製一樣。
某些文化比其它文化更注重隱私和個性。因此，必須在尊重普世權利和全球性準則的同時，在具體文化背景下做出監管決策。此外，對某些技術的一刀切或許隻會將其推到地下運行，所以在製定具體的法律法規時，必須組織舉行論壇來進行深入且公開的討論。
過去有很多建立國際共識、將公眾輿論納入國家層麵科學決策中的先例，它們都值得借鑒。例如，在第一次世界大戰之後，1925年的一次會議促成了《日內瓦協議》的起草和締結，該協議禁止世界各國使用化學武器和生物武器。
同樣地，在第二次世界大戰之後，聯合國原子能委員會（UN Atomic Energy Commission）成立了，旨在管控用於和平目的的原子能，控製核武器的擴散。
尤其值得注意的是，我們建議嚴格管製被用於軍事目的的神經技術。出於顯而易見的原因，任何禁令都應該是全球性的，並且應當是由聯合國牽頭的委員會發起的。盡管這樣的委員會和類似的過程可能無法解決所有關於增強型神經科技的問題，但它們提供了一種最有效的模式，能讓公眾知道這種技術必須被限製，也能讓世界各國廣泛地投入到這種技術的發展和實施中來。
偏見。當科學或技術決策是基於一套狹隘的係統、結構或是社會概念和規範的時候，由此產生的技術可能會使某些群體獲得特權，而使另一些群體受害。2015年的一項研究發現，穀歌的廣告算法展示給女性用戶的招聘職位要比給男性展示的待遇低。
類似地，ProPublica的一項調查顯示，美國執法機構使用的算法錯誤地預測，黑人被告比擁有類似犯罪記錄的白人被告更有可能再次犯罪。這種偏見甚至可能會被嵌入到神經裝置中。事實上，研究過這類案例的研究人員已經表明，要以一種數學嚴謹的方式來嚴格定義公平是非常困難的。
工業界和學術界已經在討論一些對抗技術偏見的實際步驟。這樣的公開討論和辯論是極有必要的，不論是對於定義有問題的偏見，還是對於定義更普世的“常態”來說都是如此。
我們主張讓對抗偏見的對策成為機器學習規範的一部分。我們還建議可能的用戶群體（特別是那些已經被邊緣化的用戶群體）在設計算法和設備時就大膽發聲，確保偏見在技術開發的第一個階段就得到處理。
提出這些建議是為了唿籲工業界和學術界承擔起隨著這類神經科技設備和係統而來的相關責任。為此，他們可以借鑒之前已經為負責任創新而製定出來的一些框架。
除了之前提到的幾點指導方針之外，英國工程和物理科學研究理事會也提出了一個框架來鼓勵創新者“預測、反思、參與和行動”，推動符合公共利益和社會期望的科學和創新。
在人工智能領域，IEEE標準協會在2016年4月創建了一個全球倫理倡議，目的是將倫理融入到所有人工智能和自主係統的設計流程中。
曆史表明，在企業界，追逐利潤往往會淩駕於社會責任之上。雖然在個人層麵上，大多數技術專家的目的都是想要造福人類，但是他們仍有可能碰到自己未曾準備好要去麵對的複雜倫理困境。我們認為，通過將相關倫理準則引入到工業界和學術界中來，可以改變業界普遍的思維模式，增強設備製造商的應對能力。
第一步就是讓倫理成為工程師、其他技術開發人員和學術研究人員加入公司或實驗室時的標準培訓的一部分。教育員工更深入地思考如何追求科學進步，實施有望建設社會而非破壞社會的策略。
這種方法基本上遵循了醫學專業正在使用的思路。醫學生接受的教育包括病人病情保密、不傷害原則、行善原則和公正原則，他們還要遵守希波克拉底誓言，堅持這個職業的最高道德標準。
神經技術可能帶來的臨床效益和社會效益是巨大的。要想獲得這些效益，我們必須尊重、保護和支持人性中最珍貴的品質，以此指導神經技術的發展。
原文發布時間為：2017-11-10
本文作者：Nature
本文來自雲棲社區合作夥伴新智元，了解相關信息可以關注“AI_era”微信公眾號
原文鏈接：穀歌、中科大27位作者Nature聯名發文，指馬斯克腦機接口易遭入侵
最後更新：2017-11-10 15:35:05