721
USNews大學排名遭美國計算機研究學會怒懟，指排名荒謬要求撤回
就在幾小時前，計算機研究學會（CRA）發表了一份聲明，要求USNews撤回其最新發布的全球大學計算機科學專業排名。
計算機研究學會（Computing Research Association，CRA）是北美計算機科學、計算機工程及相關領域的非盈利協會，從事基礎計算研究的工業，政府和學術機構的實驗室和中心和附屬的專業協會。CRA成立於1972年，總部位於美國華盛頓特區，其成員包括200多家北美計算機研究機構以及附屬專業協會（AAAI，ACM，CACS/AIC，IEEE計算機協會，SIAM，USENIX）。
而USNews的大學排行榜，作為全球最具影響力的大學排行榜之一，一直有著非常大的影響力。10月24日，USNews發布了2018年世界大學排行榜，在計算機科學學科科排行榜上，中國大學表現強勢，共有三所高校進入全球前十，清華大學更是排名第一。
2018年世界大學排行榜，計算機科學學科科排名Top 3，清華大學位居第一
但是，現在這份榜單卻被要求撤回？
CRA聲明：USNews計算機科學排名，使用錯誤的數據得出了一個荒謬的結論
還是先來看CRA的聲明——《CRA關於USNews世界大學計算機科學學科排行榜的聲明》。
致全體計算機研究人員：
最新的《美國新聞與世界報道》(USN&WR) 對全球大學計算機科學（CS）專業的排名，對世界各地的CS科係以及USN&WR讀者造成了嚴重的傷害。上周，我們恭敬地要求撤銷該排名。很遺憾，USN＆WR拒絕了我們的請求。該排名所使用的方法——基於Web of Science收集的期刊出版物的排名——忽略了會議出版物，因此並不能準確反映CS社區研究的傳播情況，也沒有準確體現教員在業內受認可或影響力情況。此外，排名的全部名單不公開。因此，盡管有些人可能會爭辯基於文獻計量的排名有其合理性，但USN＆WR發表的排名的缺陷是沒有爭議的。這種方法就是從錯誤的數據中推斷出來的，不透明的結果。因此，這種方法得到了一個荒謬的排名。
USN＆WR排名中另一個重要因素是信譽。然而，在一個大規模的，大部分沒有聯係的社區中，根據聲譽進行排名可以說是有問題的。考慮到各所大學的語言不同，價值觀念不同，資源水平不同，目標不同，期望對世界各地的CS學科部門有一個準確的評估是不合理的。
任何具有CS研究知識的人都會認為這一排名是無稽之談，並且忽略這一排名。但其他人可能會被嚴重誤導。CRA主辦了一個討論會，其中也邀請了USN&WR排名負責人Robert Morse。在所討論的許多項目中，使用文獻計量學進行排名及其所涉及的各種問題得到了強有力的討論。我們列出了使用不含會議相關數據的數據源進行排名會遇到的問題，這種數據源沒有對會議中出現效果最好、被引用最多的同行評審研究出版物進行索引。CRA建議與USN&WR合作，創建一個對計算機研究界可信的排名方案，但他拒絕與CRA或更廣泛的社區合作。 11月1日，在全球排名發布後，我們聯係Morse，指出他們所用方法的問題，並要求這些基於有缺陷源數據的全球排名被撤回，但Morse沒有回應。我們敦促社區忽視計算機科學的USN＆WR排名。
此致
Susan Davidson，CRA董事會主席，賓夕法尼亞大學Weiss教授
Andrew P. Bernat，CRA執行董事
Carla Brodley，東北大學院長
Laura Haas，馬薩諸塞州阿默斯特大學院長
H.V. Jagadish，密歇根大學Bernard A. Galler教授
Kathryn S. McKinley，穀歌
Mario Nascimento，阿爾伯塔大學Chair兼教授
Fred Schneider，康奈爾大學Chair兼Samuel B. Eckert教授
再看USNews計算機科學專業排名及評分標準
正如上文所說，USNews的大學排行榜是全球最具影響力的大學排行榜之一，也一直被用作很多人選擇高校的參考。其中，計算機科學學科排名涉及軟件工程和設計、人工智能理論、編程語言、信息係統和信息技術等專業。2018年的排名前十名分別是：
由上圖可知，USNews 2018年世界大學計算機科學學科排名中，清華大學位居第一，德克薩斯州大學奧斯汀分校第二，南洋理工大學位居第三。
第四到第十依次是：MIT、新加坡大學、斯坦福大學、哈佛大學、加州大學伯克利分校、華中科技大學、浙江大學。
USNews的學科排名具體的參考指標如下：
- 全球研究聲譽 - 12.5%
- 地區研究聲譽 - 12.5%
- 出版物 - 15%
- 引用影響因子 - 10%
- 引用數量 - 15%
- 占引用前10%的出版物的數量 - 10%
- 占引用前10%的出版物的比例 - 5%
- 在各自領域引用前1%的高被引論文的數量 - 5%
- 在各自領域引用前1%的高被引論文的比例 - 5%
- 國際合作 - 5%
- 涉及國際合作出版物的比例 - 5%
由此可見，正如CRA指出的，在計算機科學中十分重要的會議及會議相關出版物，在USNews排名中是不涉及的。而其十分關注的“聲譽”，也是定義模煳。
高校都想在“大學選美”中得到高分，但這真的能體現大學的價值嗎？
早在十年以前，2007年8月24日，《科學》發表了一篇評論文章，Martin Enserink寫的《誰為那些排名高校的人排名？》（Who Ranks the University Rankers? DOI: 10.1126/science.317.5841.1026）。
文中提到，美國新聞與世界報道（US News＆World Report）為了提高銷量，在1983年發明的“高校選美競賽”，目前已經在全球十幾個國家出現。幾乎所有的這些榜單都受到來自大學、科學家甚至有些情況下，同行排名者的攻擊。
文章還提到了數據收集的問題。大多數的國際排名都非常重視研究成果，這部分是因為這些排名更多是針對政策製定者，同時也是因為教育體係和文化背景在國與國之間差別很大，難以獲得切實而有意義的數據。不僅如此，很多這樣的數據都是大學自己提供的，關於在USNews排名中造假的事件多有見聞，且記錄在案的都不下數十次。“雖然USNews會交叉驗證數據，但真心要操控方法總是有的。”
更加具有爭議的是同行評議調查，也就是學術專家來對機構進行評判。文中以澳大利亞高校THES排行為例，地域偏差十分嚴重。USNews排名也十分依賴同行評議，但這個同行評議卻是專家“得到一個100個機構的名單，每家都從1到5打分”就完了（注：文中指的是2007年的情況）。
上海交通大學2007年的一項排名，與其他三大著名排名考核指標的對比
文章還給出了當年上海交通大學的一項排名為例，上交大的排名去除了所有上述因素，隻使用公開數據，包括Nature、Science論文、諾貝爾獎、菲爾茲獎，得出了一個幾乎隻基於研究的排行。但是，這樣的排行也有其局限所在。
說了這麼多，盡管有種種不如意，但正如Science這篇評論最後指出的一樣，排名也自有其好處。競爭促使大學表現更好，排名為學生和決策者提供了有關教育質量的參考，即使並不完美。還有排名者指出，在排名中得分高的大學會喜歡宣傳這一結果，大學不喜歡被排除在外。
最後讓我們用愛因斯坦的話收尾：“Not everything that counts can be counted, and not everything that can be counted counts”。
原文發布時間為：2017-11-12
本文作者：費欣欣
本文來自雲棲社區合作夥伴新智元，了解相關信息可以關注“AI_era”微信公眾號
原文鏈接：USNews大學排名遭美國計算機研究學會怒懟，指排名荒謬要求撤回
最後更新：2017-11-13 11:05:05