65
阿裏雲PAI將神經機器翻譯訓練效率提升5倍
近兩年，神經機器翻譯（NMT: Neural Machine Translation）技術異軍突起，翻譯質量取得大幅提升。但不幸的是，NMT 係統的訓練成本非常高，限製了這一技術的大範圍使用。
阿裏翻譯團隊通過使用阿裏雲機器學習平台PAI實現了模型訓練效率5倍的飛躍，並已應用在英俄電商翻譯質量優化項目中。
NMT一詞的出現要追溯到2014年9月1號，加拿大蒙特利爾大學Bengio教授研究組在開放論文網站arxiv上發布了他們最新的研究成果『neural machine translation by jointly learning to align and translate』，NMT進入了人們的視野。
他們設計了一組神經網絡，使用一個編碼器將源語言句子編碼為一個向量，然後使用一個解碼器對該向量進行解碼，產生譯文。同時，引入了注意力機製進一步提高譯文質量。
在阿裏巴巴內部，阿裏翻譯負責為1688國際站、全球速賣通等提供多語言服務，中國賣家填寫的一些中文信息會被機器自動翻譯成多國語言。該團隊同時還為釘釘、東南亞電商Lazada等提供服務。
去年，他們首次將NMT技術應用在通訊場景下。雖然翻譯質量取得很大的提升，但模型訓練耗時太長。3000萬的訓練數據在單塊GPU卡上一般需要訓練20天以上，才能得到一個初步可用的模型。
之後，他們嚐試在阿裏雲機器學習平台PAI上開發支持分布式訓練的NMT係統，並於3月底完成了第一個版本。在英俄電商翻譯質量優化項目中，分布式NMT係統大大提高了訓練速度，使模型訓練時間從20天縮短到了4天。
圖：使用不同卡數時，在中英100萬訓練語料上獲得的收斂加速比
現在，阿裏翻譯團隊還在破解線上服務處理延時的難題，為神經網絡機器翻譯模型的大規模應用掃除最後障礙。
PAI是阿裏巴巴“NASA”計劃發布的首個重磅工具，可完全兼容全球主流的深度學習開源框架。同時，底層提供強大的雲端異構計算資源，包含CPU、GPU、FPGA。在GPU方麵，可靈活實現多卡調度。
在阿裏巴巴內部，PAI已經被廣泛使用。淘寶搜索使用PAI的參數服務器，可以把百億個特征的模型，分散到數十個乃至於上百個參數服務器上，打破規模瓶頸。最終實現搜索結果基於商品和用戶的特征進行排序。
在過去的一年時間裏，阿裏雲協助客戶落地了多項重大的人工智能應用。但人工智能要想真正成為成為普惠技術，需要一件人人可用的生產工具。PAI正是為此而生。
最後更新：2017-07-12 22:11:03