407
技術社區[雲棲]
自然語言處理的6大法寶
人工神經網絡是一種基於大腦神經結構的非線性運算模型。它僅通過參考樣本便可學習完成諸如分類、預測、決定和可視化等任務。
人工神經網絡由許多神經元處理單元廣泛連接而成。這些處理單元分為三類，包括輸入層、隱含層（可以多於一層）和輸出層。
位於輸入層的神經元將信息傳遞到隱含層，隱含層再傳遞至輸出層。每個神經元都有加權輸入（突觸）、一個激活函數（代表該神經元特定輸出的函數）和一個輸出。突觸是將神經網絡轉換為參數化係統的可調參數。
激勵信號由加權過的輸入信號產生，再傳遞至激勵函數以獲得輸出。常用的激勵函數包括線性、階躍、Sigmoid、雙曲正切和線性修正單元（ReLu）函數。
線性函數
f(x)=ax
階躍函數
Sigmoid函數
雙曲正切函數
線性修正單元函數
通過訓練對權值進行優化，從而達到最小化預測誤差、提高預測準確率的目標。反向傳播算法是一種計算損失函數梯度的算法，其常用於確定神經元對誤差貢獻量。
使用額外的隱含層可以使係統更強大，能夠適應更複雜情況。在輸入層和輸出層間存在多個隱含層的人工神經網絡便是深度神經網絡（DNNs），它們可以對複雜的非線性關係進行建模。
1.多層感知器（MLP）
多層感知器擁有三個或三個以上節點層。它通過非線性激活函數（主要是雙曲正切和Sigmoid函數）對線性不可分數據進行分類。MLP可以被看作是一個有向圖，由多個節點層組成，每一層全連接到下一層。其在自然語言處理方麵的主要應用是語音識別和機器翻譯。
2.卷積神經網絡（CNN）
卷積神經網絡包括卷積層和池化層兩部分。它其實和我們上節所講述的前饋網絡並無太大區別，隻是將其中某些層換成了卷積層而已，所以卷積網絡也是一種特殊的前饋網絡。而這樣的結構帶來的是更少的參數需求和更深入的網絡。
卷積神經網絡在圖像和語音處理中有著不凡的表現。 在Convolutional Neural Networks for Sentence Classification一文中，Yoon Kim描述了使用卷積神經網絡進行文本分類的過程和結果。他建立一個基於word2vec的模型，並從多個基準和維度對它進行了一係列的實驗，而令人滿意的結果也印證了卷積神經網絡的出色。
而 Xiang Zhang和Yann LeCun則在其論文Text Understanding from Scratch中揭示了卷積神經網絡可不依賴任何語言知識完成本體分類、情感分析、文本分類等任務。
3.遞歸神經網絡（RNN）
遞歸神經網絡是兩種人工神經網絡的總稱。一種是時間遞歸神經網絡（recurrent neural network），另一種是結構遞歸神經網絡（recursive neural network）。時間遞歸神經網絡的神經元間連接構成有向圖，而結構遞歸神經網絡利用相似的神經網絡結構遞歸構造更為複雜的深度網絡。兩者訓練的算法不同，但屬於同一算法變體。
4.長短期記憶網絡（LSTM）
長短期記憶網絡，是一種時間遞歸神經網絡，適合於處理和預測時間序列中間隔和延遲相對較長的重要事件。它是一種含有LSTM區塊神經網絡，在文獻或其他資料中LSTM區塊可能被描述成智能網絡單元，因為它可以記憶不定時間長度的數值，區塊中有一個“門”能夠決定輸入值是否重要到能被記住以及能不能被輸出。
在大規模聲學建模和詞性分類方麵，長短期記憶網絡被證明擁有優異性能。
5.序列-序列模型
通常，一個序列到序列模型由兩個遞歸神經網絡組成：一個處理輸入的編碼器和一個產生輸出的譯碼器。編碼器和解碼器可以使用相同或不同的參數集。
序列-序列模型主要用於問答係統，聊天機器人和機器翻譯。
6.淺層神經網絡
除了深層神經網絡外，淺層模型也是實用且廣受歡迎的工具。例如，word2vec是一組淺層模型，用於生成詞向量。word2vec可以在百萬數量級的詞典和上億的數據集上進行高效地訓練，訓練結果——詞向量可以很好地度量詞與詞之間的相似性。
總結
在本文中，我們介紹了人工神經網絡的不同變體，如多層感知器、卷積神經網絡、遞歸神經網絡、長短期記憶網絡、序列-序列模型以及淺層神經網絡。我們展示了這些網絡如何運作，以及它們在自然語言處理任務中的具體應用。我們發現，卷積神經網絡主要用於文本分類，而遞歸神經網絡通常用於自然語言生成或機器翻譯。
作者：Olga Davydova
以上為譯文
本文由北郵@愛可可-愛生活老師推薦，阿裏雲雲棲社區組織翻譯。
文章原標題7 Types of Artificial Neural Networks Language Processing，作者：Olga Davydova，譯者：Anchor C.，審閱：虎說八道。
文章為簡譯，更為詳細的內容，請查看原文
最後更新：2017-11-07 19:33:44