896
受限玻爾茲曼機(Restricted Boltzmann Machine, RBM) 簡介
受限玻爾茲曼機(Restricted Boltzmann Machine,簡稱RBM)是由Hinton和Sejnowski於1986年提出的一種生成式隨機神經網絡(generative stochastic neural network)，該網絡由一些可見單元(visible unit，對應可見變量，亦即數據樣本)和一些隱藏單元(hidden unit，對應隱藏變量)構成，可見變量和隱藏變量都是二元變量，亦即其狀態取{0,1}。整個網絡是一個二部圖，隻有可見單元和隱藏單元之間才會存在邊，可見單元之間以及隱藏單元之間都不會有邊連接，如下圖所示：
1. RBM的學習目標-最大化似然(Maximizing likelihood)
RBM是一種基於能量(Energy-based)的模型，其可見變量v和隱藏變量h的聯合配置(joint configuration)的能量為：
（式子-1）
其中θ是RBM的參數{W, a, b}, W為可見單元和隱藏單元之間的邊的權重，b和a分別為可見單元和隱藏單元的偏置(bias)。
有了v和h的聯合配置的能量之後，我們就可以得到v和h的聯合概率：
（式子-2）
其中Z(θ)是歸一化因子，也稱為配分函數(partition function)。根據式子-1，可以將上式寫為：
（式子-3）
我們希望最大化觀測數據的似然函數P(v)，P(v)可由式子-3求P(v,h)對h的邊緣分布得到:
(式子-4)
我們通過最大化P(v)來得到RBM的參數，最大化P(v)等同於最大化log(P(v))=L(θ)：
(式子-5)
2. RBM的學習方法-CD(Contrastive Divergence，對比散列)
可以通過隨機梯度下降(stichastic gradient descent)來最大化L(θ)，首先需要求得L(θ)對W的導數：
(式子-6)
經過簡化可以得到：
(式子-7)
後者等於
(式子-8)
式子-7中的前者比較好計算，隻需要求vihj在全部數據集上的平均值即可，而後者涉及到v，h的全部2|v|+|h|種組合，計算量非常大(基本不可解)。
為了解決式子-8的計算問題，Hinton等人提出了一種高效的學習算法-CD(Contrastive Divergence)，其基本思想如下圖所示：
首先根據數據v來得到h的狀態，然後通過h來重構(Reconstruct)可見向量v1，然後再根據v1來生成新的隱藏向量h1。因為RBM的特殊結構(層內無連接，層間有連接)， 所以在給定v時，各個隱藏單元hj的激活狀態之間是相互獨立的，反之，在給定h時，各個可見單元的激活狀態vi也是相互獨立的，亦即：
(式子-9)
重構的可見向量v1和隱藏向量h1就是對P(v,h)的一次抽樣，多次抽樣得到的樣本集合可以看做是對P(v,h)的一種近似，使得式子-7的計算變得可行。
RBM的權重的學習算法：
- 取一個樣本數據，把可見變量的狀態設置為這個樣本數據。隨機初始化W。
- 根據式子-9的第一個公式來更新隱藏變量的狀態，亦即hj以P(hj=1|v)的概率設置為狀態1，否則為0。然後對於每個邊vihj，計算Pdata(vihj)=vi*hj(注意，vi和hj的狀態都是取{0,1})。
- 根據h的狀態和式子-9的第二個公式來重構v1，並且根據v1和式子-9的第一個公式來求得h1，計算Pmodel(v1ih1j)=v1i*h1j。
- 更新邊vihj的權重Wij為Wij=Wij+L*(Pdata(vihj)=Pmodel(v1ih1j))。
- 取下一個數據樣本，重複1-4的步驟。
- 以上過程迭代K次。
參考文獻：
1. R. Salakhutdinov. Deep Learning Tutorial.
2. 張春霞, 姬楠楠, 王冠偉. 受限玻爾茲曼機簡介.
3. Wikipedia: Restricted Boltzmann Machine
4. Edwin Chen： Introduction to Retricted Boltzmann Machine
最後更新：2017-09-25 10:03:07