312
基於Keras的LSTM多變量時間序列預測
更多深度文章，請關注：https://yq.aliyun.com/cloud
適合多輸入變量的神經網絡模型一直讓開發人員很頭痛，但基於（LSTM）的循環神經網絡能夠幾乎可以完美的解決多個輸入變量的問題。
基於（LSTM）的循環神經網絡可以很好的利用在時間序列預測上，因為很多古典的線性方法難以適應多變量或多輸入預測問題。
在本教程中，你會看到如何在Keras深度學習庫中開發多變量時間序列預測的LSTM模型。
讀完本教程後，你將學會：
· 如何將原始數據集轉換為可用於時間序列預測的數據集。
· 如何準備數據並創建適應多變量時間序列預測問題的LSTM。
· 如何做出預測並將結果重新調整到原始單位。
本教程分為3部分：
1.空氣汙染預報。
2.基本數據準備。
3.多變量LSTM預測模型。
Python環境
本教程假設你已安裝Python SciPy環境，你可以在本教程中使用Python 2或3。你必須使用TensorFlow或Theano後端安裝Keras（2.0或更高版本）。本教程還 假設你已經安裝了scikit-learn，Pandas，NumPy和Matplotlib。如果你需要幫助你的環境，請參閱這篇文章：
如何為Anaconda設置機器學習和深度學習的Python環境
空氣汙染預報
在這個小例子中，我們將使用空氣質量數據集。這是一個數據集，在美國駐北京大使館五年內報告天氣和汙染水平。數據類型包括日期時間、稱為PM2.5濃度的汙染物、以及天氣信息、包括露點（露點溫度）、溫度、壓力、風向、風速和累積的降雪小時數。原始數據中的完整功能列表如下：
1.NO：行號。
2.year：年。
3.month：月。
4.day：日。
5.hour：小時。
6.pm2.5：PM2.5濃度。
7.DEWP：露點溫度。
8.TEMP：溫度。
9.PRES：壓力。
10.cbwd：風向。
11.Iws：風速。
12.ls：積雪的時間
13.Ir：累積的下雨時數
我們可以使用這些數據並構建一個預測問題，基於天氣條件和前幾個小時的汙染，我們預測在下一個小時的汙染。你可以從UCI Machine Learning Repository下載數據集—北京PM2.5數據集。下載數據集並將其放在你當前的工作目錄中，文件名為“raw.csv”。
基本數據準備
第一步，我們必須清洗數據。
以下是原始數據集的前幾行。
No,year,month,day,hour,pm2.5,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir
1,2010,1,1,0,NA,-21,-11,1021,NW,1.79,0,0
2,2010,1,1,1,NA,-21,-12,1020,NW,4.92,0,0
3,2010,1,1,2,NA,-21,-11,1019,NW,6.71,0,0
4,2010,1,1,3,NA,-21,-14,1019,NW,9.84,0,0
5,2010,1,1,4,NA,-20,-12,1018,NW,12.97,0,0
第一步是將日期時間信息整合為一個日期時間，以便我們可以將其用作Pandas的索引。我們需要快速顯示前24小時的pm2.5的NA值。因此，我們需要刪除第一行數據。在數據集中還有幾個分散的“NA”值；我們現在可以用0值標記它們。
以下腳本加載原始數據集，並將日期時間信息解析為Pandas Data Frame索引。“No”列被刪除，然後為每列指定更清晰的名稱。最後，將NA值替換為“0”值，並刪除前24小時。
from pandas import read_csv
from datetime import datetime
# load data
def parse(x):
return datetime.strptime(x, '%Y %m %d %H')
dataset = read_csv('raw.csv', parse_dates = [['year', 'month', 'day', 'hour']], index_col=0, date_parser=parse)
dataset.drop('No', axis=1, inplace=True)
# manually specify column names
dataset.columns = ['pollution', 'dew', 'temp', 'press', 'wnd_dir', 'wnd_spd', 'snow', 'rain']
dataset.index.name = 'date'
# mark all NA values with 0
dataset['pollution'].fillna(0, inplace=True)
# drop the first 24 hours
dataset = dataset[24:]
# summarize first 5 rows
print(dataset.head(5))
# save to file
dataset.to_csv('pollution.csv')
運行該示例打印轉換的數據集的前5行，並將數據集保存到“pollution.csv”。
Date pollution dew temp press wnd_dir wnd_spd snow rain
2010-01-02 00:00:00 129.0 -16 -4.0 1020.0 SE 1.79 0 0
2010-01-02 01:00:00 148.0 -15 -4.0 1020.0 SE 2.68 0 0
2010-01-02 02:00:00 159.0 -11 -5.0 1021.0 SE 3.57 0 0
2010-01-02 03:00:00 181.0 -7 -5.0 1022.0 SE 5.36 1 0
2010-01-02 04:00:00 138.0 -7 -5.0 1022.0 SE 6.25 2 0
下麵的代碼加載了“ pollution.csv ”文件，並將每個係列作為單獨的子圖繪製，除了風速dir，這是分類的。
from pandas import read_csv
from matplotlib import pyplot
# load dataset
dataset = read_csv('pollution.csv', header=0, index_col=0)
values = dataset.values
# specify columns to plot
groups = [0, 1, 2, 3, 5, 6, 7]
i = 1
# plot each column
pyplot.figure()
for group in groups:
pyplot.subplot(len(groups), 1, i)
pyplot.plot(values[:, group])
pyplot.title(dataset.columns[group], y=0.5, loc='right')
i += 1
pyplot.show()
多變量LSTM預測模型建立：
LSTM數據準備
第一步是為LSTM準備汙染數據集。這涉及將數據集視為監督學習問題並對輸入變量進行歸一化處理。考慮到上一個時間段的汙染測量和天氣條件，我們將把監督學習問題作為預測當前時刻（t）的汙染情況。根據過去24小時的天氣情況和汙染，預測下一個小時的汙染，並給予下一個小時的“預期”天氣條件。
我們可以使用在博客中開發的series_to_supervised（）函數來轉換數據集：如何將時間序列轉換為Python中的監督學習問題
首先，加載“ pollution.csv ”數據集。風速特征是標簽編碼（整數編碼）。如果你有興趣探索，也可以使用熱編碼。
接下來，所有功能都被規範化，然後將數據集轉換為監督學習問題。然後刪除要預測的小時的天氣變量（t）。
完整的代碼清單如下：
# convert series to supervised learning
def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):
n_vars = 1 if type(data) is list else data.shape[1]
df = DataFrame(data)
cols, names = list(), list()
# input sequence (t-n, ... t-1)
for i in range(n_in, 0, -1):
cols.append(df.shift(i))
names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]
# forecast sequence (t, t+1, ... t+n)
for i in range(0, n_out):
cols.append(df.shift(-i))
if i == 0:
names += [('var%d(t)' % (j+1)) for j in range(n_vars)]
else:
names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]
# put it all together
agg = concat(cols, axis=1)
agg.columns = names
# drop rows with NaN values
if dropnan:
agg.dropna(inplace=True)
return agg
# load dataset
dataset = read_csv('pollution.csv', header=0, index_col=0)
values = dataset.values
# integer encode direction
encoder = LabelEncoder()
values[:,4] = encoder.fit_transform(values[:,4])
# ensure all data is float
values = values.astype('float32')
# normalize features
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)
# frame as supervised learning
reframed = series_to_supervised(scaled, 1, 1)
# drop columns we don't want to predict
reframed.drop(reframed.columns[[9,10,11,12,13,14,15]], axis=1, inplace=True)
print(reframed.head())
運行示例打印轉換後的數據集的前5行。我們可以看到8個輸入變量（輸入序列）和1個輸出變量（當前小時的汙染水平）。
var1(t-1) var2(t-1) var3(t-1) var4(t-1) var5(t-1) var6(t-1) \
1 0.129779 0.352941 0.245902 0.527273 0.666667 0.002290
2 0.148893 0.367647 0.245902 0.527273 0.666667 0.003811
3 0.159960 0.426471 0.229508 0.545454 0.666667 0.005332
4 0.182093 0.485294 0.229508 0.563637 0.666667 0.008391
5 0.138833 0.485294 0.229508 0.563637 0.666667 0.009912
var7(t-1) var8(t-1) var1(t)
1 0.000000 0.0 0.148893
2 0.000000 0.0 0.159960
3 0.000000 0.0 0.182093
4 0.037037 0.0 0.138833
5 0.074074 0.0 0.109658
注意：我們必須提供超過一小時的輸入時間步長。因為在解決序列預測問題時，LSTMs通過時間進行反向傳播。
定義和擬合模型
在本節中，我們將通過多變量輸入數據擬合LSTM。
首先，我們必須將準備好的數據集分成訓練集和測試集。為了加快對這次示範模型的訓練，我們將僅使用第一年的數據來擬合模型，然後對其餘4年的數據進行評估。下麵的示例將數據集分成訓練集和測試集，然後將訓練集和測試集分成輸入和輸出變量。最後，將輸入（X）重構為LSTM預期的3D格式，即[樣本，時間步長，特征]。
# split into train and test sets
values = reframed.values
n_train_hours = 365 * 24
train = values[:n_train_hours, :]
test = values[n_train_hours:, :]
# split into input and outputs
train_X, train_y = train[:, :-1], train[:, -1]
test_X, test_y = test[:, :-1], test[:, -1]
# reshape input to be 3D [samples, timesteps, features]
train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))
print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)
運行此示例打印訓練集的形狀：
(8760, 1, 8) (8760,) (35039, 1, 8) (35039,)
現在我們可以定義和擬合我們的LSTM模型。
我們將在第一個隱層中定義具有50個神經元的LSTM和用於預測汙染的輸出層中的1個神經元。輸入形狀是1個時間步長，具有8個特征。
我們將在我們的模型中使用平均絕對誤差（MAE）損失函數。該模型將擬合50個批量大小為72的訓練時期。最後，我們通過在fit（）函數中設置validation_data參數來跟蹤訓練過程中的訓練和測試失敗。在運行結束時，繪製訓練和測試損失。
# design network
model = Sequential()
model.add(LSTM(50, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(Dense(1))
model.compile(loss='mae', optimizer='adam')
# fit network
history = model.fit(train_X, train_y, epochs=50, batch_size=72, validation_data=(test_X, test_y), verbose=2, shuffle=False)
# plot history
pyplot.plot(history.history['loss'], label='train')
pyplot.plot(history.history['val_loss'], label='test')
pyplot.legend()
pyplot.show()
評估模型
模型擬合後，我們可以預測整個測試數據集。
我們將預測的數據集與測試數據集相結合，並反演縮放。我們還可以用預期的汙染數字來反演測試數據集的縮放。使用預測值和實際值，我們可以計算模型的誤差分數。並且我們還可以計算出與變量本身相同的單位產生誤差的均方根誤差（RMSE）。
完整例子
完整的示例如下所示：源程序附件中下載！
運行示例首先創建一個繪圖，顯示訓練中的訓練損失和測試損失：
有趣的是，我們可以看到測試損失低於訓練損失，該模型可能過度擬合訓練數據。
訓練損失和測試損失在每個訓練時期結束時打印。在運行結束時，打印測試數據集上模型的最終RMSE。我們可以看到，該模型實現了可觀的RMSE：3.836。
Epoch 46/50
0s - loss: 0.0143 - val_loss: 0.0133
Epoch 47/50
0s - loss: 0.0143 - val_loss: 0.0133
Epoch 48/50
0s - loss: 0.0144 - val_loss: 0.0133
Epoch 49/50
0s - loss: 0.0143 - val_loss: 0.0133
Epoch 50/50
0s - loss: 0.0144 - val_loss: 0.0133
Test RMSE: 3.836
進一步閱讀
如果你想學到更多，請參考一下資源：
總結：
在本教程中，你發現了如何將LSTM適用於多變量時間序列預測問題。
具體來說，你學到了：
·如何將原始數據集轉換為可用於時間序列預測的內容。
·如何準備數據並適應多變量時間序列預測問題的LSTM。
· 如何做出預測並將結果重新調整到原始單位。
本文由@阿裏雲雲棲社區組織翻譯。
文章原標題《Multivariate Time Series Forecasting with LSTMs in Keras》
作者：Jason Brownlee
https://machinelearningmastery.com/blog/
審閱：
文章為簡譯，更為詳細的內容，請查看原文
最後更新：2017-08-18 11:02:25