使用強化式學習於時間序列預測之應用

Abstract

本論文使用強化式學習的方法結合類神經網路LSTM架構於時間序列的分析與預測，然而我們想針對美國NASDAQ指數進行買點分析的研究探討，並使用強化式學習中的Policy Gradient法則，以型態學的角度處理資料，讓LSTM模型，學習歷史收盤價中上漲及下跌前會發生的預兆進而預測買點。本論文的研究目的為證明強化式學習及LSTM的模型，對於時間序列的預測是相當合適的，雖然本研究只針對一種資料做研究，但其方法與架構可以套用至其它時間序列資料。 由型態學的理論作為基礎，我們需要訓練兩種趨勢的模型，使我們可以更確定特徵出現的訊號，讓預測結果更加確定更為穩健。我們也以型態學的角度，將收盤價資料做處理，使看似雜亂無章的收盤價資料處理成趨勢資料。接著我們以Policy Gradient的方法，以獲利值引導參數學習，使得模型在訓練的過程中，會自行隨著獲利值慢慢收斂至擁有最大期望值的模式。 實際測試方面，本論文以三種趨勢的資料做測試，測驗本研究所提出的演算法架構使否能成功避險及獲得高獲利，而根據實驗結果顯示，此架構除了能夠成避開負獲利的買點以外，也能夠只挑選那些有足夠把握的買點才做購買，避開那些不必要之交易風險。 本論文也將此架構之演算法和其他現有的方法做討論，也有較好之獲利能力。