LSTM 法則應用於連續手勢辨識之研究──手勢辨識系統軟體與硬體於 FPGA 實作

Abstract

本論文考量現實應用的方便性與實際應用，選擇現場可程式邏輯門陣列(Field Programmable Gate Array, FPGA)來硬體電路實現，並對電路運算單元參數化，以應變需求的變化。而演算法使用長短期記憶(Long Short-Term Memory,LSTM) [1]來訓練模型與手勢辨識。 LSTM 作為設計電路之模型，跟傳統遞歸神經網路(Recurrent Neural Networks, RNN) [2]不同的是，RNN 同一時間點 t 的輸入都在同一層面，將上一層的輸出當作下一層的輸入，但時間點 t 產生的梯度在往後傳遞幾層後就消失為一大難題。而 LSTM 使用 Input Gate、Output Gate 與 Forget Gate 三個控制閘成功的解決時間軸上梯度消失的問題，因此選擇 LSTM 為本論文的演算法則。 LSTM 模型以 Keras [3]平台來訓練與驗證，辨識率高達 98%。本論文的訓練與辨識資料庫使用擁有陀螺儀跟加速器的手機做為 Sensor 來收集手勢資料，並收集本實驗室多人的動作為資料庫，並對資料做圖形化來篩選優良的訓練資料。圖形或者影像辨識需要瞭解艱深且複雜的公式，還必須有能力編碼將公式實踐出來，對手勢的辨識如果使用傳統影像辨識的方法將會增加運算的時間、大量的運算資源消耗與記憶體儲存空間的需求。本論文分別使用手機陀螺儀與加速器的 X、Y、Z 軸數據為訓練資料，與傳統的影像辨識相比，差別為輸入資料每一筆的維度變成一維，節省硬體儲存資源與運算的複雜度。

none