LSTM法則應用於連續手勢辨識之研究──訓練系統軟體及辨識系統FPGA之實作

Abstract

本論文用LSTM類神經網路模型來做連續手勢之訓練及辨識系統，並且以FPGA來完成手勢辨識系統之硬體化實現。 資料蒐集方面，我們使用智慧型手機取得其內部感應器中的三維加速度器及三維陀螺儀數值做為我們的訓練資料及辨識資料。訓練及辨識方面，透過Keras平台對手機端蒐集的資料做訓練跟辨識，接著我們以C以及JAVA重建辨識系統，來協助此系統On-line及硬體化的實現。 辨識系統我們有著百分之九十八的辨識準確率，並且在完成的硬體電路有著低面積及低資源消耗。在高準確率跟低資源消耗的優點下，大大增加了本篇論文的應用性及實用性。例如可以與娛樂結合，讓玩家能透過感應器藉著手勢的揮舞做出移動或是攻擊的動作而不必透過按鈕，增加遊玩的真實感。