基於循環神經網路之注視區域分析

Abstract

人類在認知學習的過程中，大部分的訊息是透過眼睛視覺所獲得，並且在視線範圍內若能找到感興趣之區域，會產生一系列的凝視與掃視反應，因此若能掌握眼球運動視覺軌跡，即能分析使用者之行為模式與認知學習歷程，而此模式已廣泛應用於各個領域之中。 過去所使用的注視追蹤方法，在蒐集注視數據資料時，通常會將使用者頭部固定，再進行注視模型訓練與分析，藉此提高訓練分類之準確率。然而當使用者頭部偏移時，則會導致注視分類預測之準確率降低，因此本研究探討非固定頭部的分類準確度。 本研究使用一般的網路攝影機，為了提升非固定頭部分類之準確度，過往的注視追蹤之研究常以眼睛外觀模型劃分注視區域，本研究則探討訓練模型架構結合卷積神經網路架構與循環神經網路之演算法，透過計算頭部姿勢預估中的俯仰角、偏航角與翻滾角加入模型訓練，使得使用者頭部能在偏移範圍於俯仰角+/-10°與偏航角+/-20°內移動，並且同時參考前一秒時間空間序列上的視線區域，再做注視點預測與分析，提高注視區域分類準確率表現。 透過本研究所提出CNN+RNN之訓練模型，在不同注視區域劃分下為2x2準確率達 98%、3x3準確率達 97%、4x4準確率達 90%、5x5準確率達 85%、6x6準確率達 80%、7x7準確率達 74%、8x8準確率達 69%、9x9準確率達 62%，相較於單一採用CNN架構訓練模型分類準確率，CNN+RNN模型架構能有效提升整體注視區域分類準確率 7~15%。Eye trackers can accurately measure the user’s eye movement, trajectory, dilation, and constriction of the pupil. However, dedicated devices are expensive. This research looks at the use of web cameras to track and predict the gaze area. In particular, this study focuses on the accuracy of classification with some degree of freedom on head movement.

In this research, we propose a training model that uses convolution neural network and recurrent neural network in succession to train gaze direction. The user’s head can deviate within +/-10°pitch angle and +/-20° yaw angle. Regarding the gaze area of Space-Time Series of one second before, predicting and analyzing the gaze point, then improve the accuracy of classification of the gaze area. Experimental results show that the accuracy of automatic gaze tracking ranges between 98% to 62% as the gaze area gradually decreases from 640×360 pixels to 142×80 pixels.