資訊工程學系
Permanent URI for this communityhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/60
本系前身「資訊教育學系」成立於民國七十四年，首先招收大學部學生，民國九十年成立資訊工程研究所碩士班，而後於民國九十五年進行系、所調整合併為「資訊工程學系」；並於九十六年成立博士班。本系目前每年約招收大學部四十餘人，碩士班六十餘人，博士班約五人，截至民國一百零四年十一月止，總計現有大學部一百九十多人，碩士班一百二十多人，博士班二十三人，合計學生人數約為三百三十多位。
News
Browse
12 results
Search Results
Item 線上學習者分心行為偵測研究(2023) 戚祐寧; Chi, Yu-Ning當我們從事重要的事情時，保持專心與集中精力至關重要。舉例來說，當駕駛車輛時，如果不專心駕駛不僅可能造成交通事故，還有可能導致人身傷亡和財物損失。再者，對於醫生來說，在進行手術時也必須保持專注，因為任何的分心都有可能導致嚴重的醫療錯誤，造成不必要的傷害。此外，在學習方面，當學生在讀書時，如果不能保持專心，可能會錯過重要的概念，影響其學習效果。本研究以線上學習者行為偵測為例，藉由電腦內建鏡頭拍攝學生上課情況，透過偵測發現課堂中常見的不專心行為。本研究提出以人臉偵測判斷影像中學生是否坐在座位上，並藉由頭部姿勢及眼睛視線判斷學生是否保持專注;同時使用哈欠偵測確認學生疲憊情況。此外，針對學生上課電腦螢幕進行場景偵測，自動辨別課程段落，進而探討學生是否專心於課堂。 本研究的實驗資料源自於本校研究所六名研究生協助拍攝的實際線上課程學習影像，通過實驗驗證各項行為偵測方法及整體可行性。實驗結果顯示，系統在整體學習專心程度偵測的準確率為 88%，由此可知，本研究方法能有效地偵測出線上學習者的專心與不專心。因此，本研究將進一步針對各受試者及各課程進行深入探討。Item 基於頻率域和時序性特徵的假人臉影片偵測(2021) 王順達; Wang, Shun-Ta隨著深度學習生成技術日新月異發展， 越來越多深度學習生成的假臉充斥在網路世界。多項研究證實人眼對於深度學習生成假臉的真偽越來越沒有判斷能力，將來勢必衍生更多擬真度極高的假影片讓大眾堅信不移，製造多重假資訊和社會恐慌。然而深度學習模型卻有辦法偵測某些細微特徵，不論是從語意上、屬性上、和頻譜上，甚至是幀和幀之間的不一致性都逃不過模型精準的法眼，因此利用深度學習模型偵測假臉勢在必行。近年來，深度學習偵測假臉研究日益受到關注，其中不乏利用離散餘弦轉換、傅立葉轉換等方式將特徵圖轉換至頻率域，並在頻譜中學習特徵，以及運用注意機制讓模型學習、強調局部特定區域，和利用循環神經網路學習幀和幀之間的不一致性。但過往研究往往忽略模型追求的目標是具備高度泛化能力，畢竟將來人類面臨到的造假影片不會是模型訓練時所見過的，也必然隨著深度生成技術演進產生更難辨別的影片，此時模型能否精準偵測便是考驗演算法泛化能力的時候。 因此本研究結合卷積神經網路抽取空間域特徵，離散餘弦轉換後的頻譜抽 取頻率域特徵，以及利用注意機制學習、強調竄改區域，和運用 GRU 架構抽 取前面學習到的特徵再加以學習時序性特徵，辨別真偽。此外還設計兩種損失 函數實驗，Focal Loss 和 Cross-Entropy Loss 追求最好的模型泛化能力。實驗證 實，我們的模型架構能在沒有預訓練的情況下，在 Celeb-DF 資料集達到當今最 佳的泛化結果，並在其他資料集也展現顯著的泛化能力。Item 基於聚類之影片人數計數分析(2021) 簡郁璇; Chien, Yu-Shuan近年來科技日新月異的發展，多媒體串流影片服務平台更是不可勝數，各式各樣的影片上傳到各個影音平台作為影音串流服務，使用者經常利用電子產品來觀看喜愛的電視劇或影集，若要針對影片進行語言學習，則必須自動挑定影片中某位主角所有的畫面與台詞，然而自動擷取以便進行練習，因此，本研究進行影片中人物的分群分析。傳統判別影片中人物的研究，都需要事先輸入主角人臉圖像，提取人臉特徵作爲人臉庫，進而將偵測到的人臉與人臉庫特徵比對，才能得到比對結果，然而如果沒有一開始的主角人圖像，便會無法預測影片中的人物，因此本研究探討在無監督訓練條件之下，針對影片進行人臉聚類（face cluster）將一部影片中的人臉分成為不同簇（cluster）之後，並且尋找聚類中心（centroid）作爲質量最高的圖像，透過人臉檢索（face retrieval）的方法採用上述聚類中心作爲人臉庫，即可分析影片中主角之人臉特徵與人臉庫進行比對。透過本研究所提出合併Facenet、Chinese-Whisper聚類、Annoy三種技術，以四部影集的不同場景內容環境作為實驗情境，在影片人數為五人內人臉偵測準確率達95.3%、十人內人臉偵測準確率達87.9%、十五人內人臉偵測準確率達82.7%。由於人臉經由時間會有不同變化，根據實驗結果，使用第一年的主角人臉庫進行偵測已經經過四年的影片，此人臉偵測準確率仍能維持81.8%。本研究聚類方法在LFW公開資料庫上高於 K-means、DBSCAN 聚類方法，代表聚類後的簇類與真實類別的吻合度相近。Item 基於臉部偵測及CNN模型之硬體臉部辨識系統(2019) 謝斯宇; Xie, Si-Yu本論文透過FPGA(Field Programmable Gate Array)的特性，如運算速度快、功率消耗低以及可攜性高等，來實現基於簡單CNN Model LeNet-5的人臉即時辨識系統。 LeNet-5是簡單的CNN Model，對於複雜背景的影像有著極低的辨識率，為了改善其缺點，有兩種作法。第一，使用較為複雜的CNN Model如VGG-Net16等，第二，新增額外的前處理人臉偵測方式來改善。 如果使用較為複雜的CNN，在現有基於複雜的CNN電路絕大多數是使用PE (Process Element)Array的架構，每層電路共享相同的運算單元，而這種方法會造成一些問題，硬體資源消耗高、硬體設計複雜以及Latency長等問題。所以本論文是使用較為簡單的CNN來設計電路，根據軟體模型不同層的特性去做不同的設計，藉由改善電路的架構，使得每一層電路部分重疊的方式，提升電路平行計算的能力，進而提高電路的運算速度。 本論文使用簡單的CNN電路搭配人臉偵測的方式，來實現即時人臉辨識系統，不僅辨識率足以跟複雜的CNN匹敵之外，更重要的是我們只需花成本低的硬體規格就能實現實際的應用，如手機上的APP人臉解鎖功能以及家庭人臉辨識等應用，符合普及計算(Pervasive Computing)的概念。Item 應用於遠距教學之學習專注程度偵測研究(2020) 陳文賢; Chen, Wen-Xian本研究進行學習專注度偵測的研究，藉由專注度偵測降低因為不專注導致學習進度的落後，並且將研究應用在較需要偵測專注度的遠距教學環境。本研究提出藉由人臉偵測和機器學習判斷影片中每張影像人臉的視線位置，透過發呆偵測以及臉部位移偵測取得動作資訊，使用影像分段處理以及滑動窗口處理連續性的影像，將影片的每個區段判斷成專心或不專心的狀態。 實驗資料來源包括高中補習班補課以及大學遠距教學兩種不同類型的學習影片，實驗結果發現專心行為判定的準確度為93%，不專心行為判定的準確度為81%。由結果得知本研究方法能有效地偵測到出現不專心行為的時間，透過臉部位移偵測方法也能避免做筆記的行為被判定為不專心。Item 可應用於學生專注度之人眼開闔偵測研究(2012) 簡郁菱; Yu-Ling Chien本論文提出一個即時的簡易偵測方式，著重於解決遠距離低解析度下，光源與雜訊干擾等問題，能使得眼睛在不同開闔程度下皆能擁有優良的辨識率。 藉由使用人臉偵測、局部影像擷取、眼睛區域決策與眼睛區域-可靠度檢查，截取出完整且無遮蔽物的眼睛影像，並且在低解析度時也能明確的找出眼睛位置。再使用簡易、快速且不受光源影響的紋理特徵分佈影像，強化開眼闔眼的對比，得到平順、破碎或群集分佈的二值化影像，分析其中平均值、變異值與分群數的差異，能有效的偵測眼睛狀態。 在實驗中可以證明，辨識速率非常的快，在一般複雜環境下表現優異，在遠距離中也並未受到外在環境的干擾。 眼睛狀態偵測可搭配人臉偵測與移動偵測，來推廣至學生專注度偵測應用，能有效的辨識出學生專心狀態。Item 使用單一網路攝影機之視線判斷(2013) 許雅淳; Ya-Chun Hsu眼動追蹤一直被應用於認知心理學相關的研究，近年來眼動追蹤更成為人機互動相當熱門的發展重點之一。事實上，眼動追蹤不但能夠被用於輔助行動不便的病患透過電腦與人溝通，也能應用於偵測駕駛精神狀態上，減少駕駛因過度疲勞造成的車禍率，除了可挽救許多人命外，更可降低社會成本。 然而，市面上的眼動追蹤系統經常價格不斐且不易取得，因此我們提出一個只要個人電腦及一個網路攝影機就能使用的眼動追蹤方法。我們修改了Adaboost的人臉追蹤方式，以期調高偵測速度並降低偵測錯誤率，也提出一個能夠快速尋找到虹膜中心位置的方法。最後透過支持向量機，判斷視線可能坐落的區塊，再透過我們設計的視線追蹤機制，進行最終視線所在區塊的判斷。Item 以Graph cut演算法為基礎的連續影像人臉偵測系統(2012) 郭俊麟; Jiun-Lin Guo本論文提出一套可在各種教室情境中運作的人臉偵測系統，偵測對象為教室中的多名學生，主要應用在自動教室觀察與記錄系統中。本研究採用顏色做為人臉偵測時的特徵，且利用graph cut技術做為人臉偵測時主要的方法。 以顏色為特徵的人臉偵測有著較不受頭部轉動和傾斜影響的優點，因為在頭部轉動和傾斜時，膚色依然在人臉中佔有一定比例的面積；至於眼睛、嘴巴和鼻子等其他人臉特徵在頭部轉動和傾斜時(尤其是轉動)在影像中較不穩定。這個顏色特徵的優點對於在教室中進行自動人臉偵測來觀察與記錄學生的行為有很大的幫助，因為在課堂中學生頭部的姿勢變化常常都是有意義的，如疲憊時打瞌睡、表示贊同時點頭或心不在焉時將人臉轉向他處等，而這些變化也往往是教學觀察者們(教師、研究人員)所關心的現象。因此，本系統若能夠在各種頭部姿勢狀態下做人臉偵測，就能夠更進一步地去分析這些姿勢變化和其所代表的意義。 利用顏色特徵來偵測人臉必須選擇一個適當的色彩空間，並且決定人臉的膚色在該色彩空間中的範圍。然而，這類作法常會遇到兩個問題，一是不同的光線以及人種需定義不同的膚色範圍，二是在教室中有許多物體顏色接近膚色(如原木色課桌椅)，會降低人臉偵測的正確率。針對第一個問題，本研究提出一個動態的膚色範圍定義方式；而為了解決第二個問題，本研究提出一個穩定的方法在影像中擷取前景(即學生的部分)。此方法結合單點建模與graph cut的技術，可以得到完整不破碎的前景，在前景的範圍內擷取膚色，避免類膚色背景的干擾。 另一方面，利用膚色在Hue色彩空間中高度集中的特質，本研究再次以graph cut技術優化膚色區域的偵測結果，統計收集到的膚色像素、動態更新膚色範圍，以提高偵測的穩定性。 在實驗時，本研究架設單一攝影機來擷取影像，每張影像中均包含4~6位學生。本研究假設初始教室沒有學生，系統首先進行背景建置，待學生進入教室，系統偵測到影像中有前景出現後，便會開始進行人臉偵測。實驗結果顯示，本研究提出的人臉偵測技術，較不受各種頭部轉動和傾斜角度之影響，並且能夠在低解析度影像下，維持高準確率。Item 駕駛者臉部定位(2011) 何礎安; Chu-An Ho交通事故死亡率在國內死亡率排名總是居高不下，其中肇事的主因多來自於駕駛者精神狀態不好所造成，因此有一部分的視覺式駕駛監控系統中，嘗試利用攝影機拍攝駕駛者的臉部狀態，利用臉部特徵的擷取，來進行其精神狀態的分析。為了能使這樣的系統在不同光照環境中也能穩定的運作，本論文主要在研究視覺式駕駛監控系統中，以影像補償的方式使影像回覆影像原始色彩，使系統在不受光源的影響下亦可快速即時的進行人臉定位。 本研究使用一般攝影機進行拍攝，本研究首先會對攝影機拍攝的影像序列選取參考影像，其目的是為了提供給稍後影像補償的動作使用，在參考影像的選取上，利用了五種特徵：邊緣的空間分佈(Compactness of Spatial Distribution of Edges)、色調統計(Hue Count)、膚色統計(Skin Color)、對比度(Contrast)和模糊程度(Blur)，來進行參考影像的選取。接著對影像序列進行分鏡偵測，藉由兩張前後相鄰影像間相關的趨勢，判斷場景是否發生變化，若產生變化。則進入的影像將利用K-L transform的方式將需補償影像之色彩分佈，轉換至參考影像的色彩分佈。最後利用Adaboost的方式進行人臉偵測和以粒子群最佳化為基礎的粒子濾波器(Particle swarm optimization- based particle filter)進行追蹤，並將偵測和追蹤結合，以追蹤輔助偵測、偵測確認追蹤的方式來輸出人臉定位的結果。Item 基於背景模型的姿勢判斷系統(2011) 李振遠; Chen Yuan Lee姿勢辨識在電腦視覺領域中，特別是針對人體部分是項越來越重要的議題，涵蓋的範圍可分為：手部與手臂的姿勢辨識、頭部與臉部姿勢辨識、整個身體姿勢辨識等種類。在姿勢辨識的問題中，一個很大的瓶頸在於如何在複雜環境下取得所需要的特徵資訊，並且選擇適當的方法將這些資訊完成姿勢辨識。本論文主要目標是在真實的教室裡並且只有一台攝影機拍攝下，能即時(real-time)辨識出講者的手臂姿勢來達到控制投影片的效果，所提出的方法能讓講者在教室投影機照射下，穩定並不受投影機照射並且背景隨著投影片的換頁變化影響下抓取需要的資訊來進行辨識。本論文使用高斯混合背景模(Mixture of Gaussian background model)來擷取出前景(foreground)的輪廓(silhouette)影像，並使用連通元(connected component)將前景輪廓的特徵資訊截取出來，並套入支持向量機(Support Vector Machine，SVM)對手臂動作進行分類。此外，搭配人臉偵測(face detection)方法能分辨出左右手，達到不同手部動作來控制投影片的效果。