資訊工程學系
Permanent URI for this communityhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/60
本系前身「資訊教育學系」成立於民國七十四年，首先招收大學部學生，民國九十年成立資訊工程研究所碩士班，而後於民國九十五年進行系、所調整合併為「資訊工程學系」；並於九十六年成立博士班。本系目前每年約招收大學部四十餘人，碩士班六十餘人，博士班約五人，截至民國一百零四年十一月止，總計現有大學部一百九十多人，碩士班一百二十多人，博士班二十三人，合計學生人數約為三百三十多位。
News
Browse
5 results
Search Results
Item 基於深度學習之羽球動作分析系統(2024) 林聖傑; Lin, Sheng-Jie近年來由於2020年東京奧運，台灣在羽球項目拿下一面金牌以及一面銀牌的好成績，隨著奪冠之後的聲浪，台灣的羽球人口也持續上升，因此本研究提出一套基於深度學習之羽球動作分析系統，能夠讓使用者輸入一段羽球動作影片，即可分析出動作的正確性，以避免造成傷害。也可以使得使用者剩下昂貴的教練費及場地費。羽球動作分析系統主要可以分成三個部分，分別為資料前處理、羽球動作辨識子系統及3D人體模型建構及分析子系統，羽球為世界上最快的球類運動，在拍攝時容易造成物件模糊的情形，因此本研究透過資料的前處理解決模糊影像，後續使用Frame Flexible Network架構，學習來自不同頻率的特徵圖，接著透過Temporal Shift Module位移部分通道的特徵圖，以達到時序融合。後續使用近年來新穎的3D人體模型技術，透過其中24個人體關鍵點，使用普式分析(Procrustes analysis)輸出容易受傷的關節點。本研究建立一個羽球動作資料集，命名為CVIU badminton datasets，該資料集包含7個常見的羽球動作，分別為反手擊球、正手擊球、右挑球、左挑球、低手發球、高手發球、防守動作，實驗結果顯示在CVIU badminton datasets中的Top-1準確度達到91.87%。類別準確度(Class accuracy)達到85.71%。後續實驗結果顯示本研究所提出改良都有提升效果。Item 基於深度學習之攝影指引系統──多面相評論和評分(2024) 俞柏丞; Yu, Po-Cheng近年來，自然語言處理和影像處理領域進步迅速，各種應用蓬勃發展帶眾多應用。隨著手機成為日常拍攝的重要工具，本研究提出一套基於深度學習的拍攝指引系統。該系統結合自然語言處理和影像處理技術，幫助使用者在拍攝過程中獲得具有情感和美學價值的建議。本系統通過文字評論與美學分數提供指引，幫助使用者提高攝影技巧，並準確地捕捉畫面中的美感。拍攝指引系統主要可以分成兩個子系統，一個是輸出分數的美學評分子系統，另外一個是輸出文字的美學評論子系統。其中第一個為輸出分數的美學評分子系統，採用多尺度影像品質評估模型，作為本研究客觀評估影像的參考指標。另外一個為美學評論子系統，採用Encoder-Decoder構成的文字生成模型，本研究選擇SwinV2作為Encoder來擷取影像特徵，並使用GPT-2作為Decoder學習文字特徵，同時在其內部使用交互注意力機制(cross attention)做異質性特徵融合，最後生成評論。但交互注意力機制不能有效融合異質性特徵，所以本研究引入Self-Resurrecting Activation Unit (SRAU)來控制異質性特徵學習的內容。而GPT-2 block中的多層感知網路Multi-Layer Perceptron(MLP)無法學習處理複雜的特徵資訊，所以本研究採用前饋網路高斯誤差門控線性單元Feedforward Network Gaussian Error Gated Linear Units (FFN_GEGLU)網路架構，來提升模型學習的效果。為解決資料集過少的問題，本研究採用網路收集的弱標籤資料集，但弱標籤資料內文字評論常有錯誤。為提升資料集品質，本研究採用兩個方法。一是收集並整理弱標籤資料集，通過資料清洗提高品質；二是加入高品質資料進行訓練，並通過資料增強的方式增加高品質資料集的數量。通過這些資料處理方法，本研究將其整合成一個高品質資料集進行訓練及測試。結果顯示35個評估指標中有33個優於基準模型，改良證明模型在五種美學面向中有94%的指標優於基準模型，顯示其有效性。Item 栩栩如生:動畫人物動作重演(2024) 林育德; Lin, Yu-De動作重演旨在將驅動影片中人物的動作轉換為來源影像中人物的動作，並依照轉換結果生成一段動作重演動畫。近期研究多探討真實人類至真實人類的動作重演，甚至已經能夠生成真假難辨的動畫。本研究認為動作重演的價值在於將真實人類的動作轉換為動畫人物的動作，因為可提升動畫人物的動作品質，豐富使用者的娛樂體驗。本研究期望動畫人物可重演真實人類談話時的面部表情、頭部轉動和肩膀移動等動作，於是分別從VoxCeleb資料集收集名人訪談影片和AnimeCeleb資料集收集動畫人物動作影片，並將這兩種類型的影片組成Celebrity450訓練集。藉由讓系統從Celebrity450訓練集中學習真實人類和動畫人物的動作轉換，預測真實人類至動畫人物的動作轉換。現有技術易受到真實人類和動畫人物幾何差異的影響，產生面部動作轉換能力不足的問題，本研究提出多解析度光流技術，讓系統分別從不同解析度的特徵圖學習相應解析度的光流。同時，AnimeCeleb資料集沒有提供動畫人物肩膀移動的動作資訊，造成系統不能學習動畫人物肩膀移動的動作轉換。本研究在動畫人物動作影片進行特定型態的資料增強，透過移動每張影格的像素座標，模擬動畫人物各類型的肩膀動作。此外，當前指標不能明確評估動作轉換的性能，本研究提出反轉評估技術，透過比對重建之來源影像與來源影像的差距，間接評估動作重演的性能。實驗表明本研究在動畫人物動作重演領域取得重大的突破，多解析度光流技術不僅改善現有技術的缺失，還能將真實人類面部動作的細節轉換至動畫人物；特定型態資料增強讓系統可從訓練集學習動畫人物肩膀移動的動作轉換，實現生動的動畫人物動作重演；反轉評估技術展現穩健的信效度，提供未來研究一個明確可行的評估指標。Item 基於邊緣計算和深度學習之病媒蚊分類系統(2019) 洪銘鴻; Hong, Ming-Hong由於登革熱與日本腦炎是由病毒所引起的一種傳染病，會經由蚊子傳播給人類。在最近一次 2015 年的台南市爆發登革熱的疫情，最初只出現在台南市北部地區，接著以驚人的速度擴散到全台南市，最終蔓延至台灣全島。當年，確診病例超過 4 萬人，死亡病例也高達 218 人，而且未發病的感染者約為發病者的九倍至十倍。若患者再次被病媒蚊叮咬造成交叉感染，則重症死亡率會大幅度提升至 20%以上，而且目前沒有預防疫苗，也沒有特效藥物可治療，而引發登革熱的病媒蚊為埃及斑蚊（Aedes aegypti）與白線斑蚊 (Aedes albopictus)。而日本腦炎的致死率大約為 20%以上，存活病例約有 40%有神經性或精神性的後遺症，而且亦目前沒有特效藥可治療，引發日本腦炎的病媒蚊為三斑家蚊（Culex tritaeniorhynchus）與環蚊家蚊（Culex annulus），避免病媒蚊叮咬是目前唯一的預防登革熱及日本腦炎的方法。 為解決登革熱與日本腦炎問題，本篇論文提出病媒蚊分類系統，這是一套影像分類準確率高達 98%以及計數功能的智慧捕蚊系統，其中包含邊緣計算、深度學習的影像處理和 電腦視覺，主要功能在邊緣計算為物體偵測，深度學習為斑蚊分類與計數，透過這些步驟，改善了現今捕蚊燈、滅蚊燈不能分類 (Classification)蚊子種類。並以智慧捕蚊裝置收集影像資料，主要資料收集與處理正是引發登革熱的兩種台灣常見的病媒蚊種類──白線斑蚊與埃及斑蚊以及引發日本腦炎的兩種台灣常見的病媒蚊種類──三斑家蚊與環蚊家蚊，並在分類時以斑蚊 (Aedes) 和家蚊 (Culex) 進行二元分類，由於此系統與裝置獲得更多台灣蚊子資訊，其資訊包含進入捕蚊燈的蚊子數量、種類以及時間、地點，以便後續作為對病媒蚊採取措施的重要參考依據。Item 匝道車輛辨識與計數(2006) 彭益凡隨著時代的進步，車輛已成為民眾生活中不可或缺的一部份，因此如何有效地交通控管便成為一個重要的課題。除了一般傳統車輛計數及辨識的儀器外，近年來以電腦視覺為基礎的車輛辨識系統也漸漸受到注目。大多數的車輛辨識系統將攝影機架設於道路上方，並且以車輛大小來分類車輛種類。這樣的車輛辨識系統不僅架設困難，且分類方法較不精細。 本研究中提供了一個以電腦視覺為基礎，不受天氣影響且架設方便的車輛辨識系統。有別於多數的車輛辨識系統，我們將攝影機架設於道路側面，以側拍的方式監測道路影像。攝影機架設於道路側面，不僅架設方便，無需負擔額外的架設費用外，利用車輛側面的形狀，我們更可以將車輛種類更細分為小客車、小卡車、大卡車、箱型車、貨車、載卡多、大客車，提供ㄧ個更精細的分類結果。另外本系統不受天氣影響，可用非常短的距離監測道路影像的特性，使得本系統能普便應用於各種車道環境。