Browsing by Author "方瓊瑤"

Now showing 1 - 20 of 55

以Graph cut演算法為基礎的連續影像人臉偵測系統
(2012) 郭俊麟; Jiun-Lin Guo
本論文提出一套可在各種教室情境中運作的人臉偵測系統，偵測對象為教室中的多名學生，主要應用在自動教室觀察與記錄系統中。本研究採用顏色做為人臉偵測時的特徵，且利用graph cut技術做為人臉偵測時主要的方法。以顏色為特徵的人臉偵測有著較不受頭部轉動和傾斜影響的優點，因為在頭部轉動和傾斜時，膚色依然在人臉中佔有一定比例的面積；至於眼睛、嘴巴和鼻子等其他人臉特徵在頭部轉動和傾斜時(尤其是轉動)在影像中較不穩定。這個顏色特徵的優點對於在教室中進行自動人臉偵測來觀察與記錄學生的行為有很大的幫助，因為在課堂中學生頭部的姿勢變化常常都是有意義的，如疲憊時打瞌睡、表示贊同時點頭或心不在焉時將人臉轉向他處等，而這些變化也往往是教學觀察者們(教師、研究人員)所關心的現象。因此，本系統若能夠在各種頭部姿勢狀態下做人臉偵測，就能夠更進一步地去分析這些姿勢變化和其所代表的意義。利用顏色特徵來偵測人臉必須選擇一個適當的色彩空間，並且決定人臉的膚色在該色彩空間中的範圍。然而，這類作法常會遇到兩個問題，一是不同的光線以及人種需定義不同的膚色範圍，二是在教室中有許多物體顏色接近膚色(如原木色課桌椅)，會降低人臉偵測的正確率。針對第一個問題，本研究提出一個動態的膚色範圍定義方式；而為了解決第二個問題，本研究提出一個穩定的方法在影像中擷取前景(即學生的部分)。此方法結合單點建模與graph cut的技術，可以得到完整不破碎的前景，在前景的範圍內擷取膚色，避免類膚色背景的干擾。另一方面，利用膚色在Hue色彩空間中高度集中的特質，本研究再次以graph cut技術優化膚色區域的偵測結果，統計收集到的膚色像素、動態更新膚色範圍，以提高偵測的穩定性。在實驗時，本研究架設單一攝影機來擷取影像，每張影像中均包含4~6位學生。本研究假設初始教室沒有學生，系統首先進行背景建置，待學生進入教室，系統偵測到影像中有前景出現後，便會開始進行人臉偵測。實驗結果顯示，本研究提出的人臉偵測技術，較不受各種頭部轉動和傾斜角度之影響，並且能夠在低解析度影像下，維持高準確率。
以主成份分析為基礎之嬰兒表情辨識系統
(2011) 黃律嘉; Liu-Jia Huang
本論文提出一套具有辨識嬰兒表情功能的視覺式監控系統。因為年幼的嬰兒還不會用言語來表達自身的需求，我們只能透過嬰兒臉上的表情來了解嬰兒是否需要幫助。此外全天候照顧嬰兒需要花費許多精力，本研究擬建立智慧型表情辨識輔助系統，藉由判別嬰兒的表情，隨時告知照顧者嬰兒的現況，系統如果偵測到嬰兒哭泣或吐奶時，能及時發出警告提醒照顧者檢視嬰兒的情況，以求降低嬰兒意外的發生。本研究將攝影機架設在嬰兒床前方，拍攝嬰兒的臉部影像，輸入至系統作分析。其中系統可分兩個子系統：嬰兒臉部偵測以及嬰兒表情辨識。嬰兒臉部偵測是利用Locus model定義的膚色範圍找出影像中的膚色像素，並利用connected component的技術找出最大的膚色區塊，經由區塊分析可找到嬰兒臉部區域，完成嬰兒臉部定位後。即可擷取出嬰兒臉部區域影像。在臉部特徵擷取部分，本研究採用主成份分析(principal component analysis)的方法，取出具有代表性的臉部特徵，並將訓練影像的特徵向量與投影矩陣存入資料庫中。之後只要將臉部表情的連續影像輸入至系統，並和資料庫中的投影矩陣相乘就能得到單張影像的特徵向量，與資料庫中的各表情影像做比對後，可得出該影像的表情類別。因為單張表情辨識的正確率無法提高，我們考慮連續影像的表情發生機率，直到有某種表情類別的發生機率超過系統預設的臨界值，系統才將辨識結果輸出，由實驗結果證明本系統是穩定且有效率的。
以前景物動態機率模型為基礎之嬰兒危險程度評估系統
(2010) 蕭宛甄
根據衛生署統計資料顯示，意外傷害是造成新生兒死亡的主要原因之一。意外傷害包含新生兒摔傷、被外物砸傷、被外物遮蔽口鼻窒息等。因此本論文希望開發一套視覺式的新生兒監控系統，可以即時的通知照顧者減少事故傷害的發生。本論文主要分成三個部分：建立前景物顏色模型、嬰兒偵測、危險程度分析。監控攝影機架設於嬰兒床的正上方，系統讀入連續時間的新生兒動作影像後，先建立前景物顏色模型(FC model)。FC model建立時分別統計前景物的顏色及整張影像中所有的顏色，之後可作為嬰兒偵測時的依據。接著根據FC model，使用貝氏定理以顏色為特徵計算前景物的機率，另外根據MHI(motion history image)，以motion為特徵計算前景物的機率。最後顏色機率與motion機率結合，得到整合後的前景物機率完成嬰兒偵測。之後擷取出幾種代表性的特徵，代入函式得到個別的危險程度並依照新生兒月份做調整，最後整合所有特徵得到最終的危險程度值。本論文將危險程度分成五個等級，若超過系統設定的安全範圍則發出警告通知照顧者。
以可程式化系統晶片為基礎之快速kNN圖形辨識系統之研究
(2006) 葉燿榮; Yao-Jung Yeh
本論文針對以場域可程式閘陣列 (FPGA) 實現kNN分類器提出一個採用小波轉換 (Wavelet transform) 及部分距離搜尋 (PDS) 的新演算法。在大多數的軟體應用中，部分距離搜尋演算法可以適度的加速碼字搜尋。本論文提出一個適於硬體實現的新部分距離搜尋演算法，此演算法對於每一個輸入向量，在小波域 (Wavelet domain) 中執行部分距離搜尋，以找出kNN分類器的設計集合中個最接近的向量。此演算法使用子空間搜尋 (subspace search)、位元平面縮減(bitplane reduction) 和多係數累積 (multiple-coefficient accumulation)三種技術來有效降低面積複雜度 (area complexity) 以及計算latency (computation latency)。多模組架構的PDS專用硬體電路可以同時針對不同的輸入向量進行分類，以達到更進一步的計算加速。我們提出的硬體架構被內嵌於軟體核心中央處理器 (softcore CPU) 來進行實際的效能量測。實驗結果顯示該架構提供了一個符合成本效益的kNN分類系統FPGA實作解決方案，並且擁有高吞吐量 (throughput) 與低面積成本 (area cost)。
以呼吸頻率為基礎之嬰兒意外監控系統
(2013) 謝欣紘; Hsieh Hsin-Hung
近年來由於生育率的明顯降低，政府除應積極的鼓勵生育外，另一方面，新生兒意外事故的預防亦顯得格外重要。由於嬰兒的呼吸異常不容易察覺，但是卻帶給嬰兒的生長發育極大傷害，尤其是新生兒及嬰兒的睡眠呼吸暫停，極有可能是引起猝死的重要原因。因此本論文將開發一套「以呼吸頻率為基礎之嬰兒意外監控系統」，該系統把攝影機架設在嬰兒床上方利用視覺式的方式來監控嬰兒可能發生猝死的徵兆，例如呼吸是否不規律、是否暫停、是否急促等，並依各種情形發出不同程度的警示訊息即時告知照顧者，提醒照顧者檢視嬰兒的現況，希望減少意外事故的發生。本論文主要分成四個部分：motion偵測、呼吸候選點偵測、呼吸點選取、呼吸頻率計算。本系統讀入連續嬰兒影像後，先判斷是否適合進行呼吸偵測，若影像中motion量大時表示嬰兒具有活動力；反之，motion量小時表示嬰兒於於畫面中並無明顯動靜而發生窒息的可能性較大。一旦偵測出motion量小的情況系統會從累積的影像差值中偵測呼吸候選點(candidate points)，之後將候選點偵測出的特徵進行模糊整合(fuzzy integral)篩選出合適的呼吸點。系統將呼吸點所在位置其灰階值的變化利用高斯連續模糊整合(Gaussian successive fuzzy integral)來計算影像中嬰兒的呼吸頻率。實驗結果共有22段影片，合計影片長度約為105分鐘，其中共偵測10個不同的嬰兒。實驗結果以影像張數來計算正確率為73.37%；以整段影片來計算正確率為100%。由此可知，本系統具有效性及穩定性且能即時計算出結果警示照顧者。本實驗可用來做呼吸的長期偵測，以期建構出一套嬰兒成長速度與呼吸頻率相關性的常模。未來可用來觀察監控中之嬰兒其發展是否符合一般常態，並可長期追蹤先天呼吸系統不健全的嬰兒其病情是否穩定等，提供治療時的必要資訊。
以案例式推理為基礎之高速公路上危險事件預測系統
(2008) 吳柏諺
因為高速公路上的景色較為單調，容易使駕駛者產生疲勞。且車輛有最低的行車速度限制，車輛速度會比一般道路快上許多，也因為車速過快的關係會導致駕駛者的視野角度縮小，容易造成危險事件的發生。而為了減少高速公路上危險事件的發生率，本論文提出了利用連續時間內駕駛者的駕駛行為、鄰車狀況、道路狀況等行車因素來預測目前是否有危險事件會發生，並適時的警告駕駛者，以減少危險事件的發生。本系統讀入連續時間內駕駛者的駕駛行為、鄰車狀況、道路狀況等行車因素後，將會利用各個行車因素發生的先後順序建構出一個行車事件關係圖，此行車事件關係圖描述著本車行駛至目前為止已經發生的行車因素與這些行車因素間的相互關係，並且隨著時間的演進此行車事件關係圖會持續的增長。系統資料庫會儲存著許多已知的危險事件關係圖，在系統建構出目前的行車事件關係圖後就會將它和資料庫內的危險事件關係圖做比對，若是該行車事件關係圖跟資料庫內某個危險事件關係圖的相似程度値很高的話，意味著目前有可能會發生此危險事件，系統即會通知駕駛者以預防危險事件發生。另一方面，若是系統沒對駕駛者發出警告訊息結果卻發生了危險事件，代表資料庫中缺少該危險事件關係圖，則系統將會利用案例式推理的觀念把此行車事件關係圖給回存入資料庫，以便日後比對之用途。本系統目前所採用的行車資訊皆為模擬得來的，日後希望資訊的來源是由真正在高速公路駕駛的車輛產生的，以提昇系統的實用性。並期望本系統未來可以安裝在車輛上，真正達到減少車禍發生的目的。
以深度學習技術為基礎之線上人體動作辨識應用於室內移動型智慧機器人
(2020) 謝日棠; Hsieh, Jih-Tang
本研究提出一種以深度學習技術為基礎應用於室內移動型智慧機器人之線上人體動作辨識系統。此系統利用輸入的視覺資訊且在攝影機朝向目標人物移動的狀況下進行線上人體動作辨識，主要目的在提供智慧型人機互動除了聲控與螢幕觸控外更多的介面選擇。本系統採用三種視覺輸入資訊，分別為彩色影像資訊、短期動態資訊以及人體骨架資訊。且在進行人體偵測時涵蓋五個階段，分別為人體偵測階段、人體追蹤階段、特徵擷取階段、動作辨識階段以及結果整合階段。本系統首先使用一種二維姿態估測方法用來偵測影像中的人物位置，之後利用Deep SORT追蹤方式進行人物追蹤。之後，在已追蹤到的人物身上擷取人體動作特徵以便後續的動作辨識。本系統擷取的人體動作特徵有三種，分別為空間特徵、短期動態特徵以及骨架特徵。在動作辨識階段，本系統將三種人體動作特徵分別輸入三種訓練好的神經網路(LSTM networks)進行人體動作分類。最後，將上述三個不同神經網路的輸出結果整合後作為系統的分類結果輸出以期達到最佳成效。另外，本研究建立一個移動式攝影機下的人體動作資料庫(CVIU Moving Camera Human Action dataset)。此資料庫共計3646個人體動作影片，其中包含三個不同攝影角度的11種單人動作和5種雙人互動動作。單人動作包括站著喝水、坐著喝水、站著吃食物、坐著吃食物、滑手機、坐下、起立、使用筆記型電腦、直走、橫走和閱讀。雙人互動動作包括踢腿、擁抱、搬東西、走向對方和走離對方。此資料庫的影片也使用來訓練與評估本系統。實驗結果顯示，空間特徵之分類器的辨識率達96.64%，短期動態特徵之分類器的辨識率達81.87%，而骨架特徵之分類器的辨識率則為68.10%。最後，三種特徵之整合辨識率可達96.84%。
以深度學習為基礎之視覺式行人危及行車安全程度評估系統
(2021) 曾永權; Tseng, Yung-Chuan
交通工具的進步使往返各地越來越方便，但也帶來許多交通事故。根據台灣內政部統計年報[4]統計，諸多交通事故造成台灣每年數十萬人傷亡，其中又以道路上弱勢行人受到的傷害為大。故本研究提出以深度學習為基礎之視覺式行人危及行車安全程度評估系統。該系統利用行車紀錄器影片作為輸入，用於主動式安全駕駛輔助，辨識行人危及行車安全程度，提前警告駕駛注意行人，希望能藉此降低車禍事故發生。本研究首先對行人危及行車安全程度進行分析以及定義，將行人危及行車安全程度依據行人與攝影機距離、行人在影像中位置、行人面朝方位、行人是否移動、是否逆光5種條件分為14種情況，並將這14種情況對應到安全、低危險、中危險、高危險共4種類別。之後，本系統使用YOLOv4類神經網路模型作為骨架，進行YOLOv4的組合測試，並以前、後處理的方式進行改良。本研究最終提出Single YOLOv4、Two-stage Training YOLOv4以及Parallel YOLOv4三種流程。Single YOLOv4直接以行人危及行車安全程度進行訓練，預測時加入後處理方法刪除過度重疊的預測框。Two-stage Training YOLOv4先針對影像中「人」進行訓練，再利用此權重學習行人危及行車安全程度，預測時利用第二階段學習到的權重進行預測並刪除過度重疊的預測框。Parallel YOLOv4訓練及測試時採用兩個YOLOv4，一YOLOv4以「人」進行訓練，一YOLOv4以行人危及行車安全程度進行訓練，預測時將兩個YOLOv4各自過度重疊的預測框刪除後合併預測結果。本研究使用的測試資料庫之影片皆為作者親自拍攝，拍攝地區為新北市中永和地區，命名為Pedestrian-Endanger-Driving-Safety Evaluation Dataset。本研究所開發的行人危及行車安全程度系統將輸出一段影片，影片中含有行人的預測框，預測框上方有預測之危及行車安全程度，並根據4種不同危及行車安全類別，給予每個預測框不同顏色，用於區分危及行車安全程度。本系統以F1-measure作為正確率評估方式，最終獲得71.2%的正確率。
以深度學習為基礎之野生動物辨識系統
(2021) 林旭政; LIN, Hsu-Cheng
近年來人們對於動物保育的意識抬頭，越來越多人加入保護野生動物的行列，對於野生動物生態系統進行觀察可以為人們提供保育的方針。目前主要觀察的方法是使用陷阱相機，因為其能夠長時間運行且不對野生動物造成影響。但由於陷阱相機擷取影像數量太過龐大，分析影像變成耗費大量的時間與勞力的枯燥工作。故本研究擬開發一套以深度學習為基礎之野生動物辨識系統，能夠自動辨識與計算影像中動物種類與數量，以期達到輔助分析之結果。野生動物辨識系統使用陷阱相機所攝影像來進行動物物種辨識，透過物件偵測類神經網路模型來辨識影像中野生動物的種類以及數量。本研究使用RefineDet物件偵測模型的改良版來進行動物物種辨識，將野生動物影像輸入本系統後，經由物件偵測類神經網路模型進行動物物種辨識以及數量統計。在改良RefineDet原型架構方面，本研究引入彈性非極值抑制演算法、受納域模塊等改良來提升RefineDet模型對野生動物的辨識能力；另外加入批量正規化技術來加速模型的訓練過程，提升RefineDet的整體效能。本研究使用賽倫蓋蒂陷阱相機資料集(Snapshot Serengeti dataset)[2]所蒐集的影像進行訓練及測試，辨識的野生動物種類共有11種，分別是水牛(Buffalo)、非洲象(African Elephant)、葛氏瞪羚(Grant's Gazelle)、湯氏瞪羚(Thomson's Gazelle)、長頸鹿(Giraffe)、黑斑羚(Impala)、灰頸鷺鴇(Kori Bustard)、獅(Lion)、牛羚(Wildebeest)、斑馬(Zebra)等。實驗結果為本野生動物辨識系統VOC mAP為83.29%，顯示出本研究所提出之野生動物辨識系統確實能夠準確偵測出影像中野生動物物種及數量。
以生成對抗網路為基礎之低光源圖片增強系統使用閃光-非閃光圖片
(2022) 徐秉琛; HSU, Pin-Chen
本篇研究提出一以生成對抗網路為基礎之低光源影像增強系統。本系統藉由結合沒有使用閃光燈與有使用閃光燈的兩張影像，來生成一張同時具有真實光影分布與色彩細節豐富的影像。此系統主要目的在改善使用者在低光源環境下拍照的體驗。使用數位相機在低光源環境進行拍攝時，通常會調高感光元件的感光度(ISO值)來維持正常的亮度或延長相機快門時間，但這會產生明顯的噪點雜訊或造成影像的模糊。另一方面，攝影師會使用閃光燈來提供額外的照明，雖然使用閃光燈可以得到色彩真實的影像，但是有可能會破壞環境中的光影分布。例如產生額外的反光、陰影或是使被攝物看起來變得平坦。因此，本研究希望結合低光源圖像以及閃光燈影像兩者的特點，透過生成對抗網路來生成出較為真實的影像。本系統採用低光源圖像以及閃光燈影像兩種影像輸入修改後的生成對抗網路。此網路以Pix2PixHD 為基底並且做出幾項改良，其中包含調整模型架構，修改損失函數為相對平均最小平方(Relativistic average least square)並且在生成器中加入輕量級的注意力機制模組(Convolutional block attention module, CBAM)。為此，本研究同時建立一個低光源影像資料庫(CVIU Short exposure Flash Long exposure(SFL) dataset)。此資料庫共計210個影像組，其中每組皆包含三張影像:使用短時間曝光拍出的低光源圖像、使用閃光燈拍出的閃光燈影像和使用長時間曝光拍出的基準真相(ground truth) 。此資料庫的影像使用來訓練與評估本系統。實驗結果顯示，本系統在SFL資料庫測試集中實現了22.5267的峰值訊噪比(Peak signal-to-noise ratio, PSNR)和0.6662的結構相似性指數(Structural similarity index, SSIM)。
以肢體動作分析為基礎之新生兒意外監控系統
(2009) 邵柏潤; BORUN,SHAO
科技日益更新，近年來基於人身的安全需求，自動化即時監控系統的相關研究正在快速的成長，一套監視系統可以幫助我們監控戶外與室內的環境狀況，甚至於面對現在少子化社會的到來，新生兒居家安全的監控與追蹤更顯得重要。新生兒常被認為是脆弱、無助且無法明確表逹自己的需求，因此比一般病人或老年人更需要仔細且長時間的照顧與看護，也較常因照顧者的微小疏忽而導致生病或意外事故，造成新生兒父母親或照顧者很大的壓力與負擔。本研究主要應用在分析新生兒的動作，在視覺式監控系統的監控下避免新生兒發生意外。監控攝影機架設於嬰兒床的正上方，系統讀入連續時間的新生兒動作影像，偵測新生兒肢體部位並與前一個時間的偵測結果追蹤比對，並利用新生兒肢體動作示意圖(posture map)來表示追蹤比對的結果。新生兒的動作關係圖是由連續的肢體動作示意圖所構成，可儲存於資料庫內。當異常的情況發生時，例如新生兒的肢體動作示意圖不存在動作關係圖內或是符合動作關係圖內危險的節點時，系統將會發出警告通知照顧者前來關心。
以能力指標為基礎的資訊教育提昇計畫--資訊融入示範教材設計與資訊能力評量
(2006-09-01) 張國恩; 宋曜廷; 方瓊瑤
以表情辨識為基礎之嬰兒意外監控系統
(2009) 林漢威
本篇論文主要探討以嬰兒表情為基礎的監控系統。由於嬰兒無法保護自己，若照顧者有疏忽可能讓嬰兒處於危險中。本系統可協助照顧者監控嬰兒，即使照顧者離開嬰兒身邊，也可防止意外的發生。本研究將攝影機架設在嬰兒床上方以擷取嬰兒影像。此系統首先針對影像去除雜訊及減少受到光源的影響。藉由膚色的資訊來做嬰兒臉部區塊的擷取。接著利用Hu動差、R動差和Z動差去計算臉部區塊。由於每種動差包含許多不同動差，例如Hu動差有七個動差，因此給十五張影像去計算相同類別下臉部表情的特徵，並且藉此了解動差間的關係。本研究將嬰兒表情分成十五個類別，分別是哭、笑、發呆…等，接著再利用決策樹做分類。利用動差所計算出的相關係數所建構的三個決策樹來進行分類分別是用來。實驗的結果顯示本研究所提出的方法可行，而且也針對不同種類的動差進行分析及討論。最後本研究目前僅針對部份的嬰兒表情進行分類，希望未來能收集到更多嬰兒不同年紀的資料，以建構更完整資料庫。
以觀眾為拍攝主體之虛擬攝影師系統
(2013) 蔡侑廷; You-Ting Tsai
本研究的目的乃在於建立以觀眾為拍攝主體之虛擬攝影師系統。由於人力成本的不斷提高，聘請商業攝影團隊為演講或會議拍攝影片對一般預算有限的非營利學校或公司行號是一個沉重的負擔。若為了節省成本而讓缺乏攝影經驗的人來掌鏡，往往會讓影片缺乏美感及流暢度，甚至是降低觀賞的意願。本研究所提出之系統除了能夠節省人力開銷，還提供專業攝影技巧以製作高規格影片。本研究以兩台PTZ攝影機作為實驗設備，架設於拍攝場地的左或右前方，兩台PTZ攝影機具有不同的功能，一台為全景PTZ攝影機，另一台為運鏡PTZ攝影機。全景PTZ攝影機代表攝影師的雙眼，將拍攝場地的全景的連續影像輸入到系統協助系統的全景監控與主體偵測。運鏡PTZ攝影機則是攝影師手上的攝影機，在系統決定運鏡所需之一切資訊後，運鏡PTZ攝影機就會實際執行運鏡動作。本系統的功能為模仿攝影師的拍攝技巧並自動進行運鏡動作，每次運鏡皆需要運鏡的種類、景別、主體等要素。系統從全景PTZ攝影機輸入連續影像，從中擷取四種具描述觀眾行為的motion特徵。接著將這些特徵經過模糊化(fuzzifierion)處理讓這些數值轉換成自然語言的表達方式，以便於分析攝影師的運鏡習慣。接著將這些特徵輸入自動運鏡模型(automatic camera movement model)，該模型能夠紀錄專業攝影師的運鏡習慣，並依據輸入的特徵輸出適合該情況的運鏡以及景別種類。拍攝主體的挑選則以五種分別代表不同美感的特徵作為判斷標準。在完成運鏡要素的計算後，將資料傳送至運鏡PTZ攝影機執行運鏡動作。實驗結果顯示，本系統可進行即時且流暢的運鏡動作且具專業攝影的運鏡水準，符合演講錄製的需求。
使用無人空中載具之空拍影像估計森林資訊─以茶園為例
(2016) 何思漢; Ho, Szu-Han
近年來農村的勞動力流失已成為國內產業結構的嚴重問題。而糧食的自給率影響到一個國家的經濟結構穩定性。過去十年，在全球氣候快速變遷導致農作欠收的現況下，我國僅剩下三成的糧食自給率顯得岌岌可危。基於預防勝於治療的道理，積極的培養國內的農業發展並且提倡農業自動化的升級，透過農業生長監控的自動化等先進的農耕技術，都可以有效提升農業的產量，進而促進國內農業就業環境的健康發展。準確的測量生物量不僅有助於統計長期的收穫量，還能從生物量的評估中了解到如何調整農地的經營策略，如植物的含水量與灌溉的次數是否達到平衡、施肥肥力及除蟲除草藥劑劑量是否足夠。本研究所提出的生物量自動監測系統主要是透過training sample extraction、image segmentation、noise removing、image stitching與growth rate estimation五個步驟來偵測覆蓋率。首先系統偵測影像中的混亂程度，接著利用SLIC (simple linear iterative cluster)演算法建立超像素，並利用混亂程度計算出變異閥值以篩選內部像點一致性高的超像素作為訓練集，接著使用K-means演算法將影像分割為茶樹與土壤兩類，再使用SLIC (simple linear iterative cluster)演算法建構更密集的超像素以投票的方式進行影像去雜訊，最後利用GoPro公司開發的Kolor Autopano Giga 3.7影像縫合軟體將茶園內不同區域的分割結果縫合成完整的茶園分割結果，並且經過比對不同時間點之茶園分割結果來估計茶園的成長率。本研究不同於常見的衛星影像與航拍影像監測，改善了過去監測方式的缺點，使用無人飛行載具之空拍影像監測茶樹覆蓋率，得以少量的人力進行大範圍的監控。另外，針對不同的影像複雜程度使用的分割參數也不相同，自動的選擇分割參數讓系統在測量生物量時能更加準確。本研究設計了不同分割參數正確率分析、與自動選擇參數效率分析的實驗。實驗結果證實本系統可實現自動提供準確之良好分割參數且提供可靠且正確的生物量估計結果。在未來，長期記錄農業收穫量並建立常模，可以幫助耕作者與經營者快速判農地生長的情形，以便實施正確的農地經營策略。
使用虛擬實境於校園互動遊戲之應用
(2021) 柯皓中; Ko, Hao-Chung
近年來虛擬實境 (Virtual Reality)的技術日漸成熟，許多產業因為這項技術的應用進而開發出各種不同虛擬實境的產品。在虛擬實境領域中，遊戲式應用為主要開發的重點方向，其依照不同的需求發展出有關教育、醫療、行銷…等呈現方式，藉由身歷其境的遊戲畫面來促使使用者有更深入的沉浸式遊戲體驗，讓使用者產生興趣與了解。本研究以Unity平台與HTC Vive，開發出一款虛擬實境校園互動遊戲應用系統。系統中包含防災演練、校園導覽、運動場域三項以校園環境為核心的子系統，讓使用者能夠更加認識校園，並透過遊戲式情境設計來增加使用者的學習興趣。虛擬實境的防災演練情境，讓使用者在面對火場時能夠即時的透過正確的判斷進行救火逃生等演練，並讓這些常識能稍微增加現實情境的反應速度增加逃生效率；虛擬實境的校園導覽則是能讓使用者不需到現場也能認識校園環境；虛擬實境的棒球場運動場域，也能透過打擊遊戲提供校園的運動學習。本研究結合此三樣功能讓整個虛擬實境環境內容更加完善，並於部分場景中融入空氣盒子資訊增進虛實整合概念，提升使用者多項體驗。
地籍圖之線條重建
(國立臺灣師範大學研究發展處, 1999-10-??) 林佑錚; 方瓊瑤; 林水成; 陳世旺; Y.1. Lin, C.Y. Fang, S.C. Lin, and S.W. Chen
目前地政單位之地籍圖大多繪於紙上，在經過長時間供人查閱使用以來，資料都漸漸有了折痕與污損，使得圖形清晰度與圖形品質愈來愈差。而且，這種紙上資料在其維護與更新上都有相當的難度。本研究嘗試將紙上地籍圖資料以向量化的方式存入電腦。如此將可享受到電腦的快速處理與大量的儲存空間等優點，然而將類比資料轉換成數位資訊必然會造成資料的損失，如何在地籍圖數位化過程中，盡量保留資料的完整，為此研究的主要目的。
地籍圖之線條重建
(國立臺灣師範大學研究發展處, 1999-10-??-) 林佑錚; 方瓊瑤; 林水成; 陳世旺; Y.1. Lin, C.Y. Fang, S.C. Lin, and S.W. Chen
目前地政單位之地籍圖大多繪於紙上，在經過長時間供人查閱使用以來，資料都漸漸有了折痕與污損，使得圖形清晰度與圖形品質愈來愈差。而且，這種紙上資料在其維護與更新上都有相當的難度。本研究嘗試將紙上地籍圖資料以向量化的方式存入電腦。如此將可享受到電腦的快速處理與大量的儲存空間等優點，然而將類比資料轉換成數位資訊必然會造成資料的損失，如何在地籍圖數位化過程中，盡量保留資料的完整，為此研究的主要目的。
基於深度學習之攝影指引系統──多面相評論和評分
(2024) 俞柏丞; Yu, Po-Cheng
近年來，自然語言處理和影像處理領域進步迅速，各種應用蓬勃發展帶眾多應用。隨著手機成為日常拍攝的重要工具，本研究提出一套基於深度學習的拍攝指引系統。該系統結合自然語言處理和影像處理技術，幫助使用者在拍攝過程中獲得具有情感和美學價值的建議。本系統通過文字評論與美學分數提供指引，幫助使用者提高攝影技巧，並準確地捕捉畫面中的美感。拍攝指引系統主要可以分成兩個子系統，一個是輸出分數的美學評分子系統，另外一個是輸出文字的美學評論子系統。其中第一個為輸出分數的美學評分子系統，採用多尺度影像品質評估模型，作為本研究客觀評估影像的參考指標。另外一個為美學評論子系統，採用Encoder-Decoder構成的文字生成模型，本研究選擇SwinV2作為Encoder來擷取影像特徵，並使用GPT-2作為Decoder學習文字特徵，同時在其內部使用交互注意力機制(cross attention)做異質性特徵融合，最後生成評論。但交互注意力機制不能有效融合異質性特徵，所以本研究引入Self-Resurrecting Activation Unit (SRAU)來控制異質性特徵學習的內容。而GPT-2 block中的多層感知網路Multi-Layer Perceptron(MLP)無法學習處理複雜的特徵資訊，所以本研究採用前饋網路高斯誤差門控線性單元Feedforward Network Gaussian Error Gated Linear Units (FFN_GEGLU)網路架構，來提升模型學習的效果。為解決資料集過少的問題，本研究採用網路收集的弱標籤資料集，但弱標籤資料內文字評論常有錯誤。為提升資料集品質，本研究採用兩個方法。一是收集並整理弱標籤資料集，通過資料清洗提高品質；二是加入高品質資料進行訓練，並通過資料增強的方式增加高品質資料集的數量。通過這些資料處理方法，本研究將其整合成一個高品質資料集進行訓練及測試。結果顯示35個評估指標中有33個優於基準模型，改良證明模型在五種美學面向中有94%的指標優於基準模型，顯示其有效性。
基於深度學習之籃球攻防戰術軌跡生成系統
(2023) 沈哲緯; Shen, Jhe-Wei
全球觀看籃球比賽的人數總計約超過22億人，根據外國媒體Sports Show在2020年公布全球最受歡迎的運動賽事，籃球在所有球類中排名第三，可看出籃球是一項非常熱門的運動。近年來運動分析的研究相當熱門，透過將生成對抗網路應用在籃球領域能夠幫助球隊提升籃球攻防戰術的素養，開發出基於深度學習之籃球攻防戰術軌跡生成系統。本系統開發目的為進攻球隊使用者在分析研究防守球隊可能會出現的防守方法時，通常只能使用經驗判斷推測，若透過本系統自動產生防守戰術軌跡供進攻球隊參考，進攻球隊可更加理解實戰中可能會遇到的防守戰術，可提升球員的戰術素養讓球隊提早思考應對方法。本系統透過使用者將一段真實籃球比賽攻防片段輸入，系統主要分為兩個子系統：投影轉換子系統與防守戰術軌跡生成子系統。投影轉換子系統主要分為三個步驟，第一為球場上球員與球的偵測方法，接著界定球場的範圍。第二為場上球員分隊使用球衣顏色做為辨別的依據。接著為3D球員座標投影計算出單應矩陣將對應的3D座標映射在2D戰術板球場座標系中並記錄為檔案作為防守戰術軌跡生成子系統的輸入。最後一個步驟使用生成對抗網路來進行防守戰術軌跡生成。本研究實驗結果顯示，透過影像處理得到球場邊線同時界定新的球場範圍可有效省略透過觀察手動決定球場頂點的步驟，減少時間成本。加入球員分隊的功能計算該區域內的色調特徵與顏色強度特徵，使用K-means clustering 將該二類特徵將場上球員分成兩隊，以利最後映射至平面戰術板座標系還原出真實比賽的情況。映射結果的球員正確率達到了77.2%，籃球則為61.0%。本系統結合了真實籃球比賽片段與防守戰術軌跡生成系統產生虛擬的防守戰術軌跡。