學位論文

Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73912

Browse

Has files: YesSubject: search.filters.subject.Attention Mechanism

Search Results

Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    以生成對抗網路為基礎之低光源圖片增強系統使用閃光-非閃光圖片
    (2022) 徐秉琛; HSU, Pin-Chen
    本篇研究提出一以生成對抗網路為基礎之低光源影像增強系統。本系統藉由結合沒有使用閃光燈與有使用閃光燈的兩張影像，來生成一張同時具有真實光影分布與色彩細節豐富的影像。此系統主要目的在改善使用者在低光源環境下拍照的體驗。使用數位相機在低光源環境進行拍攝時，通常會調高感光元件的感光度(ISO值)來維持正常的亮度或延長相機快門時間，但這會產生明顯的噪點雜訊或造成影像的模糊。另一方面，攝影師會使用閃光燈來提供額外的照明，雖然使用閃光燈可以得到色彩真實的影像，但是有可能會破壞環境中的光影分布。例如產生額外的反光、陰影或是使被攝物看起來變得平坦。因此，本研究希望結合低光源圖像以及閃光燈影像兩者的特點，透過生成對抗網路來生成出較為真實的影像。本系統採用低光源圖像以及閃光燈影像兩種影像輸入修改後的生成對抗網路。此網路以Pix2PixHD 為基底並且做出幾項改良，其中包含調整模型架構，修改損失函數為相對平均最小平方(Relativistic average least square)並且在生成器中加入輕量級的注意力機制模組(Convolutional block attention module, CBAM)。為此，本研究同時建立一個低光源影像資料庫(CVIU Short exposure Flash Long exposure(SFL) dataset)。此資料庫共計210個影像組，其中每組皆包含三張影像:使用短時間曝光拍出的低光源圖像、使用閃光燈拍出的閃光燈影像和使用長時間曝光拍出的基準真相(ground truth) 。此資料庫的影像使用來訓練與評估本系統。實驗結果顯示，本系統在SFL資料庫測試集中實現了22.5267的峰值訊噪比(Peak signal-to-noise ratio, PSNR)和0.6662的結構相似性指數(Structural similarity index, SSIM)。
  • No Thumbnail Available
    Item
    應用階層式語意暨聲學特徵表示於語音文件摘要之研究
    (2019) 劉慈恩; Liu, Tzu-En
    由於巨量資訊的快速傳播，如何有效率地瀏覽資料是ㄧ項重要的課題。對於多媒體文件而言，語音是其內容中具有語意的主要元素之一，能夠相當完整的表達整份多媒體文件。近年來，有許多研究紛紛針對多媒體文件的理解與檢索進行深入的研究探討，並且有優異的成果與貢獻，如影像摘要、音訊摘要及影片摘要。 文件摘要可概分為節錄式 (Extractive) 和重寫式 (Abstractive) 摘要。其中節錄式摘要會依固定的比例，從文件中選出具代表性的文句組成其摘要結果；而重寫式摘要主要會先完整理解整份文件中的隱含意義，之後會根據其隱含意義，並使用不同的文詞，產生一個簡短版本的文件描述即為摘要。由於重寫式摘要對於自動語音摘要任務的困難度較高，故目前的研究大多是以節錄式摘要方式為主流。 本論文主要探討新穎的節錄式摘要方法於語音文件摘要任務上的應用，並深入研究如何改善語音文件摘要之成效。因此，我們提出以類神經網路為基礎之摘要摘要模型，運用階層式的架構及注意力機制深層次地理解文件蘊含的主旨，並以強化學習輔助訓練模型根據文件主旨選取並排序具代表性的語句組成摘要。同時，我們為了避免語音辨識的錯誤影響摘要結果，也將語音文件中相關的聲學特徵加入模型訓練以及使用次詞向量作為輸入。最後我們在中文廣播新聞語料(MATBN)上進行一系列的實驗與分析，從實驗結果中可驗證本論文提出之假設且在摘要成效上有顯著的提升。