學位論文

Browse

Now showing 1 - 1 of 1

從多標籤圖像學習之深層視覺語意轉換模型
(2017) 李奕男; Lee, Yi-Nan
在機器學習與電腦視覺領域中，如何學習圖像與文字語意之間的關係一直都是重要的議題。本論文探討圖像與文字關連性的問題，首先，每個文字之間是具有語意關係的，例如：天空跟雲這兩個字語意上靠近的，或是天空與汽車在語意上是幾乎不相關的。但是使用者對每個文字之間的語意關係是否會根據圖像會有所不同？例如：一張有天空與汽車的圖像，「天空」與「汽車」這兩個字原本就語意上可以說是幾乎不相關的，但因為此圖而產生了關連性。因此，我們認為文字間的語意關係會因為不同的圖像而改變其關聯程度。我們提出了一個卷積類神經網路(Convolutional Neural Network)的模型來連結圖像與該圖像多個的文字標籤的語意關係，其輸入為圖像，和現有的視覺語意嵌入模型最大的不同在於該模型的輸出為一個線性轉換函數，將輸入圖像對應到一個函數，用以判斷文字對該圖像的相關性，進而為圖像預測可能的標籤。