學位論文

Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73912

Browse

Subject: search.filters.subject.visual semantic embedding model

Search Results

Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    深度視覺語義嵌入模型於生成式多標籤零樣本學習
    (2021) 陳冠穎; Chen, Guan-Ying
    零樣本學習是指分類器不只能識別在訓練階段已經看過的物件，甚至能識別未曾看過的物件，而在多標籤零樣本學習中，每個實例中可能出現不只一個物件，這使得識別任務變得更加困難。　　過去的方法常利用標籤的屬性嵌入(attributes embedding)及影像抽取出的視覺特徵(visual feature)，投影到同一空間中，藉此尋找與影像特徵最接近的標籤，或是利用知識圖譜、知識庫建構標籤之間的關係，根據此關係來幫助辨識標籤。然而在資料集欠缺屬性嵌入時，常用於替代的語義嵌入(word mbedding)並不像屬性嵌入一樣具有良好的辨識力，而建構關係的方法，也容易太過信任知識庫，便將關係強加上去，忽略了影像本身包含的資訊。近年來由於生成對抗網路(Generative Adversarial Network)的興起，對於未知類別，先從已知類別學習影像特徵的表達式及對應的屬性，再由屬性標籤生成影像特徵變得更加有效率，結果也更準確。基於這項觀察，我們提出了生成對抗網路結合語義嵌入的深度學習模型，從語義嵌入生成影像特徵，以及將影像特徵轉換成分類器映射至語義嵌入空間，尋找屬於該影像的標籤。藉由影像特徵及語義嵌入互相映射來更好地預測未知類別，並根據影像特徵與分類器之間的關係，將多標籤任務轉換化成單標籤任務。
  • No Thumbnail Available
    Item
    從多標籤圖像學習之深層視覺語意轉換模型
    (2017) 李奕男; Lee, Yi-Nan
    在機器學習與電腦視覺領域中，如何學習圖像與文字語意之間的關係一直都是重要的議題。本論文探討圖像與文字關連性的問題，首先，每個文字之間是具有語意關係的，例如：天空跟雲這兩個字語意上靠近的，或是天空與汽車在語意上是幾乎不相關的。但是使用者對每個文字之間的語意關係是否會根據圖像會有所不同？例如：一張有天空與汽車的圖像，「天空」與「汽車」這兩個字原本就語意上可以說是幾乎不相關的，但因為此圖而產生了關連性。因此，我們認為文字間的語意關係會因為不同的圖像而改變其關聯程度。我們提出了一個卷積類神經網路(Convolutional Neural Network)的模型來連結圖像與該圖像多個的文字標籤的語意關係，其輸入為圖像，和現有的視覺語意嵌入模型最大的不同在於該模型的輸出為一個線性轉換函數，將輸入圖像對應到一個函數，用以判斷文字對該圖像的相關性，進而為圖像預測可能的標籤。