學位論文

Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73912

Browse

Filters

20241

Settings

Author: search.filters.author.Yang, You-ChinSubject: search.filters.subject.contrastive learning

Search Results

Now showing 1 - 1 of 1
  • No Thumbnail Available
    Item
    基於對比式訓練之輕量化開放詞彙的關鍵詞辨識
    (2024) 楊宥芩; Yang, You-Chin
    隨著智慧裝置的普及，關鍵詞辨識技術變得越來越重要，其目標是在連續語音中識別是否存在特定的關鍵詞，這項任務極具挑戰性，因為它不僅需要準確地檢測關鍵詞，還需要有效地排除其他關鍵詞。隨著深度神經網絡的快速發展，採用深度神經網絡的關鍵詞辨識在精準度上取得了顯著進步。傳統基於深度神經網絡的關鍵詞辨識系統需要大量目標關鍵詞的語音作為訓練資料，因此只能識別固定的關鍵詞，且在訓練完成後難以替換關鍵詞。若需要替換關鍵詞，則必須重新收集目標關鍵詞的語料並重新訓練模型。本文聚焦於實作一個開放詞彙的關鍵詞辨識系統。該系統通過自注意力機制，利用語音特徵與文本嵌入向量生成有效的聯合嵌入，並藉由辨別器對聯合嵌入計算信心分數。系統依據這些信心分數來決定是否啟動系統。同時，透過對比式學習來處理在設定多個關鍵詞時，錯誤關鍵詞的信心分數過高而產生的誤報問題。在預訓練音頻編碼器時，我們除了使用包含5000類關鍵詞的語料進行分類任務訓練的預訓練音頻編碼器外，還採用了更加節省參數的音頻編碼器架構，能夠減少100K的參數，並通過500類關鍵詞進行分類任務的預訓練。本研究在識別10個未在訓練階段出現的新關鍵詞上，達到了94.08%的準確率，相較於基準方法提升了12%。