學位論文
Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73912
Browse
3 results
Search Results
Item 基於Transformer的化合物-蛋白質交互作用預測方法之改進(2025) 陳威宇; Chen, Wei-Yu近年來，化合物-蛋白質交互作用 (Compound-Protein Interaction, CPI) 預測已經成為計算化學領域的研究熱點之一。隨著深度學習技術的興起，越來越多的基於神經網路的CPI預測方法得到了開發和應用。其中，Transformer模型是採用自注意力機制 (Self-attention) 的深度學習模型，具有強大的建模能力，因此有越來越多模型使用了此方法。不過，基於此方法的模型在預測CPI的任務上存在著一些問題，例如訓練的成本太大、對於3D空間相互作用的捕捉能力較弱等，而這些問題也影響到預測的準確率。為了找到比傳統Transformer還更能準確預測的方法，我們從模型架構、輸入特徵的選擇以及損失函數等面向尋找改進的方法，期望能找出可以提升準確率，甚至降低運算成本的方法。本論文以CAT-CPI (Ying et al., 2022) 的模型架構為基礎，結合TransformerCPI (Chen et al., 2020) 對於化合物特徵的提取方式，提出了基於Transformer的CPI預測之改進方法。TransformerCPI針對一維的SMILES序列產生了對應的原子特徵，而CAT-CPI則是使用二維的化合物圖像作為輸入，利用CNN學習化合物圖像的局部細節特徵，並且取得了優秀的結果。因此本模型結合兩者的特色，同時以一維的原子特徵和二維的分子圖像作為輸入，利用不同的化學結構資訊互補來提高模型的預測能力。此外我們也嘗試以Performer、Conformer等不同的架構取代傳統的Transformer來提升預測的準確率與運算的速度，並觀察不同的損失函數 (Loss Functions) 對於訓練結果的影響。我們使用Human、Celegans以及Davis資料集對所有改進方法進行實驗，發現與只使用分子圖像的方法相比，原子特徵與分子圖像結合的輸入能有效提升預測的準確率，且以Performer和Conformer等模型取代Transformer也可些微提升預測的能力。Item 用於理解和比較變壓器模型的可視化分析系統(2022) 吳建霖; Wu, Jian-Lin近年來，自然語言處理(NLP)技術取得了長足的進步。基於轉換器的模型在 各種自然語言處理問題中表現良好。然而，一個自然語言任務可以由多個不同的模 型來完成，它們的架構略有不同，例如不同的層數和注意力頭。除了量化指標作為 選擇模型的依據外，很多用戶還考慮了理解模型語言的能力以及它所需要的計算資 源。然而，對兩個不同層數和注意力頭的基於transformer的模型進行比較和深入的 分析並不容易，因為它缺乏模型之間固有的一對一匹配。因此，當用戶為NLP 任務 訓練、選擇或改進模型時，比較具有不同架構的模型是一項至關重要且具有挑戰性 的任務。在本文中，我們提出了一個可視化分析系統來探索語言模型之間的差異， 並幫助用戶選擇模型或找出模型可以改進的地方。我們的系統支持兩個模型的比 較，用戶可以交互地探索不同模型下的特定層或頭部，並識別異同。使用我們的工 具，用戶不僅可以通過模型學習到哪些語言特徵，還可以深入分析兩個不同層數和 頭的基於轉換器的模型之間的細微差別。用戶的用例和反饋表明，我們的工具可以 幫助人們深入了解並促進模型比較任務。Item 利用視覺Transformer之多標籤深度視覺語義嵌入模型(2021) 來毓庭; Lai, Yu-Ting多標籤影像分類是一項具挑戰性的工作，目標是同時找出不同大小的物件並且辨識正確的標籤。然而，常見的做法是使用整張影像抽取特徵，較小物體的資訊可能會因此被稀釋，或是成為雜訊，造成辨識困難。在先前的研究裡顯示，使用關注機制和標籤關係能各自增進特徵擷取和共生關係，以取得更強健的資訊，幫助多標籤分類任務。在本工作中，我們使用Transformer之架構，將視覺區域特徵關注至全域特徵，同時考慮標籤之間的共生關係，最後將加權後之新特徵產生出一動態的語義分類器，在語義空間內分類得出預測標籤。在實驗中，顯示我們的模型可達到很好的成效。