Browsing by Author "Lin, Hsiao-Yun"

Filter results by typing the first few letters
Now showing 1 - 1 of 1
  • No Thumbnail Available
    Item
    探究基於異質圖和上下文語言模型之自動文件摘要技術
    (2022) 林筱芸; Lin, Hsiao-Yun
    由於網路蓬勃發展，每日都會產生成千上萬筆的文字訊息，但不是每個人都有時間逐一瀏覽，因此我們需要一個技術來幫助我們快速的理解每篇文章中的重要內容。自動文件摘要技術油然而生，該技術可以幫助我們從單一或數個文檔中迅速且準確地擷取關鍵的信息。自動摘要方法可以分為兩種類型：節錄式抽取式(extractive)摘要與重寫式(abstractive)摘要。前者將文章中重要的句子提取出來構成摘要內容，後者則是在理解文章內容後重建文章成字數精簡且富含重點的摘要結果。本論文的目標是建立一個能提取語意的節錄抽取式摘要模型，且其摘要句之間具有較少的冗餘。本文使用基於圖的神經網絡(graph-based neural networks, GNN)來學習富含上下文語意的句嵌入。圖在真實世界應用上，通常會具有多種不同性質的節點，因此我們使用異構圖神經網絡(heterogeneous graph neural network, HGNN)作為我們的基礎，並從三個不同的面向來提升模型效能。首先，在編碼階段(encoding stage)，我們致力於在此時期加入更多的資訊。例如，我們使用基於雙向編碼器表示的變形器(bidirectional encoder representation from transformers, BERT)的語言模型，來提供摘要模型更多的上下文資訊。除此之外，句子與句子之間的關係，或是句子本身的內部關係等，這些句子屬性皆會在此階段納入考量。緊接著，在句子評分(sentence rescoring)的階段，我們提供了幾種重新評分的方法。其中，我們可以將句子在文章中的順序納入考量，但必須經過標準化以減少誤差。最後，在挑選句子(sentence selection)的階段，我們改善了句子挑選器來減少冗餘。實驗結果證明，此論文提出的各式方法在公開的摘要集中，皆獲得相當不錯的成效。