使用BERT-CNN進行Twitter 使用者之立場偵測

Abstract

在人們的文字表達敘述裡，「立場」可能包含正向或是負向的情緒用詞，贊成或反對的語氣，但這些特徵都無法直接與立場相關聯。人們可以利用支持一個對象或是說法來反對特定目標，也可以藉由反諷法，使得字面上不能直接了解真正所表達的意思，但真實意義正好與字面上相反。在本研究中，將已標記立場標籤、來自 Twitter 使用者所發表的推文(Tweet) 當作訓練資料，使用監督式學習的方式來訓練深度神經網路(DeepNeural Network)。本研究所使用的資料集來自於 2016 年舉辦的國際自然語言語意評測競賽(SemanticEvalution 2016, SemEval 2016)的Task 6 ，主辦單位所提供已標記立場的推文之訓練集與測試集，將其進行資料前處理並與類神經網路進行連接，其中使用到由Google 公司於2018年所提出之 BERT (Bidirectional Encoder Representations from Transformers)及卷積類神經網路(Convolutional Neural Network，CNN)。本研究針對SemEval 2016 Task 6中之子任務A進行實驗，使用監督式框架來偵測Twitter使用者的立場，評估方法採用F1分數，並與當年參加競賽之隊伍進行比較，本研究所使用之方法在數個項目中排名居前。主辦單位所提供之資料集僅有兩千多筆，因此在訓練模型的成效有一定限制，若是有更多的已標記之訓練集，應會獲得更好的成績。因此本研究再加入MPCHI資料集進行訓練，此資料集包含五個健康相關的主題，並已標計立場，並分別實驗測試集為SemEval、MPCHI以及SemEval加上MPCHI，觀察其實驗結果顯示有其幫助性，優於僅使用原始資料集之實驗結果。none