偵測各類電影精彩片段之研究

Abstract

在多媒體內容分析領域中，影片精彩片段之偵測是一個十分熱門的議題。在過去的研究當中，許多的方法針對運動類型的影片做精彩片段之偵測。對於十分龐大的電影資料，使用者在挑選自己想要收看的影片時會花費大量的時間。因此，如何讓使用者更有效率地去挑選一部想要收看的影片，變成了一個有趣的議題。在本論文中，我們提出了一個對於各類電影精采片段偵測的方法。藉由偵測出精彩片段，做為使用者挑選影片的參考。我們所提出的方法建立在結構化輸出之機器學習模型Structured Output SVM(SOSVM)上以及影像中的特徵分析。其中特徵部分，分為視覺及聽覺兩種。視覺特徵使用的為中階特徵，為鏡頭切換頻率以及鏡頭標籤。聽覺特徵則是基本的音量大小以及聲音頻率。而結構化輸出的機器學習方法有別於傳統SVM的輸出侷限於一個數字或一個標籤，其輸出可以是一個複雜的結構物件。因此在預測精彩片段的學習上，結構化輸出的機器學習方法使我們能夠更直接解決問題。在實驗中，我們使用動作片類型電影以及喜劇片類型電影作為資料庫。整體系統對於兩種不同類型的電影的精彩片段預測皆呈現出不錯的準確率。Highlights detection in videos has been a popular topic in the field of multimedia content analysis. For example, several approaches were proposed to address the highlights detection problem in sport videos. Considering voluminous movie data, a system that can show highlights on movie channels, would greatly help users select films. This paper presents a framework for detecting movie highlights. The proposed method is built upon recent advancements in structured output learning, and image attribute techniques. In feature extraction, it was divided into visual and audio parts. In visual part, we used mid-level feature which are shot change rate and shot label. In audio part, we used volume and music frequency as features. In structured output learning, unlike conventional Support Vector Machine, Structured Output Support Vector Machine provides structured output, which is more suitable for a highlight detection task. Experiment using action and comedy movies show that the system can successfully predict highlight for both genres of films under testing.