使用結構性輸出之機器學習方法於電影精彩度預測

Abstract

在多媒體內容分析領域的近期研究中，針對時間事件的偵測成為了廣泛探討的議題。一個可靠的時間事件偵測技術存在著許多的應用，例如個人視角的生活觀察及預測大範圍災害持續時間等。從這些應用中，我們可以發現早期事件偵測(Early event detection)也漸漸受到重視。對於人們在觀賞電影時，可以很自然地了解到接下來的劇情將要進入精彩，如果可以讓機器也能如人類感知般，了解到電影的精采度變化，將是一件有趣的工作。在本論文中，我們提出一個藉由機器學習模型 結構性輸出支持向量器 (Structured Output SVM) 的方法實現電影上的精采度偵測器，有別於傳統 SVM的輸出侷限於一個數字或一個標籤，Structured Output SVM的輸出格式可以是一個複雜的結構物件，例如是一張圖片、一個框架或是一段時間區間等等。在預測精彩片段的學習上，Structured Output SVM提供了更有彈性的輸出，使我們能夠更直接的解決問題。在本篇論文中，我們利用電影動作片進行實驗，並透過此模型所計算的信心度自動的辨識出精彩場景。In multimedia content analysis research, early detection of temporal events from sequential data has been a popular topic. For example, there exist many potential applications from highlight review in first person perspective to video security. This thesis presents an early highlight detection system for movies. The proposed method is based on Structured Output SVM(SOSVM). Unlike conventional SVMs,SOSVM provides structured output, which is more suitable for a highlight detection task. Among many genres of movies, we conducted experiments on action movies. The experimental results show the developed system can be used to automatically identify highlight scene segments with high confident scores.