自動化演講錄製系統之虛擬導播子系統

Abstract

在一場演講或節目的錄製過程中，導播的角色主要是能將節目的內容和精神忠實地傳達給觀眾，為了達成此目標，導播藉由從多部攝影機對場景所拍攝的影像中，挑選出適合且符合節目精神的畫面播出。一位好的導播，必須能夠掌握群眾的心理來挑選畫面並且在適當的時機做切換。然而這些能力的養成，需要經過長時間的訓練與經驗累積。為了節省人力訓練的成本，本研究提出一套能夠模擬真實導播運作方式的系統，稱之為「虛擬導播系統」。 本研究所提出的虛擬導播系統將具備下列的能力：分析攝影美學、光學、情節與動作連續性各方面資訊，對多個虛擬攝影師所傳來的畫面進行自動評估分析，再從其中挑選出適合的鏡頭。至於挑選畫面的方式，主要是藉著學習真實導播的操作手法而來。虛擬導播系統具有機器學習的能力，可以透過事先學得導播選鏡的技巧，以達到模擬真實導播的選鏡手法，使系統能更貼近真實的導播。 本系統於自動分析評估畫面時，使用FAST corner detection與optical flow estimation偵測攝影機的運鏡狀況；以及結合包含動態資訊的attention map與包含靜態資訊的static saliency map製作顯著圖像，用以估計主體所在的位置及大小；並且使用平均位移分群演算法(mean shift clustering)，以區分出不同主體物等，根據上述等技術來實現對輸入影像進行攝影美學、光學、情節與動作連續性分析，並將評估所得的資訊輸入Counter Propagation Network (CPN)網路進行訓練。由於該網路屬於監督式學習模型，為求實驗客觀與可用性，我們邀請傳播相關科系並且具有擔任導播經驗的人員替訓練資料提供預期的輸出，使虛擬導播選擇的畫面方式能更貼近專業導播的選鏡手法，並透過不同的真實導播的訓練模式，進而訓練出可適應不同風格的選鏡效果。