陳世旺Chen, Sei-Wang莊淳雅Chuang, Chun-Ya2019-09-052020-08-292019-09-052016http://etds.lib.ntnu.edu.tw/cgi-bin/gs32/gsweb.cgi?o=dstdcdr&s=id=%22G060247023S%22.&%22.id.&http://rportal.lib.ntnu.edu.tw:80/handle/20.500.12235/106355　　一場完整的演講錄製通常會有兩臺以上的攝影機用來拍攝不同的主體，例如：演講者、聽眾等。而負責選鏡的導播會從其中選出最適合的畫面播放給觀看者。一個專業的導播需要經過長時間的訓練和實際經驗，才能越符合觀看者的期待。為了節省導播訓練的成本，本研究提出一個能模擬實際導播的運作和工作的系統，稱之為「虛擬導播系統」。 　　本研究提出的虛擬導播系統涵蓋實際導播的兩項主要的工作：選鏡和攝影指導。本系統假設已有三組虛擬攝影師，分別提供講者、觀眾和全景的畫面。在選鏡的階段，我們提出九種準則，以美學、光學、連續性和攝影機動作等的角度分析，來評估候選畫面的優劣，再決定出最適合的播放畫面。由於九種準則的分數為異質性的資料，我們以多核學習將資料映射在同一空間中，如此我們即可將異質分數結合成一評估值，以此來決定最佳的畫面。以上的工作是由一事先訓練好的反傳遞類神經網路來完成，其乃模擬真實導播的選鏡風格。 　　在攝影指導的階段，導播綜觀各個虛擬攝影師所傳送而來的畫面，經評估後給予虛擬攝影師運鏡的建議。因為不同的攝影師所拍攝的主體相異，使得導播對每個視訊評估的方式不同。在演講過程中，演者的手勢姿勢會隨著演講的內容而有變化；台下觀眾的擾動大小代表此演講的表現。因此，本系統根據講者的手勢姿勢、觀眾和全景畫面的動點大小及範圍來定義事件。由於不同事件的觸發，我們定義相對應的攝影指導，模擬真實導播要求畫面來達到建議運鏡的目的。 在實驗時，本研究採用監督式學習來訓練反傳遞類神經網絡，在收集訓練資料時，我們邀請對導播和攝影技術有研究的人員來提供預期的輸出，使得虛擬導播選鏡方式能更貼近觀看者的需求。我們拍攝數場實際演講，包括不同的場地(例如：平面式觀眾席和階梯式觀眾席)和不同型態(例：專題演講、實驗室會議和課堂教學)。我們將本研究所提出的訓練方法和線性組合的訓練方法透過選鏡來比較，其根據觀看者角度評估選鏡合宜；並與人工選鏡的相似度進行比較和分析。With two or more video cameras filming at different subjects during a lecture period, a complete lecture recording is considered done. A professional director will select a best shot for the target audiences It takes long period of time, training and experience to succeed a professional director in order to provide the most suitable viewing experiences to the audiences. Therefore, a “virtual director system” is proposed to achieve the goal, a system for simulating operations and workings of directors, and to cost down the hiring and training processes of a professional director. Two important segments are included in the proposed research, virtual director system, the shot selection and visual instruction. This research will evaluate the contents and classify them into nine standards of viewings. This research uses multiple kernel learning and spatio-temporal aggregation (STA) to train data and simulate a director whom has a unique shooting style. This system includes three groups of virtual cameramen to film a speaker, audiences and overview respectively. Visual instruction is a director giving cameramen shooting advices according to frames from different cameraman. This system can define events based on speaker’s gesture, moving points of size and ranges from audience frame and overview frame, then sending to different instructions to recommend steering mode. Through lecture record testing, analyzing and comparing with other methods, this research is more comfortable to view’s expectation.虛擬導播攝影美學多核學習反傳遞類神經網路時空聚集熵運鏡virtual directorphotographic aestheticsmultiple kernel learningCPNSTAentropysteering motion