自動化演講錄製系統

Abstract

遠距教學系統可替偏遠地區的孩子達到跟都市孩子一樣的學習條件，所以近年來遠距教學系統正在蓬勃發展中，而錄製乃為遠距較學系統的一個重要環節。我們的目的是建置一套自動化演講錄製系統，有多台ptz網路攝影機拍攝。與傳統遠距教學系統不同的是，我們的系統會擁有兩個顯示畫面，其一是由多台ptz網路攝影機的取景，攝影機的拍攝建立於攝影學的基礎上，鏡頭的切換可使觀看者不易感到無聊，進而增進學習效率。另一顯示畫面為清楚的投影片內容，由於直接透過網路傳輸，觀眾於觀看時不會受到講者阻擋、光影變化等狀況導致模糊不清。 本文的系統架構根據實際拍攝場景分成虛擬導播（Virtual director）、虛擬攝影師(Virtual cameraman)、投影片即時取像(Slide capture) 三個部分，虛擬導播一共分為兩個部分，場景分析(Scene analyzer)、時空分析(Spatio-temporal analyzer)。場景分析以場上狀況決定適合切換的鏡頭，並利用有限狀態機來描述自動化演講錄製系統。時空分析使用攝影學的角度分析出三部攝影機當中人眼看起來最具有美感的鏡頭，配合場景分析決策出切換的鏡頭。虛擬攝影師則一共由三個攝影機所構成，拍攝演講者(speaker)、觀眾(audience)、全景(overview)。投影片即時取像則將顯示畫面利用網路傳輸到虛擬導播，並且使用jpeg圖片壓縮法。 本文將實作所提出之系統架構，最終輸出畫面為虛擬導播選鏡完後的結果與投影片內容，實現自動化錄製演講系統。Distant learning provides equal opportunities for learners living in either metropolises or remote countries. Lecture recording systems play an important role in collecting discourse contents for distant learning. In this paper, an automated lecture recording (ALR) system is presented. The proposed system is composed of two principal components, referred to as the virtual cameraman (VC) subsystem and the virtual director (VD) subsystem, respectively. There are three PTZ cameras and a Kinect device incorporated in the VC subsystem. It determines the views of the speaker, audiences and auditorium to be taken by the cameras based on their images and a set of shooting rules. The VD subsystem performs spatiotemporal analyses on the images provided by the VC subsystem, from which appropriate images are selected to present. The behavior of the ALR system is governed by a deterministic finite automaton with the minimum number of states.