以區塊特徵為基礎進行不完整視訊文件影像之比對

Abstract

本研究針對視訊文件影像提出快速有效的比對方法，在不需辨識出文字的情況下，進行不完整視訊文件影像與原始文件影像之比對。視訊文件影像的來源是由視訊影片所擷取出，其中視訊影片是經由數位攝影機，拍攝投影在布幕上的文件檔案畫面而得。 比對之方法分為三個階段：首先，須找出有用的文件內容為前景資訊，例如文件中的文字或圖形在該影像中所在之區域，即前景與背景的分離；第二階段，對文件內容做分析，將前景影像分割成各個區塊(bounding box)，再以區塊為特徵進行取樣，每張影像皆由一組特徵向量所組成；第三階段，從任兩張影像間的特徵向量進行相似度計算，以相似度最高的影像作為比對結果。 本研究利用27組簡報檔案，共有1020張投影片影像，進行比對實驗，利用本研究所提出的方法，在區塊百分比為25%的情況下，比對正確率為92%；區塊百分比為50%時，正確率為96%；當區塊百分比為75%以上時，正確率即可達到98%。本研究亦針對PDF文件影像進行不完整影像的比對實驗，其中利用7組PDF文件，共98張PDF文件影像，在影像內容只出現下半部份的影像時，正確率為89%；當影像內容為上半部份和中間部份的情況下，正確率可達到92%以上。 利用本研究所提出之比對方法，對文件影像進行區域的特徵取樣，可有效地解決不完整影像比對之問題。We propose a fast algorithm for matching videotaped document images against original document images. Without recognizing the characters, we compare the original images with the videotaped partial images, captured by tapping the video output from a computer connected to a projector. The algorithm contains three steps. First, in foreground-background separation, we extract useful foreground information from images, such as texts or figures. Second, page layout analysis segments the foreground image into each block (bounding box). For each image, we take feature vectors from blocks. Finally, the algorithm matches the feature vectors and computes the least square error for each matching image. Experiment uses twenty-seven sets of lecturing slides, which consist of 1020 images. The results show that a 92% precision rate can be attained when block percentage is only 25%; the precision rate is 96% when block percentage is 50%. If block percentage is more than 75%, the precision rate can be up to 98%. We also match partial images matching against PDF images, and use seven sets of PDF files, which consisted of 98 PDF file images. When image only appears the below part, the precision rate is 89%, and if image appears the above part or the middle part, the precision rate can be up to 92%. Our algorithm can solve the partial image matching problem effectively by sampling local feature from every image.