應用敏捷軟體開發建置數據前處理與分析支援工具－以歷屆專業英文資料庫數據為例

Abstract

「專業英日文詞彙與聽力能力大賽」是測驗學生專業領域裡重要英文關鍵字的大賽，今年邁入第十屆，平均每年以人工收錄多達三萬人次的考生報名資料及成績資料，如今龐大的資料量使得資料的管理與應用成為一大挑戰。隨著資訊科技的進步，本研究希望透過資訊科技將這些資料進行適當的處理，讓管理者方便管理及應用，更能供管理者作分析或決策。為了處理這些資料並收錄至大賽資料庫中進行管理，或做分析與決策使用，本研究將有問題的資料分為五種類：重複值、空值、不一致、錯位和其他，並針對該五種類錯誤，使用notepad++作為開發環境；Apache作為伺服器；MySQL作為資料庫；正規表示式作為主要技術，應用敏捷軟體開發建置數據前處理與分析支援工具。最後本研究所開發的系統，除了能迅速指出錯誤資料，甚至能對部分錯誤資料進行自動校正，幫助管理者輕鬆管理與修正資料。更成功搭配開源工具，提供簡單的操作環境，迅速的將管理者所選定的資料進行基本的圖表統計分析。"Professional English-Japanese Vocabulary and Listening Comprehension Contest" enters the tenth session this year. The huge amount of Examinees' data makes the management and application of data a major challenge. This research hopes to process these data appropriately. In order to process these data. This research divides the error data into following types: duplicate values, missing values, inconsistencies, misplacements, and others. To deal with these errors, this research develops data pre-processing and analysis assistant system on applying agile software development. Not only point out the errors above quickly, but also correct some of them automatically. Furthermore, it provides a simple operating environment and perform basic chart statistical analysis on the data selected by the user.