應用項目反應理論於電腦化分類測驗之序列機率比率檢定

Abstract

在電腦化分類測驗中採用序列機率比率檢定能以較短測驗長度完成分類決策，但在傳統序列機率比率檢定中對於題庫內每個試題的答題反應機率描述均相同，因此在題庫內試題難度分布較不均勻時，有可能因隨機選取均較難或均較簡單的試題進行測驗，在做出正確分類決策前即達到測驗終止條件而做出錯誤分類決策提高分類錯誤比例。本研究擬採用項目反應理論描述受試者能力值與試題難度在答題反應上的關係，比較項目反應理論為基礎的序列機率比率檢定(IRT-based SPRT)與傳統序列機率比率檢定(SPRT)在電腦化分類測驗中分類正確性的差異，並嘗試藉由調整相關參數觀察兩種計分模式的效能變化情形。 本研究以單參數項目反應理論為真實模式，模擬產生能力值呈常態分布的受試者1,000,000名，並模擬產生四題庫分別代表難度均勻分散 (b值為-3至3間均勻分布)、難度較集中於通過分數 (b值為以平均數為0標準差為1的常態分布)、偏難(b值為以平均數為1標準差為1的常態分布)與偏易(b值為以平均數為-1標準差為1的常態分布)，以0為通過分數、θ0=-.25、θ1=.25、α=.05與β=.05模擬受試者分別以SPRT與IRT-based SPRT的施測情形，再分別調整(θ0, θ1)、(α, β)為較低數值重覆進行模擬，記錄每位受試者的分類情形與測驗長度資訊做分析。 研究結果發現IRT-based SPRT在各組別的模擬均較SPRT有較高且較穩定的正確分類比例，以θ0=-.25、θ1=.25、α=.05與β=.05作為施測參數下進行模擬其分類正確比例均達95%以上，調整以較窄未決策區間寬度與較低的α與β值可以較長施測題數得到較高的正確分類比例。傳統SPRT則在題庫內試題偏難或偏易時錯誤分類比例均高達30%以上，且調整施測參數並無法藉由增加施測題數得到較佳的正確分類比例。因此IRT應用於電腦化分類測驗上的序列機率比率檢定仍有其必要性。