Browsing by Author "Joseph P. Lavallee"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
Item 以多面向Rasch模式為基礎檢驗Angoff標準設定法的效度議題(2012) 李炯方; Joseph P. Lavallee近年來,標準設定方法在教育實務情境中蓬勃發展,其中尤以修正版Angoff標準設定法的使用最為廣泛。Angoff法假定,經過訓練後的評分者能依據試題難度正確地估計出通過預設標準的最低能力受試者,其答對每一道試題的成功機率。由於標準設定方法的主觀評分特性,因此,尋求適切的工具以確保評分者評分品質甚為重要。多面向Rasch模式(MFRM)已被廣泛使用於主觀評分情境,特別是在標準設定程序中,用以考驗評分過程中是否出現負向的評分者效果而影響評分品質。然而,多面向Rasch模式的基本假設為,評分者間的影響是不存在的。然而由於多數的研究除了評分資料外並未能取得相對客觀的試題難度資料加以比對以考驗此假設,因此極少有研究檢驗該假設。由於使用Angoff法時,除了評分者對於試題難度的評估以及受試者是否有能力能夠達到預先設定的標準,同時還可以取得外部試題反應資料。基於此,本研究利用Angoff法所取得的外部試題反應資料以及評分者資料,來交叉驗證多面向Rasch模式的基本假設。其次,利用多面向Rasch模式來檢驗Angoff法的三個假設,以及評分資料與模式的適切程度。 在執行Angoff法時,研究者請18位外語教學(EFL)專家擔任評分者,並將英文閱讀以及聽力試題各40題對照到歐洲語言共同架構中的B1等級(Common European Framework of Reference)。在負向評分者效果的偵測方面,本研究依據MFRM所提供的各項指標,偵測三種在評分過程常出現的評分者效果:嚴苛度 (leniency/severity)、準確度(inaccuracy)以及趨中與極端評分 (centrality/extremism)。接著,將Angoff設定法所估計的概率作為內在參照架構,並將施測所得的試題難度估計作為外在參照架構。首先,將MFRM指標用來偵測在兩個參照架構下的評分者效果,並比較兩個架構下標準設定的結果。其次,利用原始分數以及MFRM指標來考驗Angoff標準設定法的基本假定。 本研究主要的發現如下: 1.對照兩個架構下的標準設定,評分者在嚴苛度、準確度以及評分趨中與極端程度的結果不一致。如此的差異使研究者對於單獨使用Angoff設定法,作為設定標準分數的方式,產生疑慮。有關群體效果假設的考驗也確實發現,在使用內部的參造架構下,確實出現群體趨中評分效果。這也顯示出在使用多面向Rasch模式前必須先考驗評分者間的群體效果是否存在。 2.關於Angoff法的假設檢定,BPS以及試題功能方面違反基本假設。其中較嚴重的缺失為,幾乎所有的評分者皆無法利用概率來評估最低受試者能力。