資料載入中.....
|
請使用永久網址來引用或連結此文件:
http://ir.ncue.edu.tw/ir/handle/987654321/15197
|
| 題名: | 電腦適性測驗試題曝光率和能力估計之相關研究
Item Exposure Control and Ability Estimation in Computerized Adaptive Testing |
| 作者: | 李信宏 |
| 貢獻者: | 數學系 |
| 關鍵詞: | 試題曝光率;測驗重複率;電腦適性測驗;偏誤
WLE OWEN + MLE RMSE;Item Exposure Rate;Test Overlap Rate;Computerized Adaptive Testing (CAT);Bias;WLE;OWEN + MLE;RMSE |
| 日期: | 2001
|
| 上傳時間: | 2013-01-07T09:04:17Z
|
| 出版者: | 行政院國家科學委員會 |
| 摘要: | 試題曝光率和測驗重複率的控制是電腦適性測驗不可缺少的環節。所謂試題曝光率是指試題被重複使用的頻率，而測驗重複率是指兩個或兩個以上的試題同時出現的次數。有效地控制試題被重複選取的機會，可以避免試題因為過度“曝光”而影響到測驗的保密性及安全性，進而達到確保測驗公平的要求。目前已知有數種方法證明能夠將試題曝光率控制在預設值之下，並且同時產生最低的測驗重覆率，例如：the Sympson and Hetter procedure，the Davey and Parshall method，以及 the Stocking and Lewis conditional multinomial procedure 等。然而在另一方面，應用試題曝光率之時也會增加考生能力估計值的誤差，這是因為選題受到曝光率限制，無法選到“最佳”試題所必須付出的代價。本研究主要是計畫在實施試題曝光率控制的前提下，配合Fisher information的選題方式，討論WLE和OWEN + MLE兩種方法在電腦適性測驗（CAT）估計能力的表現。研究中考慮三個不同試題特性的題庫，分別觀察二者估計受試者能力的情形，並且以偏誤(bias)的平均值和RMSE來評估二者的表現。根據模擬研究的結果顯示：在三種形式的題庫中，OWEN + MLE產生的偏誤之平均值幾乎都比WLE所產生的更接近0；在RMSE方面，OWEN + MLE也比WLE稍微小，但是二者差距是否達到統計顯著尚待進一步檢驗。另一方面，對於每位受試者固定施測30題的過程中，OWEN + MLE 總是比較快速地得到穩定的能力估計值，可見OWEN+MLE在能力估計方面確實比WLE更有效率。綜合這些模擬研究的結果，就試題曝光控制下的CAT而言，使用OWEN + MLE進行能力估計比使用WLE更有效率，準確度也高，所以較符合電腦適性測驗所欲達成的目標，也就是在兼顧測驗安全及公平的原則之下，也能夠提高估計考生能力的精確度。
The topic of controlling item exposure rate and test overlap rate has attracted many researchers in recent years. To enhance test security in computerized adaptive testing (CAT), the goal is to have as little overlap as possible between sets of items that are administrated at several different test forms. The general approach to reducing the usage of some frequently appearing items is called “exposure control”. Currently, a number of procedures have been designed for controlling the item exposure rate to a desired value that is specified in advanced of testing. For example, the Sympson and Hetter procedure (Sympson &Hetter, 1985), the Davey and 2 Parshall method (Davey & Parshall,1995), and the Stocking and Lewis conditional multinomial procedure (Stocking & Lewis, 1995). However, when algorithms are
utilized to control item exposure, the measurement precision of examinees’ ability level is reduced because the most informative items are always not selected. That is, there exits a trade-off problem between trait estimation and item exposure in CAT. For this purpose, estimation techniques based on weighted MLE (WLE) and OWEN + MLE are proposed and carefully studied with the usage of item exposure control in adaptive testing. A simulation study is carried on to investigate the performance of proposed methods. The bias and RMSE (root mean square error) are major criteria used to evaluate the procedures. |
| 關聯: | 國科會計畫, 計畫編號: NSC90-2118-M018-002; 研究期間: 9008-9107 |
| 顯示於類別: | [數學系] 國科會計畫
|
文件中的檔案:
| 檔案 |
大小 | 格式 | 瀏覽次數 |
|---|
| 2020101612004.pdf | 213Kb | Adobe PDF | 466 | 檢視/開啟 |
|
在NCUEIR中所有的資料項目都受到原著作權保護.
|
