Problem: Test geliştirme ve geliştirilen testlerin güvenirlik ve geçerliğini araştırmada sıkça kullanılan Madde Tepki Modelleri çoktan seçmeli testlerde uzun zamandır madde ve test kalitesini kontrol amacıyla kullanılmaktadır. Bu modellerin aynı amaçla uygulamalı testlerde kullanımı ise birçok zorluk ile karşılaşmıştır. Bu zorluklardan ilki ilk geliştirilen Madde Tepki Modellerinin sadece ikili puanlanan test maddeleri için uygun olmasıydı. Oysa uygulamalı test maddeleri çoğunlukla kısmı puanlama gerektirecek şekilde geliştirilir. Kısmi puanlamaya uygun Madde Tepki Modellerinin geliştirilmesiyle bu sorun kısa zaman içerisinde çözümlendi. Bir diğer zorluk ki hala güncelliğini korumaktadır, uygulamalı test verilerinin Madde Tepki Modelleri ile modellenmeye daha az uygun oluşlarıdır. Bir başka deyişle, uygulamalı testlerde kullanıldığında Madde Tepki Modelleri uygulamaları güvenirliği çok iyi olmayan madde ve kişi istatistikleri ile sonuçlanabilmektedir. Bunun iki önemli nedeni uygulamalı testlerin çoktan seçmeli testlere göre daha kısa oluşları ve de uygulamalı test sorularının ölçülmesi istenen becerilerle direk olarak ilgili olmayan birçok faktörlerin etkisine çoktan seçmeli sorulardan daha açık oluşlarıdır. Uygulama testleri ile çalışan psikometristler de diğer testlerle çalışan meslektaşları gibi Madde Tepki Modellerinin sağlayacağı örneklem bağımlılığı oldukça düşük olan madde ve kişi istatistiklerine ihtiyaç duymakta ve yukarıda sayılan zorlukları aşabilecek yeni modellerin geliştirilmesini beklemektedir. Amaç: İkincil değişkenleri model hesaplamalarına yordayıcı olarak dahil etmeye izin veren Açıklayıcı Madde Tepki Modelleri birçok farklı ortamda uygulanan bir çok testin madde ve kişi istatistiklerinin kalitesinin arttırılmasında kullanılmaktadır. Ancak bu modellerin uygulamalı testlerde kullanıldıklarında sıkça karşılaşılan düşük model uygunluğu ve düşük güvenirlik problemlerini çözmede kullanılması ile ilgili bir çalışma henüz yapılmamıştır. Bu çalışmanın amacı Madde Tepki Modelleri kullanıldığında veriye uygunluk indeksleri düşük çıkan altı adet interaktifuygulamalı madde içeren bir uygulama testi için Açıklayıcı Madde Tepki Modellerinin iyi bir alternatif olup olmadığını değerlendirmekti. Yöntem: Bu çalışmanın örneklemi araştırmaya konu olan uygulamalı CCS (Computer Case Simulations) testini alan 767 kişinin altı uygulama sorusuna verdiği cevaplardan oluşmaktadır. CCS Amerika'da çalışma lisansı almaya hak kazanabilmek için hekim adaylarının aldıkları üçaşamalı bir testin, üçüncü ve son aşmasında verilen bir uygulama testidir. Hekim adayları bu son aşamada çoktan seçmeli bir testin yanı sıra bu uygulama testini de alırlar. Sınav sırasında, her bir CCS uygulaması için hekim adaylarına bilgisayar ortamında bir hasta profili verilir. Hekim adayları uygun olduklarını düşündükleri teşhis ve takipleri interaktif bir ortamda yapabilmektedir. Her bir CCS için hekim adayları maksimum 25 dakika harcayabilir. Bu çalışmada örneklemdeki kişiler her uygulama sorusundaki performansları için yanlış uygulamaya 0, kısmi doğru uygulamaya 1 ve doğru uygulamaya 2 puanla puanlanmıştır. Kısmi puanlama kullanıldığı için, Kısmi Puanlama Madde Tepki Modelleri (Partial Credit Modeling) ile hesaplanan beş ayrı model kullanılmıştır. İlk model hiçbir yordayıcı değişken olmadan, yani geleneksel kısmi puanlama Madde Tepki Modelleri ile hesaplanmıştır. İkinci model uygulama sorusunun sırası, üçüncü model uygulama sorusuna ne kadar zaman harcandığı, dördüncü model hekim adayının cinsiyeti ve beşinci model hekim adayının son aşama sınavının çoktan seçmeli sorulardan oluşankısmındanaldığıpuanıyordayıcıolarakkullanarak hesaplanmıştır. Her yordayıcının faydalılığını test etmek için her bir Açıklayıcı Madde Tepki Modeli için hesaplanan veriye uygunluk indeksleri geleneksel Madde Tepki Modeli için hesaplanan indeksleri ile karşılaştırılmıştır. Bulgular: Model uygunluk indeksleri çoktan seçmeli bölümden alınan test puanının iyi bir yordayıcı olduğunu göstermektedir.Uygulama sorusunun hangi sırayla cevaplandığı, uygulama sorusuna harcanan toplam zaman ve hekim adayının cinsiyeti yordayıcı olarak faydalı bulunmamıştır. Karşılaştırıldığında Madde Tepki Modeli ve çoktan seçmeli test puanı ile hesaplanan Açıklayıcı Madde Tepki Modelli ile hesaplanan madde eşik değerlerini kullanarak elde edilen figürler açıkça göstermektedir ki iyi bir yordayıcı ile kurulan bir Açıklayıcı Madde Tepki Modeli madde istatistikleri ile kişilerin beceri düzeyleri arasındaki fonksiyonel ilişkiyi iyi yöndedeğiştirebilecektir. Öneriler: Uzmanlar kişilerin bilgi ve becerilerini ortaya koyabilecekleri uygulama sınavlarının, çoktan seçmeli sınavlara birçok bakımdan üstün olduğunu düşünürler. Ancak uygulama sınavları ile elde edilen test puanlarının güvenirliği çoktan seçmeli sınavlarla karşılaştırıldığında genellikle düşüktür. Test güvenirliğini arttırmanın en olağan yolu olan madde sayısını arttırma uygulama sınavları için çok kolay olmamaktadır. Uygulama sorularını geliştirmek, uygulamak ve puanlamak oldukçaemek yoğun ve pahalı olabilmektedir. Test maddeleri artırılamıyorsa, bir alternatif uygulama elde bulunan ek verilerin yapılan model tahminlerinde kullanılması olabilir. Bu çalışma böylesi bir yaklaşımla yapılmıştır. Bulgular göstermektedir ki gelenekselMadde Tepki Modeli uygulandığında kabul edilebilir veriye uygunluk indeksleri ve güvenilir madde istatistikleri elde etmede güçlük çekenuygulamatestleriAçıklayıcıMaddeTepkiModellerinin uygulamalarından yararlanabilir. Bu araştırmaya konu olan CCS uygulama testi için alınan sonuçlar göstermektedir ki ikincil değişkenlerin sağlayacağı ek bilgi, bu bilgi olmadan elde edilecek tahminleri iyi yönde değiştirecektir. Elbette Açıklayıcı Madde Tepki Model'inin başarılı olması için ikincil verilerin elde bulunması ve modele eklenmesi başlı başına yeterli olmayacaktır. Bu ikincil değişkenlerin katkısının ne olacağı bu araştırmada da kullanılan aşamalı bir yaklaşım ile ayrı ayrı de

Problem: Practitioners working with multiple-choice tests have long utilized Item Response Theory (IRT) models to evaluate the performance of test items for quality assurance. The use of similar applications forperformance tests, however, is often encumbered due to the challenges encountered in working with complicated data sets in which local calibrations alone provide a poor model fit. Purpose: The purpose of this study was to investigate whether the item calibration process for a performance test, computer-based case simulations (CCS), taken from the United States Medical Licensing Examination®(USMLE®) Step 3®examination may be improved through explanatory IRT models. It was hypothesized that explanatory IRT may help improve data modeling for performance assessment tests by allowing important predictors to be added to a conventional IRT model, which are limited to item predictors alone.Methods: The responses of 767 examinees from a six-item CCS test were modeled using the Partial Credit Model (PCM) and four explanatory model extensions, each incorporating one predictor variable of interest. Predictor variables were the examinees' gender, the order in which examinees encountered an individual item (item sequence), the time it took each examinee to respond to each item (response time), and examinees' ability score on the multiple-choice part of the examination. Results: Results demonstrate a superior model fit for the explanatory PCM with examinee ability score from the multiple-choice portion of Step 3. Explanatory IRT model extensions might prove useful in complex performance assessment test settings where item calibrations are often problematic due to short tests and small samples. Recommendations: Findingsof this study have great value in practice and implications for researchers working with small or complicated response data. Explanatory IRT methodology not only provides a way to improve data modeling for performance assessment tests but also enhances the inferences made by allowing important person predictors to be incorporated into a conventional IRT model.Keywords: Explanatory Item Response Theory, Partial Credit Model, Item Response Theory, Performance Tests, Item calibration, Ability estimation, Small tests