Test Yansızlığı: H.Ü. Yabancı Dil Muafiyeti Sınavının Cinsiyete ve Bölümlere Göre DMF Analizi

Problem Durumu: Psikolojik testler ve eğitimde kullanılan testlerin ve maddelerinin top- lumda yer alan bireylerin sosyo-kültürel yapılarına göre veya genetik ve biyolojik fak- törlere göre yanlılık taşımaması, diğer bir ifadeyle herhangi bir grup lehine avantaj sağ- lamaması arzu edilen bir durumdur. Eğer test ya da bazı maddeleri bu tür bir sistema- tik yanlılık taşıyorsa, testin tüm bireylere eşit davrandığını (testi alan tüm bireylerin tes- ti veya maddeleri cevaplamada eşit şansa sahip olduğunu) söylemek mümkün olmaya- caktır. Bu ölçme araçlarının geçerliğiyle ilgili önemli ve giderilmesi gereken bir sorun- dur. Bu sebeple eğitimle ilgili alan yazın ve kurumlar (Educational testing service vb.) bu durumun tespit edilmesi ve giderilmesi üzerinde önemle durmaktadır. Araştırmanın Amacı: Bu çalışmada, H.Ü (Hacettepe Üniversitesi) yabancı dil muafiyet sınavla- rının cinsiyete ve bölümlere göre değişen madde fonksiyonu (DMF) gösterip göstermediği eğer gösteriyorsa hangi grup ya da gruplar lehine sistematik bir yanlılık taşıyabileceğini belirlemek amaçlanmıştır. Araştırmanın Yöntemi: Araştırma, Hacettepe Üniversitesi yabancı diller yüksek okulu- nun uyguladığı 85 maddeden oluşan yabancı dil muafiyet sınavı ve bu sınava katılan 2071 öğrenci üzerinde yürütülmüştür. Değişen madde fonksiyonunun araştırılması için Mantel-Haenszel istatistiğinden yararlanılmıştır. Bulgular ve Yorum: Çalışma sonucunda, Hacettepe üniversitesi yabancı diller yüksek okulunun uyguladığı yabancı dil muafiyet sınavında kullanılan bazı maddelerin cinsi- yete ve bölümlere göre anlamlı büyüklükte DIF içerdiği saptanmıştır. Sonuç ve Öneriler: Ülkemizde her yıl yabancı dil yeterlik düzeyini belirlemek üzere farklı amaçlarla birçok sınav düzenlenmektedir ve bu sınavlara biyolojik ve sosyo-kültürel açı- dan farklı bir çok insan katılmaktadır. Bu sınavlara katılan bireylerin ortak eleştirilerinden biriside, sınav sorularının bazı bölüm ya da disiplinlere daha uygun içerikte olduğu ve bununda performanslarını etkilediğidir. Bu araştırmanın sonuçları göstermiştir ki, İngiliz- ce yeterlik düzeyini belirlemek üzere yapılan testin bazı maddeleri cinsiyet ve mezun olu- nan bölüme göre yanlılık gösterebilir. Bu araştırmanın sonuçları ışığında, eğitimde kulla- nılan testlerin yanında İngilizce yeterlik düzeyini belirlemek için yapılan yabancı dil sı- navlarının maddelerinin cinsiyet, sosyo-ekonomik düzey, öğrenim görülen alan gibi deği- şik kriterler açısından da, gözden geçirilmesi gerektiği araştırmacılara önerilebilir.

Test Fairness: DIF Analysis Accros Gender and Department of H.U. Foreign Language Proficiency Examination

Problem Statement: It is undesirable situation that tests used in education and psychol- ogy have biased item in other words test or its some of items provide advantage in fa- vor of one of sub groups to respond the item correctly according to socio-cultural or ge- netic and biological factors of test takers. If the test or some of items have a systematic bias, it is very difficult to say that all the group members have the equal chance to re- sponse test items correctly. This condition related with validity of test and it is a serious problem that must be overcome. For this reason educational and psychological litera- ture and institutions like ETS (Educational testing service) devotes great emphasis on detecting and elimination of test and item bias. Purpose: With this research, it has been aimed whether foreign language proficiency ex- aminations show DIF (Different item function) according to gender and departments. Methods: The research was implemented on the proficiency examination including 85 items applied in Hacettepe University School of Foreign Languages and 2071 students who took the exam. In order to examine DIF, Mantel-Haenszel statistic was used. Findings and Results: The results reveal that some items in the proficiency exam imple- mented in Hacettepe University School of Foreign Languages include DIF with respect to gender and departments. Conclusion and Discussion: Many examination have been implementing like UDS, KPDS in every year to determine proficiency level of second language and these examinations have been taken by many people whose socio-cultural back ground or genetic and bio- logically were different. Common critics of people took this exam is some of items have bias in favor of departments and they declared that these situation effect their test per- formance. This research results showed that the proficiency exam can include DIF with respect to gender and departments. In the light of this research results, it could be rec- ommend that not only the test which is using in education but also the test imple- mented to determine proficiency for second language must be inspected by researcher according to some criteria like gender, department, socio cultural status etc.

PDF

___

Azen, R., Bronner, S., & Gafni, N. (2002). Examination of gender bias in üniversity admissions.Applied Measurement in Education, 15 (1), 75-94.
Berberoğlu, G. (1995). Differential item functioning analysis of computation, word problem and geometry question across gender and SES groups, Studies in Educationals Evaluation, 21, 439-456
Berberoğlu, G. (1996). The university entrance examination in Turkey. Studies in Educationals Evaluation, 22, 363- 373
Brown, A., & McNamara, T. F. (2004). “The devil is in the detail”: Researching gender issues in language assessment. TESOL Quarterly, 38 (3), 524-538.
Camilli, G. ve Shepard, L. A. (1994). Methods for identifying biased test items. Thousand Oaks, CA:Sage Publications.
Chen, Z., & Henning, G. (1985). Linguistic and cultural bias in language proficiency tests.Language Testing, 2 (2), 155-163.
Doolittle, A. E., & Cleary, T. A. (1987). Gender-based differential item performance in mathematic achievement items. Journal of Educational Measurement, 24, 157-166
Dorans, N.J ve Schmitt, A.P. (1991). Constructed response and differential item functioning: A pragmatic approach. Research report, RR-94-39, New Jersey.
Educational testing service. (1980). An approach for identifying and minimizing bias in standardized tests: A set of guidelines, Princeton: ETS Publications.
Elder, C., McNamara, T. F., & Cogdan, P. (2003). Understanding Rasch Measurement: Rasch techniques for detecting bias in performance assessments: An example comparing the performance of native and non-native speakers on test of academic English. Journal of Applied Measurement, 4, 181-197.
Elder, C. (1996). The effect of language background on foreign language test performance: The case of Chinese, Italian, and Modern Greek. Language Learning, 46 (2), 233-282.
Halpern, D.F. (1996). A process-oriented model of cognitive sex differences. Learning and İndividual Differences, 8, 3-24.
Harris, A. M., & Carlton, S.T. (1993). Patterns of gender differences on mathematics items on the scholastic aptitude test. Applied Measurement in Education, 6 (2), 137-151.
Keeves, J. P. (1973). Educational research, methodology and measurement, New York: Pergamon Press Inc.
Kim, M. (2001). Detecting DIF across the different language group in a speaking test. Language Testing, 18 (1), 89-114.
Kunnan, A. J. (1990). DIF in native language and gender groups in an ESL placement test.TESOL Quarterly, 24, 741-746.
Linn, R. L., Baker, E., & Dunbar, S. B. (1991). Complex performance-based assessment:Expectations and validation criteria. Educational Researcher, 20(8), 15-21.
Lord, F.M. (1980). Applications of item response theory to practical testing problems. Hillsdale, New Jersey: Lawrence Erlbaum Assoc., Inc.
McNamara, T. F., & Roever, C. (2006). Psychometric approaches to fairness: Bias and DIF.Language Learning, 56(2), 81-128.
Nicolopoulou, A. (1997). Children and narratives: Toward an interpretive and sociocultural approach. In M. Bamberg (Ed.) Narrative development: Six approaches (pp. 33-57). Mahwah,NJ: Lawrence Erlbaum Associates, Inc.
Pomplun, M., & Omar, M. H. (2001). Do reading passages about war provide factorially invariant scores for men and women? Applied Measurement in Education, 14 (2), 171-189.
Roever, C. (2006a). Differential item functioning in ESL pragmatic test. Paper presented at Language Testing Research Colloquium, Melbourne, Australia.
Ryan, K., & Bachman, L. F. (1992). Differential item functioning on two test of EFL proficiency.Language Testing, 9 (1), 12-29.
Ryan, K.E., & Chiu, S. (2001). An examination of item context effects, DIF and gender DIF.Applied Measurement in Education, 14 (1), 73-90.
Scheuneman, J. (1983). Subgroup performance analysis-foreign service officers exam (international report). Princeton, NJ: Educational Testing Service.
Takala, S., & Kaftandjieva, F. (2000). Test fairness: A DIF analysis of an L2 vocubulary test.Language Testing, 17 (3), 323-340.
Westby, C. E. (1994). The effect of culture on genre, sturucture and style of oral and written texts. In G. P. Wallach & K. G. Butler (Eds.), Language learning disabilities (pp. 152-196) New York: Macmillan
Willingham, W. W., & Cole, N. (1997). Gender and fair assessment. Mahwah, NJ: Lawrence Erlbaum Associates, Inc.
Willingham, W. W., Ragosta, M., Bennet, R. E., Braun, H., Rock, D. A., & Powers, D. E. (1988).Testing handicapped people. Boston: Allyn & Bacon.
Yurdugül, H. ve Aşkar, P. (2004). Ortaöğretim kurumları öğrenci seçme ve yerleştirme sınavı’nın cinsiyete göre madde yanlılığının incelenmesi, Eğitim bilimleri ve uygulama, 5, 3-16.
Zwick, R., Ercikan, K. (1988). Analysis of differantial item functioning in the NAEP History Assessment. Princeton, NJ: Educational Testing Service.