İngilizce Derslerinde Hazırlanan Portfolyoları Değerlendirme: Bir Dereceli Puanlama Anahtarı (Rubrik) Geliştirme Çalışması
Alternatif bir ölçme değerlendirme aracı olarak portfolyo öğrenci başarısını tek bir kriterle bir defada değil süreç içerisinde farklı kriterlerle değerlendiren bir araçtır. Bu çalışmanın amacı İngilizce derslerinde hazırlanan portfolyoları değerlendirmede kullanılacak bir dereceli puanlama anahtarı geliştirmektir. Bu amaç doğrultusunda ilgili alanyazın taranmış üç tema ve bu temalara ait on üç ölçütten oluşan bir dereceli puanlama anahtarı hazırlanmıştır. Dereceli puanlama anahtarının geçerliği içerik, yapı ve ölçüt yönlerinin denetlenmesiyle sağlanmıştır. Rubriğin içerik geçerliğini sağlamak için uzman görüşüne başvurulmuştur. Yapı geçerliğini belirlemek için temel bileşenler analizi yapılmış ve toplam varyansın %76.56’sını açıkladığı görülmüştür. Çalışmada ele alınan portfolyolar iki puanlayıcı tarafından değerlendirmiştir. Puanlayıcılar arasındaki uyumun incelenmesinde ise Cohen’s Kappa Katsayısı kullanılmıştır. Buna göre “ön hazırlık” ölçütünde .86; “hazır olma” ölçütünde .71; “kendini tanıma” ölçütünde .76; “dil bilgisi ve anlatım” ölçütünde .81; “dil öğrenme stratejilerini bilme” ölçütünde .86; “dinleme becerisi stratejilerini kullanma” ölçütünde .73; “okuma becerisi stratejilerini kullanma” ölçütünde .77; “konuşma becerisi stratejilerini kullanma” ölçütünde .64; “yazma becerisi stratejilerini kullanma” ölçütünde .91; “yaratıcılık” ölçütünde .75; “tertip” ölçütünde .84; “yazım ve noktalama” ölçütünde .89 ve “ödev teslim” ölçütünde .82 olarak hesaplanmıştır. Bu değerler puanlayıcılar arasında oldukça önemli derecede bir uyuşmanın olduğunu göstermektedir. Geliştirilen bu dereceli puanlama anahtarı özellikle İngilizce derslerinde hazırlanan portfolyoları değerlendirmede alternatif bir araç olarak kullanılabilir.
Assessment of Portfolios Prepared in English Lessons: A Rubric Development
As an alternative assessment tool, portfolio is a device that evaluates student achievement with different criteria in the process, not with a single criterion. The aim of this study is to develop a rubric (graded scoring key) to be used in evaluating the portfolio prepared in English lessons. For this purpose, a rubric consisting of three themes and thirteen criteria related to this theme were prepared. Expert opinion has been consulted in order to ensure the validity of rubric. The validity of rubric is provided by controlling the content, structure and criteria aspects. Portfolios used in the study were evaluated by two scorers. Cohen’s Kappa coefficient was used to examine the correspondence between the scorers. Cohen’s Kappa was evaluated as .86 in “preliminary preparation” criteria; .71 in “ready” criteria; .76 in “self-recognition” criteria; .81 in “linguistic information and narrative” criteria; .86 in “knowing language learning strategies” criteria; .73 in “using listening strategies” criteria; .77 in “using reading skills” criteria; .64 in “using speech-skill strategies”; .91 in “using writing strategies” criteria; .75 in “creativity” criteria; .84 in “order” criteria; .89 in “spelling and punctuation” criteria; .82 in “homework submission” criteria. These values indicate that there is a very significant level of numbness between the scorers. This rubric can be used as an alternative tool to evaluate portfolios prepared especially in English classes.
