PROGRAM EVALUATION IN OPEN AND DISTANCE LEARNING: THE CASE OF OPEN EDUCATION SYSTEM CALL CENTER SERVICES ASSOCIATE DEGREE PROGRAM

In this study, it is aimed to evaluate Anadolu University Open Education Faculty Call Center Services Associate Degree Program, which is carried out through open and distance education, according to learner views within the framework of Stufflebeam’s Context, Input, Process, Product (CIPP) Evaluation Model and to make suggestions for the development of the program. In the study in which Exploratory Sequential design, one of the mixed method research designs, was used; “Anadolu University Call Center Services Associate Degree Program Evaluation Questionnaire” was prepared to collect quantitative data. The questionnaire was applied online to learners who graduated from Anadolu University Open Education Faculty Call Center Services Associate Degree Program. Semi-structured interview questions were used to collect qualitative data. In the interpretation of quantitative data, percentage and frequency tables, mean and standard deviation values were used to compare and interpret the average score that can be obtained in the four dimensions (Context, Input, Process and Product) in the measurement tool and the average scores of the participants in these dimensions. In addition, the mean score values obtained in the sub-dimensions were analyzed and interpreted in terms of gender, age, marital status and employment status variables. Descriptive analysis method was used to analyze the qualitative data. The results revealed that the program objectives were determined in accordance with the expectations of the learners, learning resources were designed in accordance with the objectives, learning activities were carried out in accordance with the expectations of the participants and learning outcomes were achieved in the program.

Keywords:

CIPP (Context, Input, Process, Product) Evaluation Model, exploratory sequential design open and distance learning, program evaluation,

PDF

___

Anadolu Bilgi Paketi. (2022). Anadolu Üniversitesi Açıköğretim Fakültesi Çağrı Merkezi Hizmetleri Program Profili. Retrieved December 08, 2022 from https://abp.anadolu.edu.tr/tr/program/programProfili/1649/8
Aydıner, N. (2016). Eğitim programı ve öğretim. A.S. Saracaloğlu ve A. Küçükoğlu (Editörler), Öğretim ilke ve yöntemleri içinde (21-55). Ankara: Pegem A yayınları.
Aygören, F. & Er, K.O. (2018). Classifications of evaluating education programs. Turkish Studies, 13 (11), 269-296. DOI: http://dx.doi.org/10.7827
Bektaş, Ç. & Tayauova, G. (2014). A model suggestion for improving the efficiency of highereducation: University–Industry cooperation. Procedia -Social and Behavioral Sciences 116, 2270-2274. https://doi.org/10.1016/j.sbspro.2014.01.558
Bilen, M. (1999). Plandan uygulamaya öğretim. Ankara: Anı Yayıncılık.
Bilgiç, G. H., Doğan, D. ve Seferoğlu, S. S. (2021). Yükseköğretim kurumlarında dijitalleşme süreci: harmanlanmış öğrenme ile zenginleştirilen ortamlar. A. İşman, C. H. Aydın, O. Çiçek, F. Silman ve M. Öztunç (Editörler), Yükseköğretimde kalite ve akreditasyon çalışmaları içinde. (122-142). İstanbul: Eğitim Yayınevi.
Bilhan, S. (1991). Eğitim felsefesi. Ankara: A.Ü. Eğitim Bilimleri Yayınları.
Bloom, B. S., Madaus, G. F., & Hastings, J. T. (1971). Handbook on formative and summative evaluation of student learning. New York: McGraw-Hill.
Call Center Services Association-CCSA (2022). Türkiye çağrı merkezi pazarı verileri. Retrieved Juin 20, 2022 from https://www.cagrimerkezleridernegi.org/raporlar
Council of Higher Education (2018). Yükseköğretim kalite kurulu mevzuatı. Retrieved May 12, 2022 from http://www.yok.gov.tr/web/kalitekurulu/ilgili-mevzuat
Creswell, J. W. (2021). Karma yöntem araştırmalarına giriş. (Çev: M. Sözbilir). Ankara: Pegem Akademi.
Creswell, J. W. & Plano Clark, V. L. (2018). Designing and conducting mixed methods research. Thousand Oaks, CA: Sage
Çelik, N. (2016). Türkiye çağrı merkezi sektörü sorunlarının çözümüne yönelik bir karar destek sistemi geliştirme. Uluslararası Sosyal Araştırmalar Dergisi, 9(42), 1445-1453.
Çelik, N. ve Üzmez, U. (2014). Üniversite öğrencilerinin meslek seçimini etkileyen faktörlerin değerlendirilmesi: Çağrı merkezi hizmetleri örneği. Elektronik Mesleki Gelişim ve Araştırma Dergisi (EJOİR), 2(1), 94-105.
Dart, J. (2004). Six Normative Approaches to Evaluation. Retrieved Juin 23, 2022 from https://www.semanticscholar.org/paper/Six-Normative-Approaches-to-Evaluation-Dart
Davlatmirzayevich, A. A. (2022). Parameters and indicators of educational quality monitoring in higher educational institutions. Web of Scientist: International Scientific Research Journal, 3(3), 28-40. https://doi.org/10.17605/OSF.IO/C38BV
Dean, A. M. (2002). Service quality in call centres: Implications for customer loyalty. Managing Service Quality: An International Journal, 12(6), 414-423.
Demirel, Ö. (2012). Eğitimde program geliştirme kuramdan uygulamaya. Ankara: Pegem Akademi.
Dönmez, H.M. (2018). Açıköğretim fakültesi halkla ilişkiler ve tanıtım ön lisans programının değerlendirilmesi ve geliştirilmesine yönelik öneriler. [Evaluatıon of the public relations and publicity two-year degree program of open educatıon faculty and proposals for improvement]. (Doctoral dissertation). Anadolu University Graduate School of Social Sciences, Eskişehir, Turkiye. Available from the Council of Higher Education, National Dissertation Center, Dissertation ID: 626608.
Erden, M. (1998). Eğitimde program değerlendirme. Ankara: Pegem Yayıncılık.
Evans, T. (2003). Policy and planning in the developed countries: Coping with compulsive development cultures. S. Panda (Editor), in Planning and management in distance education (p. 31-39). Kogan Page.
Garrett, R. (2016). The state of open universities in the Commonwealth: A perspective on performance, competition and innovation. Burnaby: Commonwealth of Learning.
Güngör, C. ve Yılmaz, B. (2002). “Eğitimde Ölçme ve Değerlendirme”. Retrieved July 19, 2022 from http://www.egitim.com/egitimciler/0753/0753.1/0753.Egitimdeolçmevedegerlendirme
Güven, B. ve İleri, S. (2006). Program değerlendirme kavramı ve ilköğretimde program değerlendirme çalışmalarına kuramsal bir bakış. Türkiye Sosyal Araştırmalar Dergisi, 10(1-2), 141-163.
Howard, J. (2007). Curriculum development. Center for the Advancement of Teaching and Learning. Elon University. https://ocw.tudelft.nl/wp-content/uploads/Article-Judith-Howard-on-Curriculum-Design.pdf
Inglis, A. (2003). Planning and management of networked learning. S. Panda (Ed.), in Planning and management in distance education. 159-168. London: Kogan Page.
İşman, A. ve Eskicumalı, A. (2006). Öğretimde planlama ve değerlendirme. Ankara: Sempati-Pegem A Yayıncılık.
Karacaoğlu, Ö. C. (2011). Online eğitimde program geliştirme. Ankara: İhtiyaç Yayıncılık.
Kayhan, E. ve Gürol, M. (2019). Türkçe öğretim programı (2017)’nın Stufflebeam’in CIPP) modeline göre değerlendirilmesi. Türk Eğitim Dergisi, 4(1), 48-67.
Klenowski, V. (2010). Curriculum evaluation: Approaches and methodologies. International Encyclopedia of Education. (335-341). Elsevier Ltd. DOI:10.1016/B978-0-08-044894-7.00069-5
Kocabaş, İ. (2017). Çağrı merkezi müşteri temsilcisinin imajının müşteri memnuniyeti üzerindeki rolü. Gümüşhane Üniversitesi İletişim Fakültesi Elektronik Dergisi, 5(1), 118-147.
Kohen, A. (2020). Çağrı merkezi gerçekleri. İstanbul: Cinius Yayınları.
Kohen, A. (2002). Çağrı merkezleri: Yararları ve bileşenleri. Aktive Bankacılık ve Finans Dergisi. 22, 1-7.
Miriam, C. & Offat, M. I. (2015). Programme evaluation in distance education: A function of quality assurance. Greener Journal of Education and Training Studies, 3(1), 1-8. http://doi.org/10.15580/GJETS.2015.1.012315016
Menteşe, B. ve Muharrem, E. S. (2017). Türkiye’de çağrı merkezlerinde çalışma ilişkileri: Yalova, Elazığ ve Şanlıurfa örneği. Yalova Üniversitesi Sosyal Bilimler Dergisi, 8(14): 23-50.
Miles, M. B. & Huberman, A. M. (1994). Qualitative data analysis: an expanded Sourcebook. Thousand Oaks, California: SAGE.
Oliva, P. F. (2009). Developing the curriculum. New York, NY: Pearson Education, Inc.
Ornstein, A. C. & Hunkins, F. P. (2009). Curriculum foundations,principles, and issues. ABD: Pearson.
Özdemir, S. M. (2009). Eğitimde program değerlendirme ve Türkiye'de eğitim programlarının değerlendirme çalışmalarının incelenmesi. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, (6), 126-149.
Stufflebeam D. L. (2003). The CIPP model for evaluation: An update, a review of the model’s development, a checklist to guide implementation. 2003 Annual Conference of the Oregon Program Evaluators Network. Portland.
Tabachnick, B. G. & Fidell, L. S. (2019). Using multivariate statistics. Boston: Pearson.
Uşun, S. (2016). Eğitimde program değerlendirme: Süreçler, yaklaşımlar ve modeller. Ankara: Anı Yayıncılık.
Yager, R. (2001). Problems of meaning in science curriculum, B. Kilbourn (Editor), in For love of teaching, (p. 612-614). Londan: Althouse Press.
Yang, Y. & Green, S.B. (2011). Coefficient alpha: a reliability coefficient for the 21st century? Journal of Psychoeducational Assessment. 29(4), 377-392. https://doi.org/10.1177/0734282911406668
Yücesan Kaya, H. (2019). Anadolu Üniversitesi Açıköğretim Fakültesi Türk Dili ve Edebiyatı programının bağlam, girdi, süreç ve ürün modeli çerçevesinde öğrenen görüşlerine göre değerlendirilmesi. [Evaluation of the Turkish Language and Literature program of the Open Education Faculty at Anadolu University according to opinions of learners in the context, input, process and product model]. (Master's dissertation). Anadolu University Graduate School of Social Sciences, Ankara, Turkiye. Available from the Council of Higher Education, National Dissertation Center, Dissertation ID: 622876.
Yüksel, İ. (2010). Türkiye için program değerlendirme standartları oluşturma çalışması. [Development of Turkısh program evaluatıon standards]. (Doctoral dissertation). Anadolu University Graduate School of Educational Sciences, Eskişehir, Turkiye. Available from the Council of Higher Education, National Dissertation Center, Dissertation ID: 262343.