Ali Kürşat Erümit, Vasıf Nabiyev, Mehmet Kokoç, İsmail Çetin, Temel Kösa, Emine Selin Aygün

Uyarlanabilir Zeki Öğretim Sistemleri için Kullanılabilirlik Değerlendirmesi Süreci Tasarım Önerisi: Durum Çalışması

Bu çalışmanın amacı, problem çözme öğretimi için tasarlanmış bir uyarlanabilir zeki öğretim sistemi olan ArtiBos’un kullanılabilirlik değerlendirmesi sürecini incelemek ve benzer sistemlerin kullanılabilirlik değerlendirmesi süreçlerine yönelik öneriler sunmaktır. Çalışmaya, 3 farklı ortaöğretim kurumundan seçilen 90 öğrenci ile Bilgisayar ve Öğretim Teknolojileri EğitimiMatematik Eğitimi alanlarından 30 uzman katılmıştır. ArtiBos’un kullanılabilirliği, Uluslararası Standartlar Enstitüsü (International Standards Organization – ISO) tarafından yapılan kullanılabilirlik tanımında yer alan etkililik, verimlilik ve memnuniyet kriterlerine göre değerlendirilmiştir. Çalışmada veri çeşitlemesi sağlanarak nicel ve nitel veriler birlikte kullanılmıştır. Kullanıcıların ArtiBos’da istenen görevleri gerçekleştirme süreçlerindeki ekran görüntüleri, sesli düşünme tekniği (think aloud) sırasında alınan ses kayıtları, öğrencilerle yapılan görüşmeler ve uzmanların görüşleriyle veriler elde edilmiştir. Çalışmada, ArtiBos’un kullanılabilirlik testleri süreci detaylı bir şekilde açıklanmış ve kullanılabilirlik değerlendirme süreçlerine yönelik öneriler sunulmuştur. Elde edilen sonuçların benzer sistemlerin kullanılabilirlik çalışmasını yapmayı planlayan araştırmacılar için yol gösterici olması hedeflenmektedir.

Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

This study aims at examining the usability evaluation process of ArtiBos, an adaptive intelligenttutoring system specifically designed for teaching of problem solving, and proposing usabilityevaluation recommendations accordingly. The study group consists of 90 students selected from 3different secondary education institutions and 30 experts from the fields of Computer Education andInstructional Technology and Mathematics Teaching. The usability of ArtiBos is evaluated accordingto the criteria of effectiveness, efficiency, and satisfaction included in the definition of usability by theInternational Standards Organization (ISO). In this study, quantitative and qualitative data were usedfor triangulation. Study data included users’ screenshots during performance of the instructed tasks inArtiBos, sound recordings taken from the think aloud technique, interviews with students, andopinions of experts. The study elaborates the procedure of usability tests of ArtiBos and makessuggestions for usability evaluation processes of similar systems. The results are expected to guideresearchers planning to carry out similar systems’ usability studies.

PDF

___

Acartürk, C., & Çağıltay, K. (2006). İnsan bilgisayar etkileşimi ve ODTÜ'de yürütülen çalışmalar. Akademik Bilişim, 335-340.
Al-Bastami, B. G., & Naser, S. S. A. (2017). Design and development of an ıntelligent tutoring system for c# language. European Academic Research, 4(10), 8795-8809
Allen, M., Currie, L.M., Bakken, S., Patel, V.L., & Cimino, J.J. (2006). Heuristic evaluation of paper-based web pages: a simplified inspection usability methodology. Journal of biomedical informatics, 39(4), 412-423.
Arevalillo-Herráez, M., Marco-Giménez, L., Arnau, D., & Calero, J.A.G. (2017). Adding sensor-free intention-based affective support to an Intelligent Tutoring System. Knowledge-Based Systems, 132, 85-93.
Arsoy, S., Kalıpsız, O., & Öztürk, S. (2013). E-devlet web siteleri için rehber tabanlı kullanılabilirlik değerlendirmesi. Yedinci Ulusal Yazılım Mühendisliği Sempozyumu, 1-9.
Bailey, G.S. (1993, May). Iterative methodology and designer training in human-computer interface design. In Proceedings of the INTERACT'93 and CHI'93 conference on Human factors in computing systems (pp. 198-205). ACM.
Baylari, A., & Montazer, G.A. (2009). Design a personalized e-learning system based on item response theory and artificial neural network approach. Expert Systems with Applications, 36(4), 8013-8021.
Bayram, S., & Yeni, S. (2011). Web tabanlı eğitsel çoklu ortamların göz izleme tekniği ile kullanışlılık açısından değerlendirilmesi. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 12(2), 221-234.
Benyon, D. (1993). Adaptive systems: A solution to usability problems. User modeling and User adapted Interaction, 3(1), 65-87.
Bernacki, M.L., Aleven, V. & Nokes-Malach, T.J. (2014). Stability and change in adolescents’ task spesific achievement goals and ımplications for learning mathematics with ıntelligent tutors. Computers in Human Behaviour, 37, 73-80.
Bernacki, M.L., Aleven, V. & Nokes-Malach, T.J. (2014). Stability and change in adolescents’ task spesific achievement goals and ımplications for learning mathematics with ıntelligent tutors. Computers in Human Behaviour, 37, 73-80.
Beymer, D., Orton, P.Z., & Russell, D.M. (2007). An eye tracking study of how pictures ınfluence online reading. IFIP Conference On Human Computer Interaction, 456-460.
Buscher, G., Dumais, S.T., & Cutrell, E. (2010). The good, the bad, and the random: an eye tracking study of ad quality in web search. 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval, 42-49.
Can, G.F., Atalay, K.D., & Eraslan, E. (2017). Tabletlerin kullanılabilirlik ölçütlerine göre çok kriterli karar verme yaklaşımıyla değerlendirilmesi. Mühendislik Bilimleri ve Tasarım Dergisi, 5(SI), 81-88.
Card, S. K. (2017). The psychology of human-computer interaction. CRC Press.
Carroll, J. M. (2003). Introduction: towards a multidisciplinary science of human- computer ınteraction. HCI Models, Theories and Frameworks, 1-9.
Cengiz, E. (2016). Hacettepe üniversitesi kütüphaneleri web sitesinin kullanılabilirliğinin eğitimle desteklenmesi ve değerlendirilmesi: Hacettepe Üniversitesi bilgi ve belge yönetimi bölümü öğrencileri üzerine bir çalışma. Türk Kütüphaneciliği, 30(1), 84-95.
Cevher, E. (2015). Kamu üniversiteleri web sayfalarının kullanılabilirliğinin içerik analizi ile incelenmesi. University of Gaziantep Journal of Social Sciences, 14(2), 387-402.
Chen, C.M., & Duh, L.J. (2008). Personalized web-based tutoring system based on fuzzy item response theory. Expert Systems with Applications, 34(4), 2298-2315.
Chen, C.M., Lee, H.M., & Chen, Y.H. (2005). Personalized e-learning system using item response theory. Computers & Education, 44(3), 237-255.
Chughtai, R., Zhang, S., & Craig, S.D. (2015). Usability evaluation of ıntelligent tutoring system: ıts from a usability perspective. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 59(1), 367-371.
Cockrell, B. J., & Jayne, E. A. (2002). How do ı find an article? Insights from a web usability study. The Journal of Academic Librarianship, 28(3), 122–132.
Cutrell, E., & Guan, Z. (2007). What are you looking for?: an eye-tracking study of ınformation usage in web search. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 407-416.
Çağıltay, K (2011). İnsan bilgisayar etkileşimi ve kullanılabilirlik mühendisliği: teoriden pratiğe, ODTÜ Yayıncılık, Ankara.
Çebi, S., Durucu, M., & Kayhan, B. M. (2013) gençlerin internet kullanım alışkanlıkları ve kullanılabilirlik üzerine bir çalışma: kütüphane web sayfalarının kullanılabilirliği. 19. Ulusal Ergonomi Kongresi, 525-534.
Çetin, İ., & Şendurur, E. (2016). Çevrimiçi akademik kaynakların kullanılabilirlik değerlendirmesi. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, 1(40), 273-299.
Dexheimer, J.W., Kurowski, B. G., Anders, S.H., McClanahan, N., Wade, S.L., & Babcock, L. (2017). Usability evaluation of the smart application for youth with mTBI. International Journal of Medical Informations, 97, 163-170.
Dimitrova, V. (2003). STyLE-OLM: Interactive open learner modelling. International Journal of Artificial Intelligence in Education, 13(1), 35-78.
Doğan, N., & Kubat, B. (2008). Zeki öğretim sistemleri için yeni bir bileşen: düzenleyici modül. International Journal of Informatics Technologies, 1(2). 5-9.
Dönmez, O., Yaman, F., Şahin, Y.L., & Yurdakul, I.K. (2016). İşitme engelliler için mobil uygulama geliştirme süreci: Çarkıfelek örneği. Eğitim Teknolojisi Kuram ve Uygulama, 6(1). 20-41.
Dumas, J.S., Dumas, J.S., & Redish, J. (1999). A practical guide to usability testing. Intellect books.
Durmus, S., & Çağıltay, K. (2012). Kamu Kurumu Web Siteleri ve Kullanılabilirlik. Edevlet. M.Z. Sobacı, M. Yıldız (Ed.), Kamu Yönetimi ve Teknoloji İlişkisinde Güncel Gelişmeler içinde (ss. 293-322). Nobel Yayınevi.
Erdoğdu, F., & Şahin, S. (2018). Her yerde öğrenme sisteminin kullanılabilirliğine ilişkin öğrenci görüşleri. Karaelmas Eğitim Bilimleri Dergisi, 6(1).
Gagneux, A., Eglin, V., & Emptoz, H. (2001). Quality approach of web documents by an evaluation of structure relevance. Proceedings of WDA, 11-14.
Hertzum, M., Hansen, K. D., & Andersen, H. H. (2009). Scrutinising usability evaluation: does thinking aloud affect behaviour and mental workload? Behaviour & Information Technology, 28(2), 165-181.
Hollingsed, T., & Novick, D.G. (2007, October). Usability inspection methods after 15 years of research and practice. In Proceedings of the 25th annual ACM international conference on Design of communication (pp. 249-255). ACM.
Hooshyar, D., Ahmad, R.B., Yousefi, M., Fathi, M., Horng, S.J., & Lim, H. (2016). Applying an online game-based formative assessment in a flowchart-based ıntelligent tutoring system for ımproving problem-solving skills. Computers & Education, 94, 18-36.
Iqbal, M., & Ullah, A. (2016). Usability evaluation of hec national digital library website: a qualitative approach. Library Hi Tech News, 33(3). 8-10.
ISO 9241-11 (1998). Ergonomic Requirements for Office Work with Visual Display Terminals (Vdts) Part 11: Guidance on Usability. International Organization for Standardization, Geneva.
ISO/IEC 9126-1 (2001). Software Engineering Product Quality -- Part 1: Quality Model. International Organization for Standardization, Geneva.
Jaspers, M.W.M. (2009). A comparison of usability methods for testing interactive health technologies: Methodological aspects and empirical evidence. International Journal of Medical Informatics, 78, 340-353.
Jovanović, J., Gašević, D., & Devedžić, V. (2006). Dynamic assembly of personalized learning content on the semantic web. In European Semantic Web Conference (pp. 545- 559). Springer, Berlin, Heidelberg. Kamis (2018). https://kamis.gov.tr/wpcontent/uploads/rehber/Rehber_Bolum6_KullanilabilirlikTestler iveUyulamalari.pdf adresinden 17 Temmuz 2018 tarihinde alınmıştır.
Khalfallah, J., & Slama, J.B.H. (2015). Facial expression recognition for ıntelligent tutoring systems in remote laboratories platform. Procedia Computer Science, 73, 274-281.
Koedinger, K.R., & Corbett, A. (2006). Cognitive Tutors: Technology Bringing Learning Sciences to the Classroom.
Kularbphettong, K., Kedsiribut, P., & Roonrakwit, P. (2015). Developing an adaptive webbased ıntelligent tutoring system using mastery learning technique. Procedia-Social and Behavioral Sciences, 191, 686-691.NA.
Lazar, J., Feng, J., & Hochheiser, H. 2010. Research Methods in Human Computer Interaction. Morgan Kaufmann.
Lee, S., & Koubek, R. J. (2010). The effects of usability and web design attributes on user preference for e-commerce web sites. Computers in Industry, 61(4), 329-341.
Lemke, C. (2013). Intelligent adaptive learning: an essential element of 21st century teaching and learning. Bellevue, wa: dreambox learning. http://www.dreambox.com/white papers/intelligent-adaptive-learning-an-essential-element-of-21st-century-teachingand-learning. adresinden 20.12.2018 tarihinde alınmıştır.
Lin, H.C.K., Wu, C.H., & Hsueh, Y.P. (2014). The ınfluence of using affective tutoring system in accounting remedial ınstruction on learning performance and usability. Computers in Human Behaviour, 41, 514-522.
Magnisalis, I., Demetriadis, S., & Karakostas, A. (2011). Adaptive and intelligent systems for collaborative learning support: A review of the field. IEEE transactions on Learning Technologies, 4(1), 5-20.
Myers, B.A., & Rosson, M.B. (1992). Survey on user ınterface programming. SIGCHI Conference on Human Factors in Computing Systems, 195-202.
Nielsen, J. (2012). Usability 101: Introduction to usability. Retriewed 14, August, 2018, from https://www.nngroup.com/articles/usability-101-introduction-to-usability/. Norman, D.A. (1988). Designing every day things. Currency-Doubleday, New York.
Olson, J.R., & Olson, G.M. (1995). The growth of cognitive modeling in human-computer interaction since goms. In Readings in Human–Computer Interaction (pp. 603-625).
Oyibo, K., Ali, Y.S., & Vassileva, J. (2016). An empirical analysis of the perception of mobile website ınterfaces and the ınfluence of culture. International Workshop on Personalization, 44-56.
Özdemir, S., Atasoy, B., & Somyürek, S. (2007). Bilimsel dergilerin iş süreçleri yönetimini gerçekleştiren bir yazılımın kullanılabilirlik araştırması: türkiye’deki ilk örneğin incelenmesi. Gazi Universtiy Journal of Gazi Educational Faculty 27(2), 57-80.
Pala, F.K., Arslan, H., & Özdinç, F. (2017). Eğitim bilişim ağı web sitesinin otantik görevler ve göz izleme ile kullanılabilirliğinin incelenmesi. Ihlara Eğitim Araştırmaları Dergisi, 2(1).
Papanikolaou, K.A., & Grigoriadou, M. (2003). An instructional framework supporting personalized learning on the Web. In Advanced learning technologies, 2003. Proceedings. The 3rd IEEE international conference on (pp. 120-124). IEEE.
Phobun, P., & Vicheanpanya, J. (2010). Adaptive ıntelligent tutoring systems for e-learning systems. Procedia-Social and Behavioral Sciences, 2(2), 4064-4069.
Radenkovic, B.L., Despotovic-Zrakic, M.S., Barac, D.M., Bogdanovic, Z.M., & Milic, A.R. (2011). Web portal for adaptive e-learnnig. In Telecommunication in Modern Satellite Cable and Broadcasting Services, 10th International Conference, 365-368.
Ramirez-Norigea, A., Juarez-Ramirez, R., & Martinez-Ramirez, Y. (2017). Evaluation module based on bayesian networks to ıntelligent tutoring systems. Journal of Information Management, 37(1), 1488-1498.
Reilly, E. D. (2003). Milestones in computer science and information technology. Greenwood Publishing Group: Connecticut, USA.
Reiners, T., & Dreher, H. (2009). Culturally-based adaptive learning and concept analytics to guide educational website content ıntegration. Journal of Information Technology Education, 8(1), 125-139.
Roscoe, R.D., Allen, L.K., Weston, J. L., Crossley, S.A. & McNamara, D.S. (2014). The writing pal ıntelligent tutoring system: usability testing and development. Computers and Composition, 34, 39-59
Rubin, J., & Chisnell, D. (2008). Handbook of Usability Testing: How to Plan, Design and Conduct Effective Tests. John Wiley & Sons.
Sanchez, R.P., Bartel, C.M., Brown, E., & DeRosier. M. (2014). The acceptability and efficacy of an ıntelligent tutoring system. Computers&Education, 78, 321-332.
Sezer, İ. (2011). Hipermedya sistemlerinde uyarlanabilir ve uyarlanır metotları karşılaştırma ve yabancı dil öğretiminde örnek bir araç geliştirme. Yüksek Lisans Tezi, Gazi Üniversitesi, 100s (yayınlanmamış). (Tez No: 285490).
Shneiderman, B. (2010). Designing the User Interface: Strategies for Effective HumanComputer Interaction. Pearson Education India. Siemer, J., & Angelides, M.C. (1998). A comprehensive method for the evaluation of complete ıntelligent tutoring systems. Decision Support Systems, 22(1), 85-102.
Triantafillou, E., Pomportsis, A., & Georgiadou, E. (2003). AES-CS: adaptive educational system based on cognitive styles. Computers & Education, 41(1), 87-103.
Tuna, G., & Öztürk, A. (2015). Zeki ve uyarlanabilir e-öğrenme ortamları. International Distance Education Conference 2015 – September 2-4, St. Petersburg, Rusia
Verkuyl, M., Atack, L., Mastrilli, P., & Romaniuk, D. (2016). Virtual gaming to develop student’s pediatric nursing skills: a usability test. Nurse Education Today, 46, 81-85.
Victorio-Meza, H., Mejia-Lavalle, M., & Ortiz, G.R. (2014). Advances on knowledge representation of ıntelligent tutoring systems. In Mechatronics, Electronics and Automotive Engineering International Conference, 212-216.
Vos, H. J. (1995). Applications of bayesian decision theory to ıntelligent tutoring systems. Computers in Human Behaviour, 11(1), 149-162.
Weber, G., & Brusilovsky, P. (2001). ELM-ART: An adaptive versatile system for Webbased instruction. International Journal of Artificial Intelligence in Education (IJAIED), 12, 351-384.
Yavuz, İ., Çınar, N.Ö., & Çağıltay, K. (2016). Kamu internet sitelerinde yer alan arama alanlarının kullanılabilirliği ve buna yönelik kullanıcı davranışlarının belirlenmesi. International Journal of Informatics Technologies, 9(1), 41.
Zviran, M., Glezer, C., & Avni, I. (2006). User satisfaction from commercial web sites: the effect of design and use. Information & Management, 43(2), 157-178.