Mustafa YENİAD, Sedat AKBAL, Sacide Güzin MAZMAN, Hakan TÜZÜN

Bir bölüm web sitesinin otantik görevler ve göz izleme yöntemi aracılığıyla kullanılabilirlik değerlendirmesi

Bu çalışmanın amacı eğitsel arayüz olarak ele alınan bir bölüm web sitesininkullanılabilirliğinin farklı kullanılabilirlik yöntemleri ile test edilmesi ve mevcutkullanılabilirlik sorunlarının belirlenerek bunların çözümüne yönelik önerilergetirilmesidir. Araştırmanın çalışma grubu ilgili bölümün lisans düzeyindeki 4 öğrencisive yine ilgili bölümde lisansüstü öğrenim gören ve/veya çalışan 4’ü araştırma görevlisibiri öğretim üyesi olan 5 akademisyen olmak üzere toplamda 9 kişiden oluşmuştur.Çalışma, kullanıcıların web sitesinde otantik görevleri gerçekleştirme süreçlerine ilişkinperformanslarının bilgisayarda kaydedilmesi ve iki katılımcının da göz hareketlerininizlenmesi şeklinde desenlenmiştir. Çalışmanın geçerliliği için yöntem çeşitlemesi,güvenirliliği için ise araştırmacı çeşitlemesi yoluna gidilmiştir. Verilerin analizinde görevsürecine ve göz izleme yöntemine ilişkin kayıtlar incelenmiş, gözlemcilerin notları ilekarşılaştırmalı olarak katılımcıların görevlerde zorlandığı ve tereddütte kaldığı hususlar,her bir görevde harcanan süre, tekrar edilen görevler, başarı ile tamamlanan görevler vebaşarısızlıkla sonuçlanan görevler gruplar altında toplanarak tasnif edilmiştir. Elde edilenbulgulardan hem öğrenci hem de akademisyen grubu için kullanılabilirlik sorunlarıbelirlenerek bunların çözümüne yönelik öneriler getirilmiştir.

Evaluating the usability of a departmental web site by authentic tasks and eye tracking method

The purpose of this study is to evaluate the usability of a university departmental web siteas an educational interface by using different usability methods, and to determineusability problems of it to suggest solutions to these problems. The study group wasconsisted of 9 participants including 4 undergraduate students and 5 academicians, 4 ofwhom were research assistants/graduate students, and one of whom was an instructor. Study was designed by recording the process of authentic task performance of authenticusers and tracking eye movements of two participants in the department web site. Methodtriangulation method was used for validity of the study and investigator triangulationmethod was used for reliability of the study. In the data analysis, users’ recordings fromthe task performances and eye movements were analyzed and the issues for which usershad difficulties with, the issues which users hesitated with while performing, the timespent on each task, repeated tasks, successful tasks and unsuccessful tasks werediscovered comparatively with the observer notes. Usability problems were determinedand solutions to these problems were suggested.

PDF

___

Annett, J. (2002). Target paper. Subjective rating scales: Science or art? Ergonomics, 45(14), 966-987. 28.12.2009 tarihinde http://coursesite.cl.uh.edu/hsh/PeresSc/Classes/PSYC5911www/2002AnnettSU SCritique.pdf adresinden erişilmiştir.
Dalcı, M., Alçam, Ö., Saatçioğlu, Y. O ve Erdal F. (2008). ODTÜ kütüphanesi yeni web sayfasının tasarımı ve kullanılabilirlik çalışması. Akademik Bilişim 2008. Çanakkale Onsekiz Mart Üniversitesi.
Denzin, N. K., & Lincoln, Y. S. (1994). The research process.. In N. K. Denzin & Y. S. Lincoln (Eds.), Handbook of qualitative research (pp. 45-81). Thousand Oaks, CA: Sage.
De'Sperati, C. (2003). The inner working of dynamic visuo-spatial imagery as revealed by spontaneous eye movements. In J. Hyona, R. Radach, & H. Deubel (Eds.), The mind's eye: Cognitive and applied aspects of eye movement research. (pp. 119- 142). Oxford: Elsevier Science.
Doubleday, A., Ryan, M., Springett, M., & Sutcliffe, A. (1997). A comparison of usability techniques for evaluating design. Proceedings of Designing Interactive Systems (DIS '97) Conference. New York: ACM. Press, 101-110.
Duchowski, A.T. (2002). A breadth-first survey of eye tracking applications. Behavior Research Methods, Instruments and Computers, 1-16. 02.01.2010 tarihinde http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.92.6287&rep=rep1&t ype=pdf adresinden erişilmiştir.
Dumas, J. S., & Redish, J. C. (1994). A practical guide to usability testing. Portland, OR: Intellect Books.
Frøkjær, E., Hertzum, M., & Hornbæk, K. (2000). Measuring usability: Are effectiveness, efficiency and satisfaction really correlated? In: Proceedings of CHI 2000 Human Factors in Computing Systems (pp. 345–352). ACM Press.
Folmer, E., & Bosch, J. (2004). Architecting for usability: A survey. The Journal of Systems and Software, 70(1/2), 61-78.
Goldberg, J. H., & Kotval, X. P. (1999). Computer interface evaluation using eye movements: Methods and constructs. International Journal of Industrial Ergonomics, 24, 631-645.
Hornbæk, K. (2006). Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies, 64(2), 79-102.
Höök, K. (1997) Evaluating the utility and usability of an adaptive hypermedia system. In J. Moore, E. Edmonds, & A. Puerta (Eds.) Proceedings of 1997 International Conference on Intelligent User Interfaces, Orlando, Florida, January 7-9, 1997, ACM, pp. 179-186.
Li, X.-J., Yu, Z.-Y., & Liu, C.-Z. (2010). Developing usability measure structure: Process and principles. Paper presented at the Computer Engineering and Technology (ICCET), 2010 2nd International Conference on 16-18 April.
Kuşkaya-Mumcu, F., Haşlaman, T., Yıldız, B., & Tüzün, H. (2008). Etkileşimli sistem tasarımında kullanılabilirlik: Bilgi işlem sorun ve ihtiyaç iletme sistemi örneği (Usability in interactive system design: IT problem and needs submission system case). 8th International Educational Technology Conference, Eskişehir, Turkey (pp. 391-395).
Nakatani, C., & Pollatsek, A. (2004). An eye movement analysis of “mental rotation” of simple scenes. Perception & Psychophysics, 66(7), 1227-1245.
Namahn (2001). Using eye tracking for usability testing. 29.12. 2010 tarihinde www.namahn.com/resources/documents/note-eyetracking.pdf adresinden erişilmiştir.
Nielsen, J. (1993). Usability engineering. Boston, MA: Academic Press. 22.11.2009 tarihinde http://books.google.com.tr adresinden erişilmiştir.
Özçelik, E., Kurşun, E. ve Çağıltay K. (2006). Göz hareketlerini izleme yöntemiyle üniversite web sayfalarının incelenmesi. Akademik Bilisim 2006 Bildiriler Kitapçığı, 9-11 Şubat, 2006, Denizli.
Pernice, K., & Nielsen, J. (2009). Eyetracking methodology: How to conduct and evaluate usability studies using eyetracking. Nielsen Norman Group. 08.12.2010 tarihinde http://www.useit.com/eyetracking/methodology adresinden erişilmiştir.
Pero, K. (2003). 25.12.2009 tarihinde http://www.usableinterface.com/articles/whyusability.php adresinden erişilmiştir.
Rayner, K. (1978). Eye movements in reading and information processing. Psychological Bulletin, 85(3), 618-660.
Rubin, J. (1994). Handbook of usability testing: How to plan, design, and conduct effective tests. New York, NY: John Wiley & Sons, Inc.
Shackel, B. (2009). Usability - Context, framework, definition, design and evaluation. Interacting with Computers, 21(5–6), 339-346.
Sullivan, T., & Matson, R. (2000). Barriers to use: Usability and content accessibility on the web’s most popular sites. Proceedings of the ACM Conference on Universal Usability, 139–144.
Tomlinson, L. (2008). Are accessibility statements useful? 23.03.2010 tarihinde http://www.digital-web.com/articles/are_accessibility_statements_useful/ adresinden erişilmiştir.