Journals / Acta Infologica / 2022 / Cilt: 6 - Sayı: 1

Usability Evaluation of the Online Skill Assessment Tool

Online Beceri Değerlendirme Aracının Kullanılabilirliğinin Değerlendirilmesi

Pages
19–32
Publication Date
2022-09-15
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

The findings indicated that the participants were able to complete most of the tasks and were generally satisfied with the use of the system.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:This study was conducted to evaluate the usability of the online skill assessment tool which was developed to evaluate the literacy, numeracy, and digital skills of adults with low skill levels.
📊
Key Findings & Data:The sample consisted of 14 participants who were between the ages of 18 and 40 and who had graduated from secondary school at most.
💡
Conclusion & Impact:The findings indicated that the participants were able to complete most of the tasks and were generally satisfied with the use of the system.
🔬Design:Survey & Empirical Study
📍Scope:Comprehensive Sample
⚙️Variables:Domain Parameters

Abstract

This study was conducted to evaluate the usability of the online skill assessment tool which was developed to evaluate the literacy, numeracy, and digital skills of adults with low skill levels. The sample consisted of 14 participants who were between the ages of 18 and 40 and who had graduated from secondary school at most. In the study, the user-based method, in which user experiences are employed, was used, and according to the effectiveness, efficiency and satisfaction criteria determined by ISO 9241-11, the usability of the online skill assessment tool was evaluated. According to the data obtained from the screen recordings, effectiveness was considered as the completion rate of the tasks, and efficiency was considered as the completion duration of the tasks. Satisfaction was also considered as the values obtained from the questionnaire data. The findings indicated that the participants were able to complete most of the tasks and were generally satisfied with the use of the system. Some usability problems were identified as a result of the observations and the detailed examination of the screen recordings. These problems have been a guide for updates to render the system more usable before the system is used by end users.

Özet

Bu çalışmada, düşük beceri seviyesine sahip yetişkinlerin okuryazarlık, sayısal ve dijital becerilerinin değerlendirilebilmesi için geliştirilen online beceri değerlendirme aracının kullanılabilirliğinin değerlendirilmesi amaçlanmıştır. Bu amaç doğrultusunda, çalışma grubunu, 18-40 yaşları arasında ve en fazla ortaokul mezunu olan 14 katılımcı oluşturmaktadır. Çalışmada, kullanıcı deneyimlerinin işe koşulduğu kullanıcı tabanlı yöntem kullanılmış ve online beceri değerlendirme aracının kullanılabilirliğinin değerlendirilmesinde, ISO 9241-11 tarafından belirlenen etkililik, verimlilik ve memnuniyet ölçütleri temel alınmıştır. Bu bağlamda, görevlerin tamamlanma oranı olarak kabul edilen etkililik ile görevlerin tamamlanma süresi olarak kabul edilen verimlilik ekran kayıtlarından elde edilen verilere göre belirlenmiştir. Memnuniyet ise araştırmacılar tarafından geliştirilen anketten elde edilen veriler doğrultusunda belirlenmiştir. Elde edilen bulgular, katılımcıların, görevlerin çoğunluğunu tamamlayabildiklerini ve sistemin kullanımı ile ilgili genel olarak memnun olduklarını göstermiştir. Bunun yanı sıra, kullanılabilirlik testi sırasında yapılan gözlemler ve ekran kayıtlarının detaylı incelenmesi sonucunda bazı kullanılabilirlik problemleri tespit edilmiştir. Bu problemler, sistemin son kullanıcılara açılmadan önce, daha kullanılabilir olması adına sistemin tasarımında yapılacak güncellemeler için yol gösterici olmuştur.

🔖

Cite This Article

Yıldız, M., Berigel, M., Kalyoncu, F., Özgenç, Ö. (2022). Usability Evaluation of the Online Skill Assessment Tool. Acta Infologica, Cilt: 6 - Sayı: 1, 19–32. https://ajindex.com/articles/425946

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (9)

  1. Akgül, Y. (2020). Accessibility, usability, quality performance, and readability evaluation of university websites of Turkey: a comparative study of state and private universities. Universal Access in the Information Society, 1-14. doi:10.1007/s10209-020-00715-w. Althobaiti, M. M., & Mayhew, P. (2015, September). Assessing the usability of learning management system: user experience study. In Second International Conference on E-Learning, E-Education, and Online Training (pp. 9-18).
  2. Anam, H., Sadiq, M., & Jamil, H. (2020). Development of System Usability Scale (SUS) for the Urdu Language. International Journal of Computer Science and Information Security, 18(6), 73-78.
  3. Battal, A., & Çağıltay, K. (2015). Investigation of usage frequency and department on usability ıssues with the Online Examination System (OSSI). Mersin University Journal of the Faculty of Education, 11(3), 752-763.
  4. Bayrak, T., & Akcam, B. (2015). Exploring benefits of a web based testing and training tool. Procedia-Social and Behavioral Sciences, 195, 1032-1041. Doi:10.1016/j.sbspro.2015.06.146. Cengiz, E. (2016). Hacettepe Üniversitesi Kütüphaneleri web sitesinin kullanılabilirliğinin eğitimle desteklenmesi ve değerlendirilmesi: Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü öğrencileri üzerine bir çalışma. Türk Kütüphaneciliği, 30(1), 84-95.
  5. Chang, C., & Almaghalsah, H. (2020). Usability evaluation of e-government websites: A case study from Taiwan. International Journal of Data and Network Science, 4(2), 127-138.
  6. Chao, J. Y., Chao, S. J., Yao, L. Y., & Liu, C. H. (2016). A case study of design and usability evaluation of the collaborative problem solving instructional platform system. Eurasia Journal of Mathematics, Science and Technology Education, 12(10), 2647-2655. Doi:10.12973/eurasia.2016.1278a. Cheon, J., & Grant, M. (2009). Active listening: Web-based assessment tool for communication and active listening skill development. TechTrends, 53(6), 24-34. Doi:10.1007/s11528-009-0340-4.
  7. Çağıltay, K. (2016). İnsan bilgisayar etkileşimi ve eğitim teknolojileri. In K. Çağıltay and Y. Göktaş (Eds.) Öğretim Teknolojilerinin Temelleri: Teoriler Araştırmalar Eğilimler (pp. 297-314).
  8. Pegem Akademi, Ankara. de Castro Lozano C. et al. (2011). Usable interface design for everyone. In Cipolla Ficarra FV, de Castro Lozano C, Nicol E, Kratky A, Cipolla-Ficarra M (Eds) Human- Computer Interaction, Tourism and Cultural Heritage (pp. 157-172).
  9. Springer, Berlin, Heidelberg. Doi:10.1007/978-3-642-1