A Smart Multimodal Augmented Reality Application Skill Training For Preoperative Procedures

Akıllı Bir Çoklu Model Arttırılmış Gerçeklik Uygulaması Ameliyat Öncesi Prosedür Becerilerinin Öğretilmesi

Abstract

Despite the current essential rules to set up the surgical instruments on the mayo table, there is no standard implementation for this stage of the preoperative preparation. The nursing students do not have enough opportunity to gain experience because of the high-risk conditions and they faced a lack of feedback during their learning. This study introduces a smart multimodal augmented reality application which developed to solve these issues. 10-correct and 10-incorrect instrument arrangement of the expert nurses were used to train this system. During using this application, the learners become able to perform pre-operative operating room preparation procedures; then they can receive individual feedback about the suitability of their arrangements. Meta2 AR goggles used to provide gesture interaction. This study represents the interface, features and smart system structure of a multimodal AR.

Özet

Ameliyat öncesi hazırlıkta cerrahi aletlerin mayo masasına dizilimi için temel kurallar bulunsa da belirli bir standart bulunmamaktadır. Hemşirelik öğrencileri yüksek riskli durumlar ve öğrenmeleri sırasında yetersiz geribildirim alma gibi sınırlılıklar sebebiyle gereken tecrübeyi kazanmak için yeterli olanaklara sahip değildir. Bu çalışma söz konusu bu sorunun çözümü için geliştirilen akili bir çoklu model artırılmış gerçeklik uygulamasını tanıtmaktadır. Sistem uzman cerrahi hemşirelerin dizilimlerini kullanarak oluşturulan 10 doğru ve 10 hatalı dizilimle eğitilmiştir. Bu uygulamayı kullanan öğrenciler ameliyat öncesi hazinlik aşamalarını gerçekleştirdikten sonra kendi dizilimlerinin uygunluğuna ilişkin bireysel geribildirim alabilmektedir. Fiziksel ek hareketleri ile etkileşimin sağlandığı bu uygulama, Meta2 artırılmış gerçeklik gözlüğü kullanılarak geliştirilmiştir. Bu çalışma, geliştirilen çoklu model artırılmış gerçeklik uygulamasının ara yüzü, özellikleri ve akıllı sistem yapısını açıklamaktadır.