Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightDeneysel sonuçlar, YOLOv11 modelinin 0.77 F1 puanı ve 0.806 mAP değeri ile etkili bir performans ortaya koyduğunu göstermektedir.
📌 3 Maddede Bu Makale
Özet
Bu çalışma, kullanıcıların çevrelerindeki nesneleri algılamalarını, bu nesnelerin uzaklıklarını ölçmelerini ve nesneler arasındaki konumsal ilişkileri anlamalarını sağlayan bütünleşik bir mobil çözüm sunmaktadır. Sistem, YOLOv11 tabanlı gerçek zamanlı nesne tespiti, LiDAR destekli mesafe ölçümü ve GPT-4o’nun ifade üretimini bir araya getirerek kullanıcının istediği nesneyi bulmasını ve nesnenin çevresindeki diğer nesneleri de öğrenmesini sağlamaktadır. Bu sayede kullanıcı yalnızca nesnelerin varlığını değil, aynı zamanda konumlarını ve birbirleriyle olan konumsal düzenlerini de öğrenebilmektedir. Çalışmada, nesne tespiti sırasında görüntüler mobil uygulama ile yakalanarak nesnenin her zaman görsel çerçeve içerisinde yer alması sağlanır. Bu, görme engelli kullanıcıların oluşturduğu fotoğraflarda sıklıkla karşılaşılan bulanıklık ve yanlış çerçeveleme gibi sorunların önüne geçer. Deneysel sonuçlar, YOLOv11 modelinin 0.77 F1 puanı ve 0.806 mAP değeri ile etkili bir performans ortaya koyduğunu göstermektedir. Ayrıca ince ayar gerçekleştirilen GPT-4o modeli, görüntülerdeki nesne konumlarını doğru biçimde belirleyerek nesneyi ve etrafındaki diğer nesneleri içeren ifadeler üretmektedir. Bu çalışma, nesne tespiti, LiDAR tabanlı mesafe ölçümü ve büyük bir dil modelinin ifade üretimini birleştiren bir sistem önermektedir. Gelecekte daha gelişmiş çözümlerin uygulanması için bir referans oluşturmaktadır.
Abstract
This work presents an integrated mobile solution that allows users to detect objects in their environment, measure their distances, and understand the spatial relationships between them. The system combines YOLOv11-based real-time object detection, LiDAR-assisted distance measurement, and GPT-4o expression generation, allowing users to locate desired objects and learn about nearby objects. This allows the user to understand not only the presence of objects but also their locations and their spatial relationships. In this study, images are captured with a mobile application during object detection, ensuring that the object is always within the frame. This prevents problems such as blurring and incorrect framing, which are frequently encountered in photos created by visually impaired users. Experimental results show that the YOLOv11 model demonstrates effective performance with an F1 score of 0.77 and a mAP value of 0.806. Furthermore, the fine-tuned GPT-4o model identifies object locations in images and generates expressions that include other surrounding objects. The present work proposes a system that integrates object detection, LiDAR-based distance measurement, and expression generation from a large language model. It provides a reference for the implementation of more advanced solutions in the future.