AI Summary & Key Takeaways
AI InsightExperimental results show that ROI-based models improve inter-class balance and sensitivity, while the hybrid CNN–LSTM architecture achieves the highest overall accuracy (76.45%) when combined with ResNet18 features.
📌 3 Key Takeaways
Abstract
Early and reliable detection of neonatal jaundice is of critical importance for preventing bilirubin-induced neurological damage. However, visual assessment methods widely used in clinical practice are subjective and highly dependent on the examiner and environmental conditions. In this study, three different deep learning–based approaches were systematically evaluated for the automatic detection of neonatal jaundice using the NeoJaundice dataset. In the first approach, direct Convolutional Neural Network (CNN)-based classification was performed on raw images using the ResNet18 and MobileNetV2 architectures. In the second approach, automatic pixel-level region of interest (ROI) extraction was applied prior to classification using YOLO-based coarse localization and the Segment Anything Model (SAM). In the third and most advanced approach, CNN features ex-tracted from the ROI were transferred to an Long Short-Term Memory (LSTM) network with the aim of modeling contextual dependencies between spatial representations. To the best of our knowledge, this study is the first to systematically examine the effect of YOLO–SAM–based automatic ROI extraction on classification performance using a color-sensitive and clinically labeled neonatal jaundice dataset. Experimental results show that ROI-based models improve inter-class balance and sensitivity, while the hybrid CNN–LSTM architecture achieves the highest overall accuracy (76.45%) when combined with ResNet18 features. The obtained findings demonstrate that combining precise ROI extraction with contextual feature modeling provides a more reliable and generalizable framework for camera-based neonatal jaundice detection systems, particularly in low-resource and non-invasive clinical screening scenarios.
Özet
Yenidoğan sarılığının erken ve güvenilir biçimde tespit edilmesi, bilirubine bağlı nörolojik hasarların önlenmesi açısından kritik öneme sahiptir. Ancak klinik uygulamalarda yaygın olarak kullanılan görsel değerlendirme yöntemleri öznel olup, uygulayıcıya ve çevresel koşullara yüksek derecede bağımlıdır. Bu çalışmada, NeoJaundice veri seti kullanılarak yenidoğan sarılığının otomatik tespiti amacıyla üç farklı derin öğrenme tabanlı yaklaşım sistematik olarak değerlendirilmiştir. İlk yaklaşımda, ham görüntüler üzerinde ResNet18 ve MobileNetV2 mimarileri kullanılarak doğrudan Evrişimsel Sinir Ağı (CNN) tabanlı sınıflandırma gerçekleştirilmiştir. İkinci yaklaşımda, sınıflandırma öncesinde YOLO tabanlı kaba lokalizasyon ve Segment Anything Model (SAM) kullanılarak piksel seviyesinde otomatik ilgi bölgesi (Region of Interest, ROI) çıkarımı uygulanmıştır. Üçüncü ve en gelişmiş yaklaşımda ise ROI üzerinden çıkarılan CNN özellikleri, uzamsal temsiller arasındaki bağlamsal bağımlılıkların modellenmesi amacıyla Uzun Kısa Süreli Bellek (Long Short-Term Memory, LSTM) ağına aktarılmıştır. Bildiğimiz kadarıyla bu çalışma, renk duyarlılığı yüksek ve klinik olarak etiketlenmiş bir yenidoğan sarılığı veri seti üzerinde YOLO–SAM tabanlı otomatik ROI çıkarımının sınıflandırma performansına etkisini sistematik biçimde inceleyen ilk çalışmadır. Deneysel sonuçlar, ROI tabanlı modellerin sınıflar arası dengeyi ve duyarlılığı iyileştirdiğini, hibrit CNN–LSTM mimarisinin ise ResNet18 özellikleri ile birlikte kullanıldığında en yüksek genel doğruluk oranına (%76,45) ulaştığını göstermektedir. Elde edilen bulgular, hassas ROI çıkarımı ile bağlamsal özellik modellemesinin birleştirilmesinin, özellikle düşük kaynaklı ve non-invaziv klinik tarama senaryolarında kamera tabanlı yenidoğan sarılığı tespit sistemleri için daha güvenilir ve genellenebilir bir çerçeve sunduğunu ortaya koymaktadır.