Body Condition Score (BCS) Segmentation and Classification in Dairy Cows using R-CNN Deep Learning Architecture

R-CNN Derin Öğrenme Mimarisi ile Süt Sığırlarında Vücut Kondisyon Skoru (VKS) Alanı Bölütlenmesi ve Sınıflandırması

Abstract

Body condition score (BCS) is based on scoring of dairy cattle from 1 to 5 according to the appearance of animals. BCS is a subjectivemethod based on assessing of subcutaneous fat thickness on the regions in back, waist and coccyx regions in cattle and the bone spursin the pelvic region by visual inspection and palpation method. BSC of animals in among the most important indicator of whether theneeds of animals are met in livestock enterprises. In general, BCS values are determined by a method based on expert knowledge anddetermined by observation. If the animal is above or below the desired BCS, at this stage, diseases resulting from metabolic problems,low yield or animal losses may occur. With the regular control of this situation, the profitability of the enterprise may increase withhealthier animals. For this purpose, in this study, it is aimed to segment the required regions and to classify the segmented regions inorder to perform BCS. Images taken from dairy cattle were trained with the R-CNN architecture used in object detection applications,which are among the Convolutional Neural Networks (CNN) architectures. Of the 184 images, 75% (138) were used for training and25% (46) were used for testing. During the training phase, the regions where BSC could be conducted from the raw images were labeledand these regions were learned. Then, the segmentation of the correct regions from the new images to the system was tested. Pre-trainednetworks were utilized to increase system success. For the classification of the segmented regions, the CNN network trained withAlexNet architecture was used. When the overall success of the system was evaluated, the AlexNet network correctly segmented 40 ofthe 46 raw test images, and the AlexNet CNN network correctly classified 28 of them and provided 60.86% overall success. The VGG16network correctly segmented 42 of the 46 raw test images, and the AlexNet CNN network correctly classified 30 of them, achieving65.21% overall success On the other hand, The VGG19 network correctly segmented 43 of the 46 raw test images, and the AlexNetCNN network correctly classified 31 of them, achieving 67.39% overall success.

Özet

Vücut kondisyon skoru (VKS) süt sığırlarında hayvanların dış görünüşüne göre 1 den 5 e kadar puanlanması esasına dayanmaktadır. VKS, sığırlarda sırt, bel ve kuyruk sokumu bölgelerinde deri altı yağ kalınlığının, pelvik bölgede kemik çıkıntıları ile ilişkisinin görsel olarak veya palpasyon yöntemi ile belirlenmesine dayalı sübjektif bir yöntemdir. Hayvancılık işletmelerinde hayvanların ihtiyaçlarının karşılanıp karşılanmadığının en önemli göstergesi hayvanların VKS puanlamasıdır. Genellikle işletmelerde VKS değerleri uzman bilgisine dayanan ve gözlem yoluyla belirlenen bir yöntem ile belirlenmektedir. Eğer hayvan istenilen VKS’nin üzerinde veya altında ise bu aşamada da metabolik problemlerden kaynaklanan hastalıklar, verim düşüklüğü veya hayvan kayıpları gözlemlenebilecektir. Bu durumun düzenli bir şekilde kontrolü ile birlikte daha sağlık hayvanların ve işletmenin karlılığı da artabilecektir. Bu amaçla çalışmamızda VKS puanlamasının yapılabilmesi için görüntüler üzerinden gerekli alanların bölütlenmesi ve bölütlenen alanların sınıflandırılması amaçlanmıştır. Süt sığırlarından alınan görüntüler Evrişimsel Sinir Ağları (ESA) mimarilerinden nesne belirleme uygulamalarında kullanılan R-CNN mimarisi ile eğitilmiştir. 184 adet görüntü içerisinden %75’i (138 adet) eğitim, %25’i (46 adet) test için kullanılmıştır. Eğitim aşamasında ham görüntüler içerisinden VKS skorlaması yapılabilecek alanlar etiketlenmiş ve bu alanların öğrenilmesi sağlanmıştır. Daha sonra ise sisteme yeni gelen görüntüler içerisinden doğru alanların bölütlenmesi test edilmiştir. Sistem başarısını artırmak adına önceden eğitilmiş (pre-trained) ağlardan faydalanılmıştır. Bölütlenen alanların sınıflandırılması için ise AlexNet mimarisi ile eğitilmiş CNN ağı kullanılmıştır. Sistemin genel başarısı değerlendirildiğinde AlexNet ağı 46 ham test görüntü içerisinden 40 adedini doğru bölütlemiş ve AlexNet CNN ağı 28 tanesini doğru sınıflandırarak %60.86 genel başarı sağlamıştır. VGG16 ağı 46 ham test görüntü içerisinden 42 adedini doğru bölütlemiş ve AlexNet CNN ağı 30 tanesini doğru sınıflandırarak %65.21 genel başarı sağlamıştır. VGG19 ağı ise 46 ham test görüntü içerisinden 43 adedini doğru bölütlemiş ve AlexNet CNN ağı 31 tanesini doğru sınıflandırarak %67.39 genel başarı sağlamıştır.