AI Summary & Key Takeaways
AI InsightExperimental results demonstrate that the proposed Imb-LLMClass framework achieved the highest performance among the compared methods when evaluated based on the average of three experimental runs, attaining a Macro F1-Score of 0.878 and a Balanced Accuracy of 0.870 across three datasets.
📌 3 Key Takeaways
Abstract
Abstract: Class imbalance constitutes a significant challenge in text classification tasks, particularly due to the insufficient representation of minority-class instances. Traditional machine learning methods trained on imbalanced datasets tend to exhibit a bias toward majority classes, thereby limiting their ability to accurately classify minority-class samples. To address this issue, this study proposes a classification framework, termed Imb-LLMClass, to investigate the effectiveness of large language model-based classification approaches for imbalanced text data. Experimental results demonstrate that the proposed Imb-LLMClass framework achieved the highest performance among the compared methods when evaluated based on the average of three experimental runs, attaining a Macro F1-Score of 0.878 and a Balanced Accuracy of 0.870 across three datasets. Furthermore, the increase in the average minority-class recall to 0.834 indicates that the proposed approach not only improves overall classification performance but also enhances the learning of underrepresented classes. These findings indicate that, in imbalanced text classification tasks, evaluating large language models solely based on overall performance metrics may be insufficient and that their ability to effectively represent minority classes should also be taken into consideration.
Özet
Sınıf dengesizliği, özellikle azınlık sınıfına ait örneklerin yetersiz temsil edilmesi nedeniyle metin sınıflandırma görevlerinde önemli bir zorluk oluşturmaktadır. Dengesiz veri kümeleri üzerinde eğitilen geleneksel makine öğrenmesi yöntemleri, çoğunluk sınıflarına yönelik bir yanlılık gösterme eğiliminde olup, bu durum azınlık sınıfı örneklerini doğru şekilde sınıflandırma yeteneklerini sınırlandırmaktadır. Bu sorunu ele almak amacıyla, bu çalışmada dengesiz metin verileri üzerinde büyük dil modeli tabanlı sınıflandırma yaklaşımlarının etkinliğini araştırmak için Imb-LLMClass adı verilen bir sınıflandırma çerçevesi önerilmektedir. Deneysel sonuçlar, önerilen Imb-LLMClass çerçevesinin üç deneysel tekrarın ortalaması üzerinden değerlendirildiğinde karşılaştırılan yöntemler arasında en yüksek performansı elde ettiğini ve üç veri kümesi genelinde 0.878 Makro F1-Skoru ile 0.870 Dengeli Doğruluk değerine ulaştığını ortaya koymuştur. Bunun yanında, azınlık sınıfı duyarlılığının ortalama 0.834 seviyesine yükselmesi, önerilen yaklaşımın yalnızca genel sınıflandırma performansını artırmakla kalmayıp aynı zamanda yetersiz temsil edilen sınıfların öğrenilmesini de geliştirdiğini göstermektedir. Bu bulgular, dengesiz metin sınıflandırma problemlerinde büyük dil modellerinin yalnızca genel performans ölçütleri üzerinden değil, azınlık sınıfları temsil etme kapasitesi açısından da değerlendirilmesinin yararlı olabileceğini göstermektedir.