AI Summary & Key Takeaways
AI InsightWe then benchmark multiple transformer-based encoders under a unified multi-label training protocol and report macro/micro F1 performance, highlighting the feasibility of transformer-based multi-label learning for modeling overlapping mental health risks at scale in social media.
📌 3 Key Takeaways
Abstract
Mental health risk detection from user-generated social media text has become increasingly important as psychiatric conditions such as depression, anxiety, and suicidal ideation continue to rise. However, most existing computational studies operationalize the problem using single-label datasets, implicitly assuming mutually exclusive conditions and thereby under-modeling clinically prevalent comorbidity. To better align modeling assumptions with real-world mental health phenomena, we formulate social-media-based risk identification as a multi-label text classification problem, enabling the simultaneous prediction of co-existing risks within a single post. We construct a hybrid corpus by integrating AIMH/SWMH and the Sentiment Analysis for Mental Health dataset, and by adding neutral/positive samples from Sentiment140 to strengthen healthy-content representation. Multi-label annotations are generated via Meta Llama-3-70B-Instruct using deterministic zero-shot prompting (temperature=0); a manual audit of 1,000 randomly sampled instances yields 94% agreement with the LLM-generated labels. We then benchmark multiple transformer-based encoders under a unified multi-label training protocol and report macro/micro F1 performance, highlighting the feasibility of transformer-based multi-label learning for modeling overlapping mental health risks at scale in social media.
Özet
Kullanıcı tarafından oluşturulan sosyal medya metinlerinden ruh sağlığı risklerinin tespiti, depresyon, anksiyete ve intihar düşüncesi gibi psikiyatrik durumların artmaya devam etmesiyle giderek daha önemli hale gelmiştir. Bununla birlikte, mevcut hesaplamalı çalışmaların çoğu, problemi tek etiketli veri kümeleri kullanarak ele almakta, örtük olarak birbirini dışlayan koşulları varsaymakta ve böylece klinik olarak yaygın olan eş morbiditeyi yetersiz modellemektedir. Modelleme varsayımlarını gerçek dünya ruh sağlığı olgularıyla daha iyi uyumlu hale getirmek için, sosyal medya tabanlı risk tanımlamasını, tek bir gönderi içinde birlikte var olan risklerin eş zamanlı olarak tahmin edilmesini sağlayan çok etiketli bir metin sınıflandırma problemi olarak formüle ediyoruz. AIMH/SWMH ve Ruh Sağlığı için Duygu Analizi veri kümesini entegre ederek ve sağlıklı içerik temsilini güçlendirmek için Sentiment140'tan nötr/pozitif örnekler ekleyerek hibrit bir veri kümesi oluşturuyoruz. Meta Llama-3-70B-Instruct kullanılarak, deterministik sıfır atışlı uyarı (sıcaklık=0) ile çok etiketli açıklamalar oluşturulmuştur; rastgele örneklenmiş 1.000 örneğin manuel denetimi, LLM tarafından oluşturulan etiketlerle %94 oranında uyum göstermiştir. Daha sonra, birleşik bir çok etiketli eğitim protokolü altında birden fazla transformatör tabanlı kodlayıcıyı karşılaştırarak makro/mikro F1 performansını raporladık ve sosyal medyada büyük ölçekte örtüşen ruh sağlığı risklerini modellemek için transformatör tabanlı çok etiketli öğrenmenin uygulanabilirliğini vurguladık.