KaydedilenlerDerginizi ekleyin

Dergiler / Bilişim Teknolojileri Dergisi / 2026 / Cilt: 19 Sayı: 3

LLM Tarafından Oluşturulan Biyomedikal Metin Özetlerinin Konu Modelleme ve Semantik Benzerlik Tabanlı Değerlendirilmesi

Topic Modeling and Semantic Similarity-Based Evaluation of Biomedical Text Abstracts Generated by LLM

Burcu Baştürk(İZMİR KATİP ÇELEBİ ÜNİVERSİTESİ)0009-0005-4781-353X
Aytuğ Onan(İZMİR YÜKSEK TEKNOLOJİ ENSTİTÜSÜ, REKTÖRLÜK)0000-0002-9434-5880
Sayfa
287–298
Yayın Tarihi
2026-07-31
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Bu bulgular, LLM tabanlı biyomedikal özetlemenin daha kapsamlı bir değerlendirmesi için tutarlılık ve anlamsal benzerliğin birleştirilmesinin önemini vurgulamaktadır.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Bu çalışma, büyük dil modellerinin (LLM'ler) -ChatGPT, Gemini ve DeepSeek- biyomedikal metin özetlemesinde tematik tutarlılığı nasıl koruduğunu araştırmaktadır. 8.000 orijinal PubMed özeti ve 48.000 LLM tarafından oluşturulan özeti içeren 56.000 kardiyovasküler metinden oluşan bir veri seti oluşturulmuştur.
📊
Temel Bulgular & Veri:Alana özgü ön işleme sonrasında, konu boyutları (k = 10–50) boyunca Latent Dirichlet Allocation (LDA), Latent Semantic Analysis (LSA) ve Non-negative Matrix Factorization (NMF) kullanılarak konu modellemesi gerçekleştirilmiştir.
💡
Sonuç & Katkı:Bu bulgular, LLM tabanlı biyomedikal özetlemenin daha kapsamlı bir değerlendirmesi için tutarlılık ve anlamsal benzerliğin birleştirilmesinin önemini vurgulamaktadır.
🔬Tür:Modelleme & Sayısal Simülasyon
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:büyük dil modelleri (LLM'ler) · biyomedikal metin özetleme · konu modelleme

Özet

Bu çalışma, büyük dil modellerinin (LLM'ler) -ChatGPT, Gemini ve DeepSeek- biyomedikal metin özetlemesinde tematik tutarlılığı nasıl koruduğunu araştırmaktadır. 8.000 orijinal PubMed özeti ve 48.000 LLM tarafından oluşturulan özeti içeren 56.000 kardiyovasküler metinden oluşan bir veri seti oluşturulmuştur. Alana özgü ön işleme sonrasında, konu boyutları (k = 10–50) boyunca Latent Dirichlet Allocation (LDA), Latent Semantic Analysis (LSA) ve Non-negative Matrix Factorization (NMF) kullanılarak konu modellemesi gerçekleştirilmiştir. Tematik tutarlılık, C_v tutarlılık puanları kullanılarak değerlendirilmiştir. Ek olarak, sözcüksel örtüşmenin ötesinde anlam korumasını yakalamak için orijinal ve oluşturulan metinler arasındaki semantik benzerlik, SBERT tabanlı kosinüs benzerliği kullanılarak değerlendirilmiştir. Sonuçlar, özellikle Gemini ve ChatGPT tarafından oluşturulan soyut özetlerin, LDA ve LSA altında orijinal özetlere kıyasla benzer veya daha yüksek tutarlılık seviyelerine ulaştığını, çıkarımsal özetlerin ise daha fazla değişkenlik gösterdiğini ortaya koymaktadır. NMF için, orijinal özetler daha istikrarlı eğilimler gösterirken, ChatGPT'nin çıkarımsal özetleri daha yüksek konu boyutlarında rekabetçi kalmaktadır. Genel olarak, LDA'da tutarlılık artan konu sayılarıyla azalma eğilimindeyken, LSA ve NMF daha büyük konu boyutlarından fayda sağlamaktadır. Bu bulgular, LLM tabanlı biyomedikal özetlemenin daha kapsamlı bir değerlendirmesi için tutarlılık ve anlamsal benzerliğin birleştirilmesinin önemini vurgulamaktadır.

Abstract

This study investigates how large language models (LLMs)—ChatGPT, Gemini, and DeepSeek—preserve thematic consistency in biomedical text summarization. A dataset of 56,000 cardiovascular texts was constructed, including 8,000 original PubMed abstracts and 48,000 LLM-generated summaries. After domain-specific preprocessing, topic modeling was performed using Latent Dirichlet Allocation (LDA), Latent Semantic Analysis (LSA), and Non-negative Matrix Factorization (NMF) across topic sizes (k = 10–50). Thematic consistency was evaluated using C_v coherence scores. In addition, semantic similarity between original and generated texts was assessed using SBERT-based cosine similarity to capture meaning preservation beyond lexical overlap. The results indicate that abstractive summaries, particularly those generated by Gemini and ChatGPT, achieve coherence levels comparable to or higher than original abstracts under LDA and LSA, while extractive summaries exhibit greater variability. For NMF, original abstracts show more stable trends, whereas ChatGPT’s extractive summaries remain competitive at higher topic sizes. Overall, coherence tends to decrease with increasing topic numbers in LDA, whereas LSA and NMF benefit from larger topic sizes. These findings highlight the importance of combining coherence and semantic similarity for a more comprehensive evaluation of LLM-based biomedical summarization.

🔖

Bu Makaleye Atıf Yap

Baştürk, B., Onan, A. (2026). LLM Tarafından Oluşturulan Biyomedikal Metin Özetlerinin Konu Modelleme ve Semantik Benzerlik Tabanlı Değerlendirilmesi. Bilişim Teknolojileri Dergisi, Cilt: 19 Sayı: 3, 287–298. https://doi.org/10.17671/gazibtd.1846644

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (35)

  1. L. Hunter and K. B. Cohen, “Biomedical language processing: what's beyond PubMed?”, Molecular Cell, 21(5), 589–594, 2006.
  2. Z. Lu, “PubMed and beyond: a survey of web tools for searching biomedical literature”, Database, 2011, baq036.
  3. D. Demner-Fushman, W. W. Chapman and C. J. McDonald, “What can natural language processing do for clinical decision support?”, Journal of Biomedical Informatics, 42(5), 760–772, 2009.
  4. J. Achiam, S. Adler, S. Agarwal, L. Ahmad, I. Akkaya, F. L. Aleman et al., “GPT-4 Technical Report”, arXiv preprint, arXiv:2303.08774, 2023.
  5. G. Team, R. Anil, S. Borgeaud, J. B. Alayrac, J. Yu, R. Soricut et al., “Gemini: A family of highly capable multimodal models”, arXiv preprint, arXiv:2312.11805, 2023.
  6. A. Liu, B. Feng, B. Xue, B. Wang, B. Wu, C. Lu et al., DeepSeek-V3 Technical Report, arXiv, 2024.
  7. I. Jahan, M. T. R. Laskar, C. Peng, J. Huang et al., “Evaluation of ChatGPT on biomedical tasks: A zero-shot comparison with fine-tuned generative transformers”, arXiv preprint, arXiv:2306.04504, 2023.
  8. H. Nori, N. King, S. M. McKinney, D. Carignan, E. Horvitz, “Capabilities of GPT-4 on medical challenge problems”, arXiv preprint, arXiv:2303.13375, 2023.
  9. K. Singhal, S. Azizi, T. Tu, S. S. Mahdavi, J. Wei, H. W. Chung et al., “Large language models encode clinical knowledge”, Nature, 620(7972), 172–180, 2023.
  10. R. Nallapati, B. Zhou, C. Gulcehre, et al., “Abstractive text summarization using sequence-to-sequence RNNs and beyond”, Proceedings of ACL, 2016.
  11. R. Mishra, J. Bian, M. Fiszman, C. R. Weir, S. Jonnalagadda, J. Mostafa et al., “Text summarization in the biomedical domain: A systematic review of recent research”, Journal of Biomedical Informatics, 52, 457–467, 2014.
  12. J. Maynez, S. Narayan, B. Bohnet, R. McDonald, “On faithfulness and factuality in abstractive summarization”, arXiv preprint, arXiv:2005.00661, 2020.
  13. S. Syed, M. Spruit, “Full-text or abstract? Examining topic coherence scores using Latent Dirichlet Allocation”, 2017 IEEE International Conference on Data Science and Advanced Analytics (DSAA), Tokyo, Japan, 165–174, October 2017.
  14. M. Wang, M. Wang, F. Yu, Y. Yang, J. Walker, and J. Mostafa, “A systematic review of automatic text summarization for biomedical literature and EHRs,” J. Am. Med. Inform. Assoc., vol. 28, no. 10, pp. 2287–2297, 2021.
  15. A. Chavs, C. Kesiku, and B. Garcia-Zapirain, “Automatic text summarization of biomedical text data: a systematic review,” Information, vol. 13, no. 8, p. 393, 2022.
  16. Z. Huan, X. Chen, Y. Wang, J. Huang, and X. Zhao, “A survey on biomedical auomatic text summarization with large language models,” Inf. Process. anag., vol. 62, no. 5, p. 104216, 2025.
  17. D. Van Veen, C. Van Uden, L. Blankemeier, J. B. Delbrouck, A. Aali, C. Bluethgen, et al., “Clinical text summarization: adapting large language models can outperform human experts,” Research Square, rs-3, 2023.
  18. E. Croxford, Y. Gao, E. First, N. Pellegrino, M. Schnier, J. Caskey, et al., “Evaluating clinical AI summaries with large language models as judges,” npj Digital Medicine, vol. 8, no. 1, p. 640, 2025.
  19. L. Bednarczyk, D. Reichenpfader, C. Gaudet-Blavignac, A. K. Ette, J. Zaghir, Y. Zheng, et al., “Scientific evidence for clinical text summarization using large language models: scoping review,”., vol. 27, Journal of Medical Internet Research, p. e68998, 2025.
  20. A. Naemi and A. Sahafi, “Benchmarking large language models for MIMIC-IV clinical note summarization,” J. Healthc. Inform. Res., pp. 1–21, 2025.
  21. D. Maier, A. Waldherr, P. Miltner, G. Wiedemann, A. Niekler, A. Keinert, … S. Adam, “Applying LDA Topic Modeling in Communication Research: Toward a Valid and Reliable Methodology,” in Computational Methods for Communication Science, (Eds.: D. Nguyen, C. Trilling), Routledge, New York, A.B.D., 2021, pp. 13–38.
  22. S. Deerwester, S. T. Dumais, G. W. Furnas, T. K. Landauer, and R. Harshman, “Indexing by Latent Semantic Analysis,” Journal of the American Society for Information Science, vol. 41, no. 6, pp. 391–407, 1990.
  23. Y. Chen, H. Zhang, R. Liu, Z. Ye, J. Lin, “Experimental explorations on short text topic mining between LDA and NMF based schemes”, Knowledge-Based Systems, 163, 1–13, 2019.
  24. M. Röder, A. Both, A. Hinneburg, “Exploring the Space of Topic Coherence Measures”, 8th ACM International Conference on Web Search and Data Mining (WSDM), Shanghai, China, 399–408, 2–6 February, 2015.
  25. U.S. National Library of Medicine. “PubMed Overview”. https://pubmed.ncbi.nlm.nih.gov/about/ (01.12.2025).
  26. OpenAI.“GPT-4 Technical Report”.https://openai.com/research/gpt-4 (01.12.2025).
  27. M. E. de Carvalho Souza, L. Weigang, “Grok, Gemini, ChatGPT and DeepSeek: Comparison and Applications in Conversational Artificial Intelligence”, Inteligencia Artificial, 2(1), 2025.
  28. D. Jurafsky, J. H. Martin, Speech and Language Processing, 3rd ed., Draft Version, Stanford University, Stanford, CA, U.S.A., 2021.
  29. D. M. Blei, A. Y. Ng, M. I. Jordan, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, 3(1), 993–1022, 2003.
  30. S. Deerwester, S. T. Dumais, G. W. Furnas, T. K. Landauer, R. Harshman, “Indexing by Latent Semantic Analysis”, Journal of the American Society for Information Science, 41(6), 391–407, 1990.
  31. D. D. Lee, H. S. Seung, “Algorithms for Non-negative Matrix Factorization”, Advances in Neural Information Processing Systems (NIPS), vol. 13, pp. 556–562, 2001.
  32. Y. X. Wang, Y. J. Zhang, “Nonnegative matrix factorization: A comprehensive review”, IEEE Trans. Knowl. Data Eng., 25(6), 1336–1353, 2012.
  33. N. Reimers, I. Gurevych, “Sentence-BERT: Sentence embeddings using siamese BERT-networks”, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, 3982–3992, November, 2019.
  34. N. Reimers, I. Gurevych, “Making monolingual sentence embeddings multilingual using knowledge distillation”, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), Online, 4512–4525, November, 2020.
  35. L. Bednarczyk, D. Reichenpfader, C. Gaudet-Blavignac, A. K. Ette, J. Zaghir, Y. Zheng, et al., “Scientific evidence for clinical text summarization using large language models: scoping review,”., vol. 27, Journal of Medical Internet Research, p. e68998, 2025.