Bilgi Kuramındaki Entropi Kavramıyla İlgili Farklı Matematiksel Modeller

Özet

Entropi, belirli bir veri kümesindeki düzensizliği ve dağınıklığı ölçen bir istatistiksel metriktir. Hesaplanan entropi değeri 0’dan başlayan pozitif bir reel değere sahiptir. Veri kümesindeki düzensizliğin artması ile doğru orantılı olarak entropi değeri de artmaktadır. İstatistik, matematik ve bilgi kuramı dâhil birçok alanda yaygın bir şekilde kullanılan entropi formülünde matematikteki toplam sembolü, logaritma ve olasılık hesaplamaları vardır. Bu çalışmada entropi formülüne farklı açılardan bakarak aynı sonucu veren yeni formüller ve çıkarımlar ile farklı matematiksel modeller türetilmiştir. UCI veri setleri üzerinde yapılan deneysel uygulamalarda da aynı entropi değerleri elde edilmiştir.

Abstract

Entropy is a metric that measures statically irregularity and randomness in a given certain dataset. The calculated entropy value has a positive real number starting from 0. The entropy value is also directly proportional to the increase of the irregularity in the dataset. In numerous fields including statistics, mathematics, and information theory it has been used widely with an aggregated formula of sigma symbol, logarithm and probability in mathematics. In this study, from different perspectives some new formulas and inferences are proposed that gives the same entropy result. The same entropi results, on the experiments, have been taken over the UCI benchmark datasets.