Entropy in Artificial Intelligence Methods

Abstract

The importance of measurement and quality of information, as well as attributing a meaning to information, is understood better by considering many aspects such as the historical change in the capacity of information and the development of systems to manage and guide such information. Information Theory, put forward by Claude E. Shannon, has revolutionized the controlled management of knowledge. The concept of entropy, which is used for the uncertainty of information by many methods, has been developed on the basis of features introduced by Shannon. In this context, entropy, which is a measure of irregularity in the measurement of information, is important in many areas. In recent years, rapidly growing Artificial Intelligence field is one of such areas. Artificial Intelligence has become processable on larger data, especially with the development of Big Data and Deep Learning areas. In this study, the use of entropy concept in some of the methods in Artificial Intelligence field is investigated. As a result, it is observed that although there is uniformity in terms of basic logic and concept, there are differences in methodological application. One of the main objectives of the study is to gain an insight to develop novel methods in the context of entropy and artificial intelligence.

Özet

Bilginin tarihsel süreçteki kapasitesinin değişimi, bu bilgileri yönetmek ve yönlendirmek için oluşturulan sistemlerin gelişimi gibi birçok nokta dikkate alındığında, bilginin hem ölçümünün hem kalitesinin hem de anlamlandırılmasının önemi daha iyi anlaşılmaktadır. Claude E. Shannon tarafından ortaya atılan Bilgi Kuramı da bu noktada bilginin kontrollü yönetimi için çığır açmıştır. Devamında gelişen birçok yöntem tarafından bilginin belirsizliği için kullanılan entropi kavramı ise Shannon tarafından ortaya atılan özellikler temel alınarak geliştirilmiştir. Bu bağlamda bilginin ölçümünde düzensizliğin ölçütü olan entropi birçok alanda önem arz etmektedir. Son yıllarda hızla büyüyen Yapay Zekâ alanı ise bunlardan biridir. Yapay Zekâ özellikle Büyük Veri ve Derin Öğrenme alanlarının gelişimi ile daha büyük veriler üzerinde işlem yapılabilir bir alan haline gelmiştir. Bu çalışmamızda Yapay Zekâ alanındaki yöntemlerden bazılarında kullanılan entropi kavramı üzerine bir inceleme çalışması yapılmıştır. Sonuç olarak temel mantık ve kavram açısından aynı olmakla birlikte yöntemsel uygulamada farklılıklar gözlemlenmiştir. Çalışmanın ana hedeflerinden biri de incelenen entropi ve yapay zekâ yöntemleri bağlamında yeni yöntemlerin geliştirilmesine ön ayak olmak için bir bakış açısı kazandırmaktır.