AI Summary & Key Takeaways
AI InsightThe results showed that the PaneLIST satisfies the required criteria to a great extent.
📌 3 Key Takeaways
Abstract
Evaluation of project proposals in a proper manner and by the people who have expertise on the topics of the proposals is crucial not only for efficient deployment of resources, but also for credibility of the funding organizations. In this study, an algorithm and a decision support system (PaneLIST) are developed to provide a dynamic list of potential panelists from which the most appropriate set of panelists will be selected. PaneLIST, which is based on MS Excel VBA, has been validated by using the data of TUBITAK, primary organization responsible for research funding and conducts the comprehensive peer review activities for a long time. The results showed that the PaneLIST satisfies the required criteria to a great extent. Moreover, PaneLIST’s performance was compared with the results of the two integer programming models having the objectives of maximizing the sum of relevance scores (EBSkT) and minimizing the total deviation among the evalution levels of the proposals (EKSp) as well as a third model (EBSkT-5) which couples the two. The numerical experiments showed that PaneLIST attains high sum of relevance scores with a balanced distribution in terms of evaluation levels of proposals, thus shows regard to objectives of both EBSkT and EKSp at the same time; moreover, the results are so close (less than 1%) to the results of EBSkT-5 in which sum of relevance scores is maximized under a 5% constraint on the total deviation among the evalution levels of the proposals.
Özet
Proje önerilerinin sağlıklı bir şekilde ve proje konusunda uzmanlığa sahip kişiler tarafından değerlendirilmesi hem kaynakların etkin bir şekilde kullanılması hem de bu hizmetleri yürüten kurumların güvenilirliği açısından önem taşımaktadır. Bu çalışmada, birden fazla proje önerisinin değerlendirildiği panellerde en uygun panelist kümesinin oluşturulması için potansiyel panelist adaylarını dinamik bir şekilde listeleyen bir algoritma ve bu algoritmayı kullanan bir karar destek sistemi (PaneLIST) geliştirilmiştir. MS Excel VBA tabanlı PaneLIST, ülkemizde araştırma desteklerininin önemli bir bölümünü sağlayan ve bunu gerçekleştirirken her yıl çok sayıda panel düzenleyen TÜBİTAK’ın verileri kullanılarak oluşturulan test panellerinde sınanmış ve elde edilen sonuçların öngörülen kriterlerin tamamını önemli ölçüde sağladığı görülmüştür. Ayrıca, PaneLIST’in sunduğu çözümler, uygunluk skorları toplamını en büyükleyen (EBSkT) ve proje önerilerinin değerlendirme seviyeleri arasındaki sapmaları en küçükleyen (EKSp) tamsayılı programlama modelleri ile birlikte bu iki durumu bir arada ele alan üçüncü bir modelden (EBSkT-5) elde edilen kesin ve en iyi çözümleri ile kıyaslanmıştır. PaneLIST’in, yüksek uygunluk skorları toplamını, projeler arasında dengeli bir dağılım gözeterek gerçekleştirdiği ve bu yönüyle EBSkT ve EKSp’de yer alan iki hedefi bir arada gözettiği; %5’lik bir sapma kısıtı altında en büyük skoru bulmayı amaçlayan problem (EBSkT-5) ile hemen hemen aynı (%1’in altında yakınlık) performansı gösterdiği belirlenmiştir.