A Formal Methods Approach for Release Evaluation

Abstract

In this paper, a formal method-based release evaluation method was developed. During the release evaluationprocess, two versions of a server are run under similar (or the same) configurations and the system logs arecompared. This comparison can be based on graphical analysis, applying fixed rules over logs or regressionanalysis. This paper presents a novel release evaluation approach based on formal methods. The proposedmethod consists of three main steps. The first step is the collection of data from both versions of the server.The second step is the synthesis of Signal Temporal Logic (STL) formulas for each dataset. The final step isthe generation of the release evaluation result by comparing the formulas that have the same structure andthat can represent both datasets with high accuracy. Thus, the proposed approach represents the releaseevaluation rules as STL formulas and generates such formulas from system logs in an automated way. Dueto the resemblance of temporal logics to natural language, the resulting formulas explain the evaluationresult. The proposed method automates the release evaluation process. The findings of the paper are shownover sample datasets.

Özet

Bu çalışmada sürüm değerlendirme sürecini otomatikleştirmek için formel metotlar kullanılarak bir yöntemgeliştirilmiştir. Sürüm değerlendirme sürecinde, bir sunucunun yeni ve eski sürümleri benzer (veya aynı)konfigürasyonlarda çalıştırılır ve sistemlerin ürettikleri izler karşılaştırılır. Bu karşılaştırma grafikincelenmesi, izlerin sabit ölçütler ile karşılaştırılması veya regresyon analizi tabanlı olabilir. Bu makaledeise, yapılan önceki çalışmalardan farklı olarak formel metotlar tabanlı bir analiz yöntemi sunulmaktadır. Buyöntem karşılaştırılacak sistemlerden verilerin toplanması, her iki veri kümesi için bu kümeleri tanımlayacakSinyal Zamansal Mantık (STL) formüllerinin üretilmesi ve son olarak da yüksek başarım ile kümeleritanımlayabilen aynı yapıya sahip formüllerin karşılaştırılması ile sürüm değerlendirme sonucununüretilmesi adımlarından oluşmaktadır. Bu yöntem ile sürüm değerlendirmede kullanılmak üzere, ölçütlerinSTL formülü olarak ifade edilmesi ve bu ölçütlerin sistem izlerinden otomatik olarak üretilmesi sağlanmıştır.Zamansal mantıkların konuşma diline benzerlikleri sayesinde bu formüller açıklayıcıdır. Geliştirilen metotile değerlendirme süreci otomatikleştirilmektedir. Elde edilen sonuçlar örnek veri kümeleri üzerindeincelenmiştir.