Sürekli Zaman Markov Karar Süreçlerinin Özgüleştirilmesi

Özet

Özgüleştirme tekniğinin amacı, bir üstel yarı-Markov karar sürecini ÜYMKS kendine özdeş, ama farklı formülasyona sahip bir başka ÜYMKS’ye dönüştürmektir. Bu sayede, özellikle optimal politikaların yapısal özelliklerini daha kolay bir şekilde ispatlamak mümkündür. Özgüleştirme tekniğinin literatürdeki mevcut hali, beklenen toplam indirgenmiş maliyeti en küçüklemeye çalışan ÜYMKS’lere uygulanmaktadır. Bu makale, ÜYMKS’ler için önerilmiş olan özgüleştirme tekniğinin sürekli zaman Markov karar süreçlerine SZMKS nasıl uygulanabileceğini, sınırlı maliyet fonksiyonu ve üstten sınırlı geçiş hızları varsayımları altında, göstermeyi hedeflemektedir. Bu amaçla, verilen SZMKS, öncelikle bir ÜYMKS’ye dönüştürülmüştür ve daha sonra bu yeni ÜYMKS özgüleştirilmiştir.

Abstract

The customization technique can convert a given exponential semi-Markov decision process ESMDP into another equivalent ESMDP whose formulation makes the proof of a specific structural property of the optimal policy easier. The customization technique is first proposed for ESMDPs with the expected total discounted cost criterion. This paper aims to show how the customization technique for ESMDPs can be applied to continuous-time Markov decision processes CTMDPs under the assumptions of bounded cost function and bounded-above transition rates. This is achieved by converting the initial CTMDP into an ESMDP which is customized later

Anahtar kelimeler: Sürekli zaman Markov karar süreçleri, özgüleştirme, yeknesaklaştırma