Reinforcement learning for semi-Markov decision processes with applications

Abstract

Αυτή η διατριβή επικεντρώνεται στις ημι-Μαρκοβιανές Διαδικασίες Απόφασης και τη σχέση τους με την Ενισχυτική Μάθηση μέσω της τεχνικής Q-learning. Ξεκινάμε με τη συζήτηση ορισμένων γενικών ιδεών γύρω από τη Μηχανική Μάθηση, την Ενισχυτική Μάθηση και την Ιεραρχική Ενισχυτική Μάθηση. Συνεχίζουμε με μια ανάλυση της θεωρίας των Μαρκοβιανών Διαδικασιών από τη μαθηματική άποψη. Έπειτα, γενικεύουμε την προηγούμενη θεωρία σε συνεχές χρόνο, δηλαδή σε ημι-Μαρκοβιανές Διαδικασίες Απόφασης. Τέλος, παρουσιάζεται ένας αλγόριθμος Ενισχυτικής Μάθησης βασισμένος σε προσομοίωση για την επίλυση ημι-Μαρκοβιανών Διαδικασιών Απόφασης. Ειδικότερα, ο αλγόριθμος που αναπτύχθηκε εδώ ελέγχεται σε ένα πρόβλημα προληπτικής συντήρησης που αντιμετωπίζεται σε συστήματα παραγωγής-αποθήκευσης.

This thesis focuses on semi-Markov decision processes and their connection with Reinforcement Learning via Q-learning technique. We start by discussing some general ideas around Machine Learning, Reinforcement Learning and Hierarchical Reinforcement Learning. We continue with an analysis of the theory of Markov Decision Processes from the mathematical point of view. After that, we generalize the previous theory into continuous time i.e. into the semi-Markov Decision Processes. Finally, it is presented a new simulation-based Reinforcement Learning algorithm for solving SMDPs. In particular, the algorithm developed here is tested on a preventive maintenance problem encountered in production-inventory (PI) systems.