Load balancing of Apache Kafka distributed streaming system using reinforcement learning techniques

Abstract

This thesis examines the extent to which a reinforcement learning algorithm could positively a ect the Apache Kafka system, in terms of load balance. Kafkais a stream-processing distributed system that manages a large load of data. During its operation, events may occur that will adversely a ect its performance,such as the shutdown of a machine. But even during a seemingly smooth operation, increased demands can be made on some of its processes, without this being possible to anticipate in advance. Using a reinforcement learning algorithmand speci cally a deep Q-learning algorithm, the possibility of dealing with suchevents is examined, with the prospect that the algorithm will eventually functionas a system administrator, who will select optimal management modes, based onthe current circumstances. Always aiming to maintain the load balance of thesystem, so that it operates at high e ciencies. Contemporary interest is foundin the area of the placement problems and the extent to which reinforcementlearning can lead to optimal solutions.

Σε αυτή την διπλωµατιϰή εξετάζεται το ϰατά πόσο ένας reinforcement learning αλγόριϑµος µπορεί να επηρεάσει ϑετιϰά το σύστηµα Apache Kafka, όσον αφορά την διαχείριση του φορτίου, δηλαδή να διατηρείται σε µια ϰαλή load balance συνϑήϰη.Το Apache Kafka είναι ένα stream-processing distributed σύστηµα, που σε πραγµατιϰέςσυνϑήϰες διαχειρίζεται ένα µεγάλο φορτίο δεδοµένων. Κατά την διάρϰεια λειτουργίας του µπορεί να συµβούν συµβάντα που να επηρεάσουνσηµαντιϰά ϰαι µε αρνητιϰό τρόπο την επίδοση του. Για παράδειγµα ϰάποιο µηχάνηµαµπορεί να αρχίσει να υπολειτουργεί ή ϰαι να παύση ολοϰληρωτιϰά την λειτουργία του.Αλλά αϰόµα ϰαι σε περιπτώσεις που η λειτουργία του συστήµατος είναι φαινοµενιϰάοµαλή, εσωτεριϰά µπορεί να διαταράσσεται από έντονες διαϰυµάνσεις στις απαιτήσειςϰάποιων εϰ των διεργασιών, που το σύστηµα διαχειρίζεται.Χρησιµοποιώντας έναν reinforcement learning αλγόριϑµο ϰαι συγϰεϰριµένα έναν deep Q-learning αλγόριϑµο, εξετάζεται η πιϑανότητα αντιµετώπισης τέτοιων συµβάντων, µετην προοπτιϰή, ο αλγόριϑµος να λειτουργήσει τελιϰά ως διαχειριστής του συστήµατος,ο οποίος ϑα επιλέγει βέλτιστους τρόπους διαχείρησης, βάση των εϰάστοτε συνϑηϰών.Πάντα στοχεύοντας στη διατήρηση της ισορροπίας του φορτίου στο σύστηµα,έτσι ώστενα λειτουργεί µε ασφάλεια ϰαι µε υψηλές αποδόσεις.Το σύγχρονο ενδιαφέρον βρίσϰεται σε όλους τους τοµείς των placement προβληµάτωνϰαι στον βαϑµό στον οποίο οι τεχνιϰές του reinforcement learning µπορούν να οδηγήσουν σε βέλτιστες λύσεις.