Reinforcement learning: theory and applications in computational finance and natural language processing

Abstract

Σε αυτή τη διπλωματική εξετάζουμε τις θεωρητικές αρχές της ενισχυτικής μάθησης, επηρεαζόμενοι από την επιτυχία της σε πληθώρα επιστημονικών πεδίων, και πιθανές εφαρμογές στην επεξεργασία φυσικής γλώσσας και στα υπολογιστικά χρηματοοικονομικά. Το πρώτο μέρος της διπλωματικής αναλύει τα μαθηματικά θεμέλια της ενισχυτικής μάθησης, παρουσιάζοντας τους θεωρητικούς μηχανισμούς πίσω από τους σημαντικότερους αλγόριθμους, ενώ επίσης εξετάζει τη γενίκευση των μεθόδων σε πολυπρακτορικά συστήματα.Το δεύτερο μέρος διερευνά πιθανές εφαρμογές. Επηρεαζόμενοι από την πρόσφατη χρήση της ενισχυτικής μάθησης για βελτιστοποίηση επενδυτικών στρατηγικών, διαχείριση κινδύνου και κατασκευή χαρτοφυλακίων, παρουσιάζουμε μία διαδικασία αντιστάθμισης επενδυτικού κινδύνου βασισμένη σε μεθόδους ενισχυτικής μάθησης. Στην επεξεργασία φυσικής γλώσσας εξετάζουμε την προσαρμογή γλωσσικών μοντέλων με ενισχυτική μάθηση, με σκοπό την τεχνητή παραγωγή κειμένου.Ο συνδυασμός της θεωρίας της ενισχυτικής μάθησης και εφαρμογών στην επεξεργασία φυσικής γλώσσας και στα υπολογιστικά χρηματοοικονομικά παρέχει μία ολιστική παρουσίαση του πεδίου και της αποδοτικότητάς του για πρακτικά και σύνθετα προβλήματα αποφάσεων σε μία πληθώρα πεδίων.

In this thesis we examine the theoretical principles of reinforcement learning, inspired by its wild success in many scientific fields and explore potential applications in natural language processing and computational finance. The first part of the thesis delves into the mathematical foundations of reinforcement learning, providing a comprehensive understanding of the underlying mechanisms that drive reinforcement learning algorithms, while also exploring the generalization of single-agent methods to the multi-agent setting.The second part of the thesis examines potential applications. Inspired by the recent use of reinforcement learning methods for trading strategy optimization, risk management, and portfolio allocation, we present a reinforcement learning-based hedging process for trading risk management. In the contextof natural language processing, we explore a reinforcement learning-based language model fine-tuning technique used for text generation tasks.The combination of reinforcement learning theory and practical applications in computational finance and natural language processing provides a holistic perspective on the field and its effectiveness for real-world, complex decisionmaking scenarios across diverse domains.