Data-driven portfolio optimization: exploring traditional and machine learning models under real market conditions

Abstract

Η παρούσα διπλωματική εργασία εξετάζει τη βελτιστοποίηση χαρτοφυλακίου με βάση τα δεδομένα, συγκρίνοντας παραδοσιακά χρηματοοικονομικά υποδείγματα με σύγχρονες τεχνικές μηχανικής μάθησης υπό πραγματικές συνθήκες αγοράς. Το θεωρητικό υπόβαθρο βασίζεται στη Θεωρία Σύγχρονου Χαρτοφυλακίου (Markowitz) και στο μοντέλο Black–Litterman, τα οποία, παρά τη θεωρητική τους αρτιότητα, εμφανίζουν ευαισθησία σε σφάλματα εκτίμησης και αστάθεια σε περιόδους έντονης αβεβαιότητας. Η μελέτη διερευνά κατά πόσο η ενσωμάτωση δεδομενοκεντρικών μεθόδων μπορεί να βελτιώσει τη σχέση κινδύνου–απόδοσης και τη διαχρονική σταθερότητα των χαρτοφυλακίων. Συγκεκριμένα, εφαρμόζονται εποπτευόμενες τεχνικές (Ridge, LASSO, Random Forest) και μη εποπτευόμενες μέθοδοι (clustering), με στόχο τη μείωση της υπερπροσαρμογής, την ενίσχυση της διαφοροποίησης και την αποτύπωση μη γραμμικών σχέσεων στα δεδομένα. Τα χαρτοφυλάκια κατασκευάζονται χρησιμοποιώντας ιστορικά δεδομένα από το Yahoo Finance, που περιλαμβάνουν μετοχές, ομόλογα και εναλλακτικά περιουσιακά στοιχεία. Η αξιολόγηση πραγματοποιείται μέσω αυστηρού πλαισίου backtesting με διάκριση εντός και εκτός δείγματος, χρησιμοποιώντας δείκτες όπως ο λόγος Sharpe, η μεταβλητότητα, η μέγιστη πτώση και η εναλλαγή χαρτοφυλακίου. Τα εμπειρικά αποτελέσματα δείχνουν ότι οι μέθοδοι μηχανικής μάθησης παρουσιάζουν αυξημένη ανθεκτικότητα σε περιόδους χρηματοοικονομικής αναταραχής, ενώ οι κανονικοποιημένες προσεγγίσεις βελτιώνουν τη σταθερότητα των προβλέψεων. Παράλληλα, τα παραδοσιακά υποδείγματα διατηρούν την αξία τους ως ερμηνεύσιμα σημεία αναφοράς. Συνολικά, η έρευνα καταδεικνύει ότι ο συνδυασμός θεωρητικών θεμελίων και δεδομενοκεντρικής ευελιξίας οδηγεί σε πιο προσαρμοστικές και ανθεκτικές επενδυτικές στρατηγικές.This thesis investigates data-driven portfolio optimization by comparing traditional financial models with modern machine learning techniques under real market conditions. The theoretical foundation relies on Modern Portfolio Theory (Markowitz) and the Black–Litterman framework, which, despite their analytical rigor, are known to be sensitive to estimation error and unstable during periods of market stress. The study examines whether integrating data-oriented approaches can improve the risk–return trade-off and enhance portfolio stability over time. Specifically, supervised learning techniques (Ridge, LASSO, Random Forest) and unsupervised methods (clustering) are implemented to mitigate overfitting, enhance diversification, and capture nonlinear patterns in asset returns. Portfolios are constructed using historical financial data retrieved from Yahoo Finance, covering equities, bonds, and alternative assets. Performance is evaluated through a rigorous backtesting framework distinguishing between in-sample and out-of-sample results. Key performance metrics include the Sharpe ratio, volatility, maximum drawdown, and portfolio turnover. Empirical findings suggest that machine learning-based approaches demonstrate greater resilience during turbulent market conditions, while regularization techniques improve predictive stability. At the same time, traditional models remain valuable as transparent and interpretable benchmarks. Overall, the results indicate that combining solid theoretical foundations with data-driven flexibility leads to more adaptive and robust portfolio strategies in real-world environments.