Directional predictability of U.S. stock market returns using econometric and machine learning techniques

Abstract

This thesis investigates the directional predictability of U.S. stock market returns using both econometric and machine learning models. The analysis compares traditional binary response models, such as Logit and Probit, with regularized regressions (Ridge, LASSO, and Elastic Net) and tree-based ensemble methods, including Bagging, Random Forest, Gradient Boosting, and Extreme Gradient Boosting. Using monthly data and a large set of financial and macroeconomic predictors, the models are estimated in an expanding window framework that mimics real-time forecasting. Model performance is evaluated out of sample using classification metrics, with particular focus on the Area Under the Curve (AUC). The results show that forecasting the direction of monthly stock returns remains a difficult task. Machine learning methods provide some improvement in predictive accuracy compared to traditional econometric models, mainly during crisis periods such as the COVID-19 episode, when relationships between predictors and returns temporarily strengthen. However, in stable market conditions, all models exhibit limited predictive power, consistent with the efficient market hypothesis. Overall, the findings highlight the episodic nature of return predictability and the value of flexible, data-driven methods for detecting changes in market dynamics.Η παρούσα διπλωματική εργασία εξετάζει την κατευθυντήρια προβλεψιμότητα των αποδόσεων της χρηματιστηριακής αγοράς των Ηνωμένων Πολιτειών χρησιμοποιώντας τόσο οικονομετρικά μοντέλα όσο και τεχνικες μηχανικής μάθησης. Πραγματοποιείται σύγκριση παραδοσιακών μοντέλων, όπως το Logit και το Probit, με regularized παλινδρομήσεις (Ridge, LASSO και Elastic Net) και μεθόδους δέντρων, όπως το Bagging, το Random Forest, το Gradient Boosting και το Extreme Gradient Boosting. Χρησιμοποιώντας μηνιαία δεδομένα και έναν μεγάλο συνολο χρηματοοικονομικών και μακροοικονομικών δεικτών, τα μοντέλα εκτιμώνται σε ένα επεκτεινόμενο παράθυρο που προσομοιώνει πρόβλεψη σε πραγματικό χρόνο. Η απόδοση των μοντέλων αξιολογείται εκτός δείγματος με διάφορα μέτρα, δίνοντας ιδιαίτερη έμφαση στην ακρίβεια και την περιοχή κάτω από την καμπύλη (AUC). Τα αποτελέσματα δείχνουν ότι η πρόβλεψη της κατεύθυνσης των μηνιαίων αποδόσεων παραμένει μια δύσκολη διαδικασία. Οι μέθοδοι μηχανικής μάθησης παρουσιάζουν μικρή βελτίωση στην προγνωστική ακρίβεια σε σύγκριση με τα παραδοσιακά οικονομετρικά μοντέλα, κυρίως κατά τη διάρκεια περιόδων κρίσης, όπως η πανδημία COVID-19, όταν οι σχέσεις μεταξύ των προβλεπτικών μεταβλητών και των αποδόσεων ενισχύονται προσωρινά. Ωστόσο, σε σταθερές συνθήκες αγοράς, όλα τα μοντέλα παρουσιάζουν περιορισμένη προγνωστική ικανότητα, ακολουθώντας την υπόθεση της αποτελεσματικής αγοράς. Συνολικά, τα ευρήματα αναδεικνύουν τον επεισοδιακό χαρακτήρα της προβλεψιμότητας των αποδόσεων και τη σημασία των ευέλικτων, δεδομενοκεντρικών μεθόδων για την ανίχνευση αλλαγών στην αγορά.