Big data portfolio optimization & an application to the U.S. stock market

Abstract

Choosing the best empirical method for optimizing a portfolio is challenging. Especially today multiple methods are developed to incorporate the big volume of financial data available. Under the traditional optimization technique proposed by Markowitz (1952), many computational inefficiencies occur when the sample covariance matrix is large, leading to estimators that carry a lot of error. In this thesis, we provide a detailed analysis of new complementary econometric approaches appropriate for big data optimization, designed to reduce estimation error, and enhance the portfolio’s performance. We also, present some indicative portfolio diversification strategies. After the theoretical analysis, we use a complex dataset containing high-dimensional data of daily stock values of the U.S. stock market. Constructing the mean-variance and the minimum variance portfolios, we perform an empirical application using three optimization approaches - the sample moments, the naïve (1/Ν) approach and the linear shrinkage estimation proposed by Ledoit & Wolf (2003) - comparing the estimated results. Finally, we show that the linear shrinkage technique outperforms the aforementioned ones, in the presence of big data leading to better portfolio performance.Η επιλογή βέλτιστης εμπειρικής μεθόδου για τη βελτιστοποίηση ενός χαρτοφυλακίου είναι συχνά δύσκολη. Ειδικά σήμερα αναπτύσσονται πολλαπλές μέθοδοι για την ενσωμάτωση του μεγάλου όγκου των διαθέσιμων οικονομικών δεδομένων. Στο πλαίσιο της παραδοσιακής τεχνικής βελτιστοποίησης που προτάθηκε από τον Markowitz (1952), προκύπτουν πολλές υπολογιστικές ανεπάρκειες όταν η δειγματική μήτρα διακυμάνσεων είναι μεγάλη, αναπαράγοντας έτσι εκτιμητές που φέρουν πολλά σφάλματα. Σε αυτή τη διπλωματική, παρέχω μια λεπτομερή ανάλυση νέων συμπληρωματικών οικονομετρικών προσεγγίσεων κατάλληλων για τη βελτιστοποίηση με μεγάλα δεδομένα (big data), σχεδιασμένες για τη μείωση του σφάλματος εκτίμησης και την ενίσχυση της απόδοσης του χαρτοφυλακίου. Επίσης, παρουσιάζω μερικές ενδεικτικές στρατηγικές διαφοροποίησης χαρτοφυλακίου. Μετά τη θεωρητική ανάλυση, χρησιμοποιώ ένα σύνθετο σύνολο δεδομένων που περιέχει δεδομένα μεγάλων διαστάσεων των ημερήσιων χρηματιστηριακών αξιών μετοχών του χρηματιστηρίου των ΗΠΑ. Κατασκευάζοντας τα χαρτοφυλάκια μέσου- διακύμανσης (mean-variance) και ελάχιστης διακύμανσης (minimum-variance), πραγματοποιώ μια εμπειρική εφαρμογή χρησιμοποιώντας τρεις μεθόδους βελτιστοποίησης - τις δειγματοληπτικές ροπές (sample moments), την naïve (1/N) προσέγγιση και την τεχνική γραμμικής «συρρίκνωσης» (linear shrinkage) που προτάθηκε από τoυς Ledoit & Wolf (2003) - συγκρίνοντας τα εκτιμώμενα αποτελέσματα. Τέλος, προκύπτει ότι η linear shrinkage τεχνική ξεπερνά τις προαναφερθείσες με παρουσία μεγάλων δεδομένων και οδηγεί στην καλύτερη απόδοση του χαρτοφυλακίου.