Mixed models for time series forecasting: predicting movie ratings dynamics

Abstract

Αυτή η διπλωματική εργασία αποσκοπεί πρωτίστως στο να απαντήσει στο πρακτικό ερώτημα: «Είναι δυνατόν να προβλέψουμε με ακρίβεια τη μελλοντική δημόσια αξιολόγηση μιας ταινίας, εξετάζοντας μόνο το ιστορικό μοτίβο των βαθμολογιών της;». Ο σκοπός της έρευνας είναι να δείξει πώς οι μέθοδοι πρόβλεψης χρονοσειρών μπορούν να χρησιμοποιηθούν για τη διαμόρφωση και πρόβλεψη της εξέλιξης των βαθμολογιών ταινιών στο χρόνο. Η ανάλυση βασίζεται σε ένα σχολαστικά καθαρισμένο και συγκεντρωτικό σύνολο δεδομένων που αντανακλά αξιολογήσεις ταινιών του Amazon, από το οποίο για κάθε επιλεγμένη ταινία κατασκευάστηκε μία ετήσια χρονοσειρά μέσης βαθμολογίας. Αυτή η διπλωματική εργασία αποσκοπεί πρωτίστως στο να απαντήσει στο πρακτικό ερώτημα: «Είναι δυνατόν να προβλέψουμε με ακρίβεια τη μελλοντική δημόσια αξιολόγηση μιας ταινίας, εξετάζοντας μόνο το ιστορικό μοτίβο των βαθμολογιών της;». Ο σκοπός της έρευνας είναι να δείξει πώς οι μέθοδοι πρόβλεψης χρονοσειρών μπορούν να χρησιμοποιηθούν για τη διαμόρφωση και πρόβλεψη της εξέλιξης των βαθμολογιών ταινιών στο χρόνο. Η ανάλυση βασίζεται σε ένα καθαρισμένο και συγκεντρωτικό σύνολο δεδομένων που αντανακλά αξιολογήσεις ταινιών του Amazon, από το οποίο για κάθε επιλεγμένη ταινία κατασκευάστηκε μία ετήσια χρονοσειρά μέσης βαθμολογίας. Για κάθε ταινία εφαρμόστηκε η ίδια διαδικασία πρόβλεψης: Εκτιμήθηκε μία ομάδα μοντέλων ARIMA, και με βάση τον έλεγχο στασιμότητας και την καταλληλότητα προσαρμογής, επιλέχθηκε ένας περιορισμένος αριθμός έγκυρων μοντέλων. Επιπλέον, εφαρμόστηκαν τρεις στρατηγικές συνδυασμού προβλέψεων: οι Ίσοι Συντελεστές (Equal Weights), η Στάθμιση με Αντίστροφη Διακύμανση (Inverse Variance Weighting) και η Περιορισμένη Παλινδρόμηση με βέλτιστους συντελεστές (Ridge-Optimal Weights). Κάθε συνδυασμός αξιολογήθηκε με τυπικά μέτρα ακρίβειας, και για κάθε ταινία επιλέχθηκε η καλύτερη εκδοχή συνδυασμένης πρόβλεψης. Στο τελικό στάδιο, τα επιλεγμένα μοντέλα —το καθένα εκ των οποίων αποτελεί τοπικό συνδυαστικό μοντέλο για μία ταινία— συνδυάστηκαν περαιτέρω με μία παγκόσμια μέθοδο συνδυασμού προβλέψεων, ώστε να παραχθεί ένα ενιαίο, συνολικό προγνωστικό μοντέλο. Το τελικό αυτό παγκόσμιο σύνολο προβλέψεων αξιολογήθηκε με τα ίδια μέτρα απόδοσης, ώστε να διαπιστωθεί εάν η ακρίβεια βελτιώνεται όταν οι προβλέψεις των επιμέρους ταινιών συνενώνονται.

This thesis is primarily intended to answer the practical question: "Is it possible to predict a movie's future public rating accurately only by looking at the historical rating pattern?" The purpose of this research is to illustrate how time series forecasting methods can be utilized to shape and predict the development of movie ratings over time. This analysis is based on a thoroughly cleansed and aggregated dataset reflecting Amazon movie reviews from where each of the selected movies constructed a single yearly average rating time series. For every movie, the same forecasting pipeline was operational: An ARIMA model pool was evaluated in exclusive and by means of stationarity and model fit, a limited number of valid models were selected. In addition, three forecast combination strategies, namely Equal weights, Inverse variance weighting, and Constrained regression ,optimal weights, were utilized. Each combination was assessed with standard accuracy measures, and the best,performing ensemble was chosen for each movie. In the concluding stage, the chosen models , each of which is a movie,level ensemble , were, in their own right, combined using a global forecast combination method to create one, unified predictive model. This last global ensemble was evaluated with the same performance metrics as before to see if accuracy improves when different movie,level forecasts are aggregated.