Comparative study on analyzing univariate count time series data

Abstract

This thesis investigates statistical forecasting models for daily counts of incoming customer conversations, collected from a UK-based fintech company. The data exhibit strong overdispersion and positive autocorrelation, with evident weekly, biweekly, and roughly monthly seasonal patterns. The initial exploratory analysis indicated that the Poisson distribution could not account for the overdispersion present in the data, whereas the Negative Binomial distribution provided a better fit. Diagnostic checks using generalized linear models (GLMs) and generalized additive models (GAMs) revealed nonlinear effects of temporal lags, suggesting that models restricted to linear autoregression—such as integer-valued autoregressive (INAR) processes—were inadequate. In practice, only the INAR(1) model achieved a satisfactory fit, as the first lag exhibited an almost linear relationship, while higher-order lags could not be appropriately incorporated. To overcome these limitations, the thesis adopts a Negative Binomial state-space model (SSM). The fitted model confirmed the importance of lags 1, 7, 16, and 21, consistent with the autocorrelation structure identified in the time-series analysis. The study concludes that Negative Binomial state-space models provide a flexible framework for discrete-valued time series exhibiting overdispersion, outperforming traditional Poisson and INAR approaches in this context. Future research could extend the model by introducing dynamic latent states such as stochastic trends or seasonal components, explore Hidden Markov structures to allow switching between states, or compare its predictive performance with machine-learning methods such as random forests and neural networks. Overall, these approaches appear promising for improving operational forecasts of incoming communication volumes within customer-service operations in fintech firms and related service industries.Η παρούσα διπλωματική διερευνά στατιστικά μοντέλα πρόβλεψης των ημερήσιων μετρήσεων εισερχόμενων συνομιλιών πελατών, αντλημένων από μια εταιρεία fintech με έδρα το Ηνωμένο Βασίλειο. Τα δεδομένα παρουσιάζουν έντονη υπερδιασπορά και θετική αυτοσυσχέτιση με σαφή εβδομαδιαία, δεκαπενθήμερα και τριαντακονθήμερα εποχικά μοτίβα. Η αρχική διερευνητική ανάλυση έδειξε ότι η Poisson κατανομή αδυνατούσε να ερμηνεύσει την υπαρδιασπορά που χαρακτήριζε τα δεδομένα ενώ η Negative Binomial κατανομή παρουσίασε καλύτερη προσαρμογή. Διαγνωστικοί έλεγχοι με χρήση γενικευμένων γραμμικών μοντέλων (GLM), και γενικευμένων προσθετικών μοντέλων (GAM) ανέδειξαν μη γραμμικές επιδράσεις χρονικών υστερήσεων, γεγονός που υποδήλωσε ότι μοντέλα περιορισμένα στη γραμμική αυτοπαλινδρόμηση, όπως οι ακέραιες αυτοπαλίνδρομες διαδικασίες (INAR), ήταν ανεπαρκή. Στην πράξη, μόνο το INAR(1) παρουσίασε ικανοποιητική προσαρμογή, καθώς η πρώτη υστέρηση εμφάνιζε σχεδόν γραμμική σχέση, ενώ οι υστερήσεις ανώτερης τάξης δεν μπορούσαν να ενσωματωθούν. Για να ξεπεραστούν αυτοί οι περιορισμοί, η διπλωματική υιοθέτησε ένα Negative Binomial μοντέλο χώρου καταστάσεων (SSM). Το προσαρμοσμένο μοντέλο επιβεβαίωσε τη σημασία των υστερήσεων 1, 7, 16 και 21, σε συμφωνία με τη δομή αυτοσυσχέτισης που είχε αναγνωριστεί στη ανάλυση της χρονοσειράς. Η μελέτη καταλήγει στο ότι τα Negative Binomial μοντέλα χώρου καταστάσεων αποτελούν ένα ευέλικτο πλαίσιο για χρονοσειρές μετρήσεων διακριτών μεταλητών που παρουσιάζουν overdisperssion, υπερτερώντας των παραδοσιακών προσεγγίσεων Poisson και INAR στο συγκεκριμένο πλαίσιο. Μελλοντική έρευνα θα μπορούσε να επεκτείνει το μοντέλο με την εισαγωγή δυναμικών καταστάσεων όπως στοχαστικές τάσεις ή εποχικότητες, να διερευνήσει δομές Hidden Markov μοντέλων για εναλλαγή των states (καταστάσεων), ή να συγκριθεί με μεθόδους μηχανικής μάθησης όπως τα random forrest και τα νευρωνικά δίκτυα για προβλεπτική απόδοση. Συνολικά, οι προσεγγίσεις αυτές δείχνουν να υπόσχονται βελτίωση στην επιχειρησιακή πρόβλεψη των όγκων εισερχόμενων επικοινωνιών στην λειτουργία εξυπηρέτησης πελατών σε εταιρείες fintech και συναφείς κλάδους παροχής υπηρεσιών.