Analysis of supermarket sales data using independent mixture and hidden Markov models

Abstract

This thesis deals with unbounded count data. The most common distribution for modeling such data is the Poisson distribution. However, in many real-world situations the sample variance is greater than the sample mean and observations are dependent like the data set which we analyze, namely weekly soap sales. First to deal with these problems, we use independent mixture models with Poisson, negative binomial and combinations of Poisson and negative binomial components which we term hybrid models. We demonstrate standard error and confidence interval estimation from hybrid models using asymptotic theory. Subsequently, we use Poisson and negative binomial hidden Markov models. These models are a popular approach for modeling sequential data and are based on Markov chain assumptions of a first or higher-order.Lastly, we compare results and demonstrate standard error estimation of hidden Markov models which are selected and corresponding confidence intervals with the bootstrap method.

Στην παρούσα διπλωματική επεξεργαζόμαστε μετρήσιμα δεδομένα. Η πιο συχνή κατανομή για την μοντελοποίηση αυτών των δεδομένων είναι η κατανομή Poisson. Όμως πολλές φορές σε πραγματικά δεδομένα η δειγματική διακύμανση είναι μεγαλύτερη από τον δειγματικό μέσο και οι παρατηρήσεις είναι εξαρτημένες όπως τα δεδομένα τα οποία θα αναλύσουμε, εβδομαδιαίες πωλήσεις σαπουνιών. Αρχικά για να αντιμετωπίσουμε αυτά τα προβλήματα, χρησιμοποιήσαμε ανεξάρτητα μικτά μοντέλα Poisson, negative binomial, και έναν συνδυασμό από μία Poisson και μία negative binomial, το οποίο λέγεται υβριδικό μοντέλο. Για τις εκτιμήσεις του υβριδικού μοντέλο υπολογίσαμε τις τυπικές αποκλίσεις και τα αντίστοιχα διαστήματα εμπιστοσύνης χρησιμοποιώντας ασυμπτωτική θεωρία. Έπειτα, συνεχίσαμε την ανάλυση χρησιμοποιώντας κρυπτομαρκοβιανά μοντέλα (hidden Markov models). Αυτά τα μοντέλα είναι γνωστά για την μοντελοποίηση σειριακών δεδομένων και βασίζονται στη Μαρκοβιανή αλυσίδα πρώτης ή μεγαλύτερης τάξης. Τέλος, συγκρίναμε τα αποτελέσμα και υπολογίσαμε τις τυπικές αποκλίσεις των εκτιμήσεων του Μαρκοβιανού μοντέλου που επιλέξαμε με την μέθοδο του bootstrap.