Investigating sewage overflow patterns in British rivers with hidden Markov models

Abstract

This thesis studies daily sewage‐overflow counts and how they fluctuate over time. We use data from Thames Water with rainfall by location and daily spill duration. After testing various models, we focus on Hidden Markov Models (HMMs). In an HMM the data originate from unobserved states with the assumption they consist a Markov chain with a transition matrix. We fit models with distinct numbers of states, allow covariates to act either on state transitions or on the mean count, and handle overdispersion with negative binomial emissions. Models are estimated in R with hmmTMB package. For consistency, we compared results to a simple Poisson–HMM estimated by closed-form MLE. Closing the analysis, we generate forecasts and simulate series from the top-performing HMMs. Selected by their in-sample fit, these models capture persistent regimes and shifts driven by rainfall and spill duration. The simulations reproduce key empirical features, offering a direct check against the observed data.H παρούσα διπλωματική εργασία εξετάζει τον ημερήσιο αριθμό υπερχειλίσεων λυμάτων και πως κυμαίνονται στο χρόνο. Χρησιμοποιούμε δεδομένα της Thames Water με βροχόπτωση ανά τοποθεσία και ημερήσια διάρκεια εκροών. Δοκιμάζουμε διαφορετικά μοντέλα, πριν εστιάσουμε στην χρήση των \textenglish{Hidden Markov Model (HMMs)}. Στο πλαίσιο αυτού του μοντέλου υποθέτουμε ότι τα δεδομένα προέρχονται από μη παρατηρήσιμες καταστάσεις που σχηματίζουν μαρκοβιανή αλυσίδα με πίνακα μεταβάσεων. Προσαρμόζουμε μοντέλα με διαφορετικό αριθμό καταστάσεων, επιτρέποντας στις ανεξάρτητες μεταβλητές είτε να επηρεάζουν τις μεταβάσεις μεταξύ καταστάσεων είτε τη μέση τιμή των μετρήσεων, και αντιμετωπίζουμε την υπερδιασπορά με αρνητική διωνυμική κατανομή. Η εκτίμηση γίνεται στην γλώσσα \textenglish{R} με το πακέτο \textenglish{hmmTMB}. Για συνέπεια, συγκρίνουμε τα αποτελέσματα με ένα απλό \textenglish{Poisson–HMM} που εκτιμήθηκε με κλειστή μορφή μέγιστης πιθανοφάνειας. Ολοκληρώνοντας την ανάλυση, παράγουμε προβλέψεις και προσομοιώνουμε χρονοσειρές από τα επιλεγμένα ως καλύτερα μοντέλα. Τα επιλεγμένα μοντέλα παρουσιάζουν σταθερά καθεστώτα και μεταβολές που προκύπτουν από τη βροχόπτωση και τη διάρκεια της, ενώ οι προσομοιώσεις αναπαράγουν βασικά χαρακτηριστικά και προσφέρουν έλεγχο της απόκρισης των μοντέλων έναντι των παρατηρούμενων τιμών.