Assessment of a hidden Markov model for detecting abrupt shifts in time series of telecommunication data

Abstract

In recent years, internet and telecommunications made it possible for people around the world to connect, work and study from anywhere, at any time. However, to keep providing these benefits in a quality level, companies need to control the volume of signal power necessary in each day. This thesis proposes two models, first an abrupt shift capture model to detect aggressive movements based on a balanced – bagging multinomial logistic regression model, trained on labels produced by a hidden Markov model. In the second half, a time series regression model which forecasts the value of the next day using the n-beats model. The advantage of these models is quickly capturing relationships even in small datasets from patterns existing between time-lags. The experimental results show that the first model outperforms other baselines that were tested in terms of adjusted F1 scores and the same is true for the second model, in terms of regression scores and accuracy. Thus, they can potentially serve as classifiers / regressors in an automated tool which informs the company.Τα τελευταία χρόνια, το διαδίκτυο και οι τηλεπικοινωνίες καθιστούν εφικτή την σύνδεση των ανθρώπων ώστε να μπορούν να δουλέψουν και να μελετήσουν από οπουδήποτε, ανά πάσα στιγμή. Όμως για να συνεχίσουν να παρέχονται αυτές οι υπηρεσίες σε ένα ποιοτικό επίπεδο, οι εταιρείες χρειάζεται να εκπέμπουν το σήμα που απαιτείτε κάθε μέρα. Η παρούσα πτυχιακή εργασία προτείνει δύο μοντέλα, πρώτα ένα μοντέλο ανίχνευσης απότομων αλλαγών που προβλέπει απρόοπτες κινήσεις και βασίζεται σε ένα μοντέλο ισορροπημένης πολυωνυμικής παλινδρόμησης με bagging, του οποίο η εκμάθηση γίνεται σε ετικέτες παραγόμενες από ένα κρυφό μοντέλο Μαρκόφ. Στο δεύτερο κομμάτι, ένα μοντέλο παλινδρόμησης χρονοσειρών προβλέπει την τιμή της επόμενης μέρας χρησιμοποιώντας το μοντέλο n-beats. Το πλεονέκτημα αυτών των μοντέλων είναι ότι καταλαβαίνουν γρήγορα τις σχέσεις και τα μοτίβα που υπάρχουν μεταξύ των χρονικών υστερήσεων, ακόμα και σε μικρά δείγματα. Τα πειραματικά αποτελέσματα δείχνουν ότι το πρώτο μοντέλο υπερέχει έναντι άλλων βάσεων αναφοράς που συγκρίθηκαν πάνω σε μια παραλλαγή του F1 σκορ, και το ίδιο ισχύει και για το δεύτερο μοντέλο, όσο αναφορά μετρικές παλινδρόμησης και ακρίβειας. Επομένως, δυνητικά μπορούν να εξυπηρετήσουν σαν ταξινομητές ή μοντέλα σημειακής εκτίμησης, σε ένα αυτόματο εργαλείο που ενημερώνει την εταιρεία.