Topics of conformal prediction in time series

Abstract

Conformal Prediction is an uncertainty quantification framework for Statistical and Machine Learning problems. In particular, Conformal Prediction (CP) offers a distribution-free approach, which typically requires data exchangeability. Under this assumption, the joint probability of observations is not affected by changing their sequence. However, the reliance on exchangeability limits its direct application to Time Series data. This thesis reviews three recent adaptations of CP designed for non-exchangeable data, namely Ensemble Batch Prediction Intervals (EnbPI), Aggregate Conformal Inference (AgACI), and Weighted Conformal Prediction. After presenting these methodologies in detail, we evaluate their performance through simulation studies. In the first study, we apply them to non-linear data with varying degrees of correlation, while in the second study, we examine their behavior under distribution drift. Our findings suggest that EnbPI is the best option for weakly correlated data, since it can provide valid and informative prediction intervals, while simultaneously being easy to implement. For strongly correlated data on the other hand, AgACI is the preferred choice, due to its validity and low variance of its coverage distribution. Finally, in the distribution drift case, Weighted CP stands out from the rest, because its implementation is straight-forward and its results, coverage and efficiency wise, are less affected by the distribution drifts.Η Σύμμορφη Πρόβλεψη είναι ένα πλαίσιο ποσοτικοποίησης της αβεβαιότητας για στατιστικά προβλήματα και προβλήματα Μηχανικής Μάθησης. Πιο συγκεκριμένα, η Σύμμορφη Πρόβλεψη (ΣΠ) αποτελεί μια μη παραμετρική προσέγγιση, που δεν απαιτεί καμία υπόθεση για την κατανομή των δεδομένων, αλλά μόνο την υπόθεση της ανταλλαξιμότητας. Σύμφωνα με την υπόθεση της ανταλλαξιμότητας η από κοινού κατανομή πιθανότητας των δεδομένων δεν επηρεάζεται αν αλλάξουμε τη σειρά τους. Ωστόσο, η υπόθεση της ανταλλαξιμότητας περιορίζει την άμεση εφαρμογή της ΣΠ σε δεδομένα Χρονοσειρών. Αυτή η διατριβή εξετάζει τρεις πρόσφατες προσαρμογές της ΣΠ, που έχουν σχεδιαστεί για μη ανταλλάξιμα δεδομένα, και συγκεκριμένα τις μεθοδολογίες Ensemble Batch Prediction Intervals (EnbPI), Aggregate Conformal Inference (AgACI) και της Weighted Conformal Prediction. Αφού παρουσιάσουμε λεπτομερώς αυτές τις μεθοδολογίες, αξιολογούμε την απόδοσή τους μέσω μελετών προσομοίωσης. Στην πρώτη μελέτη, τις εφαρμόζουμε σε μη γραμμικά δεδομένα με ποικίλους βαθμούς συσχέτισης, ενώ στη δεύτερη μελέτη, εξετάζουμε τη συμπεριφορά τους υπό μετατόπιση κατανομής. Τα ευρήματά μας υποδηλώνουν ότι η EnbPI είναι η καλύτερη επιλογή για δεδομένα με ασθενή συσχέτιση, καθώς μπορεί να παρέχει έγκυρα και ακριβή διαστήματα πρόβλεψης, ενώ ταυτόχρονα είναι εύκολη στην εφαρμογή. Για δεδομένα με ισχυρή συσχέτιση, η AgACI είναι η προτιμώμενη επιλογή, λόγω της εγκυρότητάς της και της χαμηλής διακύμανσης της κατανομής κάλυψης. Τέλος, στην περίπτωση της μετατόπισης κατανομής, η Weighted CP ξεχωρίζει από τις υπόλοιπες μεθοδολογίες, επειδή είναι εύκολη στην εφαρμογή και επηρεάζεται το λιγότερο από τις μετατοπίσεις κατανομής σε όρους κάλυψης και ακρίβειας.