Probabilistic forecast determination

Abstract

Probabilistic forecasts have gained significant ground nowadays compared to point forecasts due to the additional information they provide. In point forecasts, the main metric for evaluation is the accuracy of our model's point predictions. The goal of this work is to theoretically discuss probabilistic forecasts and present ways to evaluate their performance and statistical consistency. After an almost philosophical discussion on calibration and sharpness principles, which has been an old topic of research, a theoretical framework for scoring rules is presented with reference to a compilation of other works from the literature on the subject. The competing methods employed are logistic regression, with its regularized version versus tree-based methods, including Desicion trees, Random forests and Reinforcement learning trees. To highlight the add-on value of the scoring rules, hands-on applications of those scoring rules are conducted in binary classification problems to compare probabilistic forecasts evaluated upon simulated and real data in various dimensionality settings.

Οι πιθανοτικές προβλέψεις έχουν αποκτήσει σημαντικό έδαφος στις μέρες μας σε σύγκριση με τις σημειακές προβλέψεις λόγω των πρόσθετων πληροφοριών που παρέχουν. Στις σημειακές προβλέψεις, η κύρια μέτρηση για την αξιολόγηση είναι η ακρίβεια των προβλέψεων του μοντέλου μας. Στόχος αυτής της εργασίας είναι η θεωρητική συζήτηση πιθανοτικών προβλέψεων και η παρουσίαση τρόπων αξιολόγησης της απόδοσης και της στατιστικής συνέπειάς τους. Μετά από μια σχεδόν φιλοσοφική συζήτηση σχετικά με τις αρχές στατιστικής συνέπειας και συγκέντρωσης, τα οποία δεν είναι πρόσφατα θέματα έρευνας, παρουσιάζεται ένα θεωρητικό πλαίσιο για τους κανόνες βαθμολόγησης με αναφορά σε μια συλλογή άλλων έργων από τη βιβλιογραφία για το θέμα. Οι ανταγωνιστικές μέθοδοι είναι η λογιστική παλινδρόμηση και η κανονικοποιημένη εκδοχή της, έναντι των μεθόδων που βασίζονται σε δέντρα. Για να επισημανθεί η πρόσθετη αξία των κανόνων βαθμολόγησης, πραγματοποιούνται πρακτικές εφαρμογές τους σε δυαδικά προβλήματα ταξινόμησης για τη σύγκριση πιθανοτικών προγνόσεων ή αλλοιώς στατιστικών μοντέλων που δημιουργήθηκαν στα ίδια σύνολα δεδομένων από διαφορετικές ανταγωνιστικές μεθόδους σε διάφορετικές περιπτώσεις διαστάσεων των δεδομένων.