AUEB Library - Digital Repository

PYXIDA Institutional Repository
and Digital Library

Username
Password

Collections :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Στατιστικής / Department of Statistics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Title :	Probabilistic forecast determination

Alternative Title :	Προσδιορισμός πιθανοτικών προβλέψεων

Creator :	Nikologiannis, Christos Νικολογιάννης, Χρήστος

Contributor :	Demiris, Nikolaos (Επιβλέπων καθηγητής) Papastamoulis, Panagiotis (Εξεταστής) Karlis, Dimitrios (Εξεταστής) Athens University of Economics and Business, Department of Statistics (Degree granting institution)

Type :	Text

Extent :	89p.

Language :	en

Identifier :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=8753

Abstract :	Probabilistic forecasts have gained significant ground nowadays compared to point forecasts due to the additional information they provide. In point forecasts, the main metric for evaluation is the accuracy of our model's point predictions. The goal of this work is to theoretically discuss probabilistic forecasts and present ways to evaluate their performance and statistical consistency. After an almost philosophical discussion on calibration and sharpness principles, which has been an old topic of research, a theoretical framework for scoring rules is presented with reference to a compilation of other works from the literature on the subject. The competing methods employed are logistic regression, with its regularized version versus tree-based methods, including Desicion trees, Random forests and Reinforcement learning trees. To highlight the add-on value of the scoring rules, hands-on applications of those scoring rules are conducted in binary classification problems to compare probabilistic forecasts evaluated upon simulated and real data in various dimensionality settings. Οι πιθανοτικές προβλέψεις έχουν αποκτήσει σημαντικό έδαφος στις μέρες μας σε σύγκριση με τις σημειακές προβλέψεις λόγω των πρόσθετων πληροφοριών που παρέχουν. Στις σημειακές προβλέψεις, η κύρια μέτρηση για την αξιολόγηση είναι η ακρίβεια των προβλέψεων του μοντέλου μας. Στόχος αυτής της εργασίας είναι η θεωρητική συζήτηση πιθανοτικών προβλέψεων και η παρουσίαση τρόπων αξιολόγησης της απόδοσης και της στατιστικής συνέπειάς τους. Μετά από μια σχεδόν φιλοσοφική συζήτηση σχετικά με τις αρχές στατιστικής συνέπειας και συγκέντρωσης, τα οποία δεν είναι πρόσφατα θέματα έρευνας, παρουσιάζεται ένα θεωρητικό πλαίσιο για τους κανόνες βαθμολόγησης με αναφορά σε μια συλλογή άλλων έργων από τη βιβλιογραφία για το θέμα. Οι ανταγωνιστικές μέθοδοι είναι η λογιστική παλινδρόμηση και η κανονικοποιημένη εκδοχή της, έναντι των μεθόδων που βασίζονται σε δέντρα. Για να επισημανθεί η πρόσθετη αξία των κανόνων βαθμολόγησης, πραγματοποιούνται πρακτικές εφαρμογές τους σε δυαδικά προβλήματα ταξινόμησης για τη σύγκριση πιθανοτικών προγνόσεων ή αλλοιώς στατιστικών μοντέλων που δημιουργήθηκαν στα ίδια σύνολα δεδομένων από διαφορετικές ανταγωνιστικές μεθόδους σε διάφορετικές περιπτώσεις διαστάσεων των δεδομένων.

Abstract :

Probabilistic forecasts have gained significant ground nowadays compared to point forecasts due to the additional information they provide. In point forecasts, the main metric for evaluation is the accuracy of our model's point predictions. The goal of this work is to theoretically discuss probabilistic forecasts and present ways to evaluate their performance and statistical consistency. After an almost philosophical discussion on calibration and sharpness principles, which has been an old topic of research, a theoretical framework for scoring rules is presented with reference to a compilation of other works from the literature on the subject. The competing methods employed are logistic regression, with its regularized version versus tree-based methods, including Desicion trees, Random forests and Reinforcement learning trees. To highlight the add-on value of the scoring rules, hands-on applications of those scoring rules are conducted in binary classification problems to compare probabilistic forecasts evaluated upon simulated and real data in various dimensionality settings.
Οι πιθανοτικές προβλέψεις έχουν αποκτήσει σημαντικό έδαφος στις μέρες μας σε σύγκριση με τις σημειακές προβλέψεις λόγω των πρόσθετων πληροφοριών που παρέχουν. Στις σημειακές προβλέψεις, η κύρια μέτρηση για την αξιολόγηση είναι η ακρίβεια των προβλέψεων του μοντέλου μας. Στόχος αυτής της εργασίας είναι η θεωρητική συζήτηση πιθανοτικών προβλέψεων και η παρουσίαση τρόπων αξιολόγησης της απόδοσης και της στατιστικής συνέπειάς τους. Μετά από μια σχεδόν φιλοσοφική συζήτηση σχετικά με τις αρχές στατιστικής συνέπειας και συγκέντρωσης, τα οποία δεν είναι πρόσφατα θέματα έρευνας, παρουσιάζεται ένα θεωρητικό πλαίσιο για τους κανόνες βαθμολόγησης με αναφορά σε μια συλλογή άλλων έργων από τη βιβλιογραφία για το θέμα. Οι ανταγωνιστικές μέθοδοι είναι η λογιστική παλινδρόμηση και η κανονικοποιημένη εκδοχή της, έναντι των μεθόδων που βασίζονται σε δέντρα. Για να επισημανθεί η πρόσθετη αξία των κανόνων βαθμολόγησης, πραγματοποιούνται πρακτικές εφαρμογές τους σε δυαδικά προβλήματα ταξινόμησης για τη σύγκριση πιθανοτικών προγνόσεων ή αλλοιώς στατιστικών μοντέλων που δημιουργήθηκαν στα ίδια σύνολα δεδομένων από διαφορετικές ανταγωνιστικές μεθόδους σε διάφορετικές περιπτώσεις διαστάσεων των δεδομένων.

Subject :	Scoring rules Calibration Sharpness Random forest Elastic net Πιθανοτικές προβλέψεις Βαθμονόμηση Αξιολόγηση Στατιστική συνέπεια Δυαδικά προβλήματα ταξινόμησης

Date Available :	2021-09-17 17:56:40

Date Issued :	2021

Date Submitted :	2021-09-17 17:56:40

Access Rights :	Free access

Licence :

File: Nikologiannis_2021.pdf

Type: application/pdf

Login