AUEB Library - Digital Repository

PYXIDA Institutional Repository
and Digital Library

Username
Password

Collections :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Στατιστικής / Department of Statistics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Title :	Adaptive Bayesian variable selection for regression with large number of covariates

Alternative Title :	Προσαρμοστικοί αλγόριθμοι Μπεϋζιανής επιλογής μεταβλητών για μοντέλα παλινδρόμησης με πολλές επεξηγηματικές μεταβλητές

Creator :	Michail, Konstantinos Ion S. Μιχαήλ, Κωνσταντίνος Ίων Σ.

Contributor :	Ntzoufras, Ioannis (Επιβλέπων καθηγητής) Tsiamyrtzis, Panagiotis (Εξεταστής) Vasdekis, Vassilis (Εξεταστής) Athens University of Economics and Business, Department of Statistics (Degree granting institution)

Type :	Text

Extent :	xi, 76p.

Language :	en

Abstract :	This thesis is an overview of some of the most recent developments on the topic of Bayesian Variable Selection, both from a theoretical and a computational point of view. We turn our attention to objective Bayes methods and discuss their extensions to high-dimensional settings. We also provide a detailed proof of the Unitary Bayes Factor property which was not available. By taking advantage of the closed form expressions of the posterior model distribution (up to a unknown normalizing constant) we employ Adaptive MCMC algorithms to explore the posterior model space. We showcase the ability of Adaptive MCMC to outperform default Metropolis Hastings algorithms for model space exploration such as MC3. We also empirically assess the model selection consistency of Objective Bayes methods, provide examples of variable selection in high dimensional settings as well as how Bayesian Variable selection can be implemented in order to estimate non-linear functions. Our analysis of real datasets shows that the reviewed methods can result in models which have better predictive performance than the full model, in the n > p case and are comparable to the performance of shrinkage priors in high dimensional settings at a lower computational cost. Αυτή η διατριβή παρουσιάζει μερικές από τις πλέον σύγχρονες μεθόδους στο θέμα της Μπεϋζιανής επιλογής μεταβλητών, τοσό σε θεωρητικά όσο και υπολoγιστικά ζητήματα. Το κύριο μέρος αυτής της διατριβής ασχολείται με αντικειμενικές Μπεϋζιανές μεθόδους καθώς και τις επεκτάσεις τους σε προβλήματα πολλών διαστάσεων. Επίσης δίνουμε μια λεπτομερή απόδειξη της ιδιότητας των μοναδιαιών παραγόντων Μπέυζ. Εκμεταλλευόμενοι το γεγονός ότι οι εκ των υστέρων κατανομές των μοντέλων είναι γνωστές ως προς μια άγνωστη σταθερά κανονικοποίησης, εφαρμόζουμε προσαρμοστικούς αλγόριθμους Μαρκοβιανών Αλυσίδων Μόντε Κάρλο ώστε να εξερευνήσουμε τον εκ των υστέρων χώρο των μοντέλων. Μέσω προσομοιώσεων δείχνουμε πώς αυτοί οι αλγόριθμοι μπορεί να είναι πιο αποδοτικοί από τους απλούς αλγόριθμους Μαρκοβιανών Αλυσίδων όπως ο. Επίσης αποτιμούμε την συνέπεια στην επιλογή μοντέλου των αντικειμενικών Μπεϋζιανών μεθόδων και παρουσιάζουμε πώς η Μπεϋζιανή επιλογή μεταβλητών μπορεί να χρησιμοποιηθεί σε προβλήματα εκτίμησης μη γραμμικών συναρτήσεων. Η ανάλυση πραγματικών δεδομένων δείχνει ότι οι μέθοδοι που παρουσιάσαμε μπορούν να οδηγήσουν σε μοντέλα με καλύτερη προβλεπτική ικανότητα σε σχέση με το πλήρες μοντέλο σε προβλήματα χαμηλής διάστασης και είναι ανταγωνιστικές με τις συρρικνωτικές εκ των προτέρων κατανομές, σε περιπτώσεις δεδομένων υψηλής διάστασης, έχοντας παράλληλα χαμηλότερο υπολογιστικό κόστος.

Abstract :

This thesis is an overview of some of the most recent developments on the topic of Bayesian Variable Selection, both from a theoretical and a computational point of view. We turn our attention to objective Bayes methods and discuss their extensions to high-dimensional settings. We also provide a detailed proof of the Unitary Bayes Factor property which was not available. By taking advantage of the closed form expressions of the posterior model distribution (up to a unknown normalizing constant) we employ Adaptive MCMC algorithms to explore the posterior model space. We showcase the ability of Adaptive MCMC to outperform default Metropolis Hastings algorithms for model space exploration such as MC3. We also empirically assess the model selection consistency of Objective Bayes methods, provide examples of variable selection in high dimensional settings as well as how Bayesian Variable selection can be implemented in order to estimate non-linear functions. Our analysis of real datasets shows that the reviewed methods can result in models which have better predictive performance than the full model, in the n > p case and are comparable to the performance of shrinkage priors in high dimensional settings at a lower computational cost.
Αυτή η διατριβή παρουσιάζει μερικές από τις πλέον σύγχρονες μεθόδους στο θέμα της Μπεϋζιανής επιλογής μεταβλητών, τοσό σε θεωρητικά όσο και υπολoγιστικά ζητήματα. Το κύριο μέρος αυτής της διατριβής ασχολείται με αντικειμενικές Μπεϋζιανές μεθόδους καθώς και τις επεκτάσεις τους σε προβλήματα πολλών διαστάσεων. Επίσης δίνουμε μια λεπτομερή απόδειξη της ιδιότητας των μοναδιαιών παραγόντων Μπέυζ. Εκμεταλλευόμενοι το γεγονός ότι οι εκ των υστέρων κατανομές των μοντέλων είναι γνωστές ως προς μια άγνωστη σταθερά κανονικοποίησης, εφαρμόζουμε προσαρμοστικούς αλγόριθμους Μαρκοβιανών Αλυσίδων Μόντε Κάρλο ώστε να εξερευνήσουμε τον εκ των υστέρων χώρο των μοντέλων. Μέσω προσομοιώσεων δείχνουμε πώς αυτοί οι αλγόριθμοι μπορεί να είναι πιο αποδοτικοί από τους απλούς αλγόριθμους Μαρκοβιανών Αλυσίδων όπως ο. Επίσης αποτιμούμε την συνέπεια στην επιλογή μοντέλου των αντικειμενικών Μπεϋζιανών μεθόδων και παρουσιάζουμε πώς η Μπεϋζιανή επιλογή μεταβλητών μπορεί να χρησιμοποιηθεί σε προβλήματα εκτίμησης μη γραμμικών συναρτήσεων. Η ανάλυση πραγματικών δεδομένων δείχνει ότι οι μέθοδοι που παρουσιάσαμε μπορούν να οδηγήσουν σε μοντέλα με καλύτερη προβλεπτική ικανότητα σε σχέση με το πλήρες μοντέλο σε προβλήματα χαμηλής διάστασης και είναι ανταγωνιστικές με τις συρρικνωτικές εκ των προτέρων κατανομές, σε περιπτώσεις δεδομένων υψηλής διάστασης, έχοντας παράλληλα χαμηλότερο υπολογιστικό κόστος.

Subject :	Bayesian regression Variable selection Adaptive MCMC Μπεϋζιανή παλινδρόμηση Επιλογή μεταβλητών Προσαρμοστικοί αλγόριθμοι

Date :	30-06-2019

Licence :

File: Michail_2019.pdf

Type: application/pdf

Login