Adaptive Bayesian variable selection for regression with large number of covariates

Abstract

This thesis is an overview of some of the most recent developments on the topic of Bayesian Variable Selection, both from a theoretical and a computational point of view. We turn our attention to objective Bayes methods and discuss their extensions to high-dimensional settings. We also provide a detailed proof of the Unitary Bayes Factor property which was not available. By taking advantage of the closed form expressions of the posterior model distribution (up to a unknown normalizing constant) we employ Adaptive MCMC algorithms to explore the posterior model space. We showcase the ability of Adaptive MCMC to outperform default Metropolis Hastings algorithms for model space exploration such as MC3. We also empirically assess the model selection consistency of Objective Bayes methods, provide examples of variable selection in high dimensional settings as well as how Bayesian Variable selection can be implemented in order to estimate non-linear functions. Our analysis of real datasets shows that the reviewed methods can result in models which have better predictive performance than the full model, in the n > p case and are comparable to the performance of shrinkage priors in high dimensional settings at a lower computational cost.Αυτή η διατριβή παρουσιάζει μερικές από τις πλέον σύγχρονες μεθόδους στο θέμα της Μπεϋζιανής επιλογής μεταβλητών, τοσό σε θεωρητικά όσο και υπολoγιστικά ζητήματα. Το κύριο μέρος αυτής της διατριβής ασχολείται με αντικειμενικές Μπεϋζιανές μεθόδους καθώς και τις επεκτάσεις τους σε προβλήματα πολλών διαστάσεων. Επίσης δίνουμε μια λεπτομερή απόδειξη της ιδιότητας των μοναδιαιών παραγόντων Μπέυζ. Εκμεταλλευόμενοι το γεγονός ότι οι εκ των υστέρων κατανομές των μοντέλων είναι γνωστές ως προς μια άγνωστη σταθερά κανονικοποίησης, εφαρμόζουμε προσαρμοστικούς αλγόριθμους Μαρκοβιανών Αλυσίδων Μόντε Κάρλο ώστε να εξερευνήσουμε τον εκ των υστέρων χώρο των μοντέλων. Μέσω προσομοιώσεων δείχνουμε πώς αυτοί οι αλγόριθμοι μπορεί να είναι πιο αποδοτικοί από τους απλούς αλγόριθμους Μαρκοβιανών Αλυσίδων όπως ο. Επίσης αποτιμούμε την συνέπεια στην επιλογή μοντέλου των αντικειμενικών Μπεϋζιανών μεθόδων και παρουσιάζουμε πώς η Μπεϋζιανή επιλογή μεταβλητών μπορεί να χρησιμοποιηθεί σε προβλήματα εκτίμησης μη γραμμικών συναρτήσεων. Η ανάλυση πραγματικών δεδομένων δείχνει ότι οι μέθοδοι που παρουσιάσαμε μπορούν να οδηγήσουν σε μοντέλα με καλύτερη προβλεπτική ικανότητα σε σχέση με το πλήρες μοντέλο σε προβλήματα χαμηλής διάστασης και είναι ανταγωνιστικές με τις συρρικνωτικές εκ των προτέρων κατανομές, σε περιπτώσεις δεδομένων υψηλής διάστασης, έχοντας παράλληλα χαμηλότερο υπολογιστικό κόστος.