Συλλογές	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Στατιστικής / Department of Statistics Μεταπτυχιακές Εργασίες / Postgraduate dissertations
Τίτλος	Computer intensive methods for statistical models with latent structures
Δημιουργός	Gerontogianni, Stavroula, Γεροντογιάννη, Σταυρούλα Δ.
Συντελεστής	Demiris, Nikolaos Athens University of Economics and Business, Department of Statistics
Τύπος	Text
Φυσική περιγραφή	43p.
Γλώσσα	en
Περίληψη	Several methods have been proposed and applied to different data problems in order to makeBayesian inference for the unknown density of the parameters in interest. The most widelyused so far are the Markov Chain Monte Carlo methods, including Gibbs Sampling which willbe one of the algorithms in focus on this project. Moreover, contemporary methods such asVariational Inference and Hamiltonian Monte Carlo promise respectable results as regardsaccuracy and time speed. On account of this, they are considered to be quite useful alternativesin cases where their advantages tend to play a greater role than their disadvantages. In thisproject the three methods mentioned above, giving greater emphasis on the theory behindVariational Inference, are implemented in mixture models of Gaussians aiming at theircomparison, in terms of accuracy, statistical efficiency and computational cost. At this point,it is of crucial importance to highlight the different softwares used to implement the algorithms;Gibbs sampling run through OpenBugs and Variational Inference as well as HamiltonianMonte Carlo through the new probabilistic language Stan. Consequently, any differencesoccurring in the results may also be derivatives of the different softwares usage. At this stage,it is important to mention that Stan is on experimental level, especially for the VariationalInference algorithm; hence some inaccuracies in the results may occur. Nevertheless, it isinteresting to test its capabilities and the way it works, since it could be a quite useful tool soon.The interface for both softwares is chosen to be R; hence the R code is provided in theAppendix. It must be also noted that Stan provides a black box procedure for theaforementioned algorithms, which is discussed in detail for each method. Πολλές μέθοδοι έχουν προταθεί και εφαρμοστεί σε πολλές διαφορετικές περιπτώσειςδεδομένων, με σκοπό την Μπεϋζιανή συμπερασματολογία για την άγνωστη κατανομή τωνπαραμέτρων υπό εξέταση. Οι πιο κοινώς διαδομένες μέθοδοι είναι οι Markov Chain MonteCarlo, συμπεριλαμβανομένου του Gibbs Sampling, που αποτελεί έναν από τους αλγορίθμουςπου θα εστιάσουμε σε αυτήν την εργασία. Επιπλέον, σύγχρονες μέθοδοι, όπως το VariationalInference και το Hamiltonian Monte Carlo υπόσχονται αξιόλογα αποτελέσματα, όσον αφοράτην ακρίβεια των εκτιμήσεων και την ταχύτητα εκπλήρωσης του αλγορίθμου. Γι’ αυτό το λόγο,θεωρούνται ενδεχομένως ως χρήσιμες εναλλακτικές σε περιπτώσεις όπου τα πλεονεκτήματατους παίζουν σημαντικότερο ρόλο από τα μειονεκτήματα τους. Σε αυτή την εργασία, οι τρειςμέθοδοι που αναφέρονται παραπάνω, δίνοντας μεγαλύτερη έμφαση στη θεωρία τουVariational Inference, εφαρμόζονται σε μοντέλα μίξης κανονικών κατανομών με σκοπό τηνσύγκρισή τους σε όρους ακρίβειας, στατιστικής σημαντικότητας και υπολογιστικού κόστους.Σε αυτό το σημείο, είναι πολύ σημαντικό να τονισθούν τα διαφορετικά softwares πουχρησιμοποιήθηκαν για την εφαρμογή των αλγορίθμων. O αλγόριθμος Gibbs sampling έτρεξεμέσω OpenBugs, ενώ οι Variational Inference και Hamiltonian Monte Carlo μέσω τηςprobabilistic γλώσσας Stan. Συνεπώς, τυχόυσες διαφορές στα αποτελέσματα της εφαρμογήςτων τριών μεθόδων ενδεχομένως να οφείλονται σε κάποιο βαθμό στα διαφορετικά softwaresπου χρησιμοποιήθηκαν. Σε αυτό το σημείο, είναι σημαντικό να αναφέρουμε ότι η γλώσσα Stanείναι υπό επεξεργασία, κυρίως για τον αλγόριθμο Variational Inference, επομένως ανακρίβειεςστα αποτελέσματα μπορεί να υπάρξουν. Παρόλα αυτά, παρουσιάζει ενδιαφέρον ναεξετασθούν οι ικανότητες αυτής της γλώσσας, καθώς θα αποτελέσει σύντομα ένα πολύχρήσιμο εργαλείο. Επιπλέον το interface και για τα δύο softwares επιλέχθηκε να είναι η Rσυνεπώς, παρέχεται ο κώδικας R στο Appendix. Πρέπει επίσης να σημειωθεί, ότι η γλώσσαStan παρέχει μια αυτοματοποιημένη διαδικασία εφαρμογής των αλγορίθμων, η οποίααναλύεται με λεπτομέρεια στην παρούσα εργασία.
Λέξη κλειδί	Hamiltonian Monte Carlo Variational Inference Gibbs sampling
Ημερομηνία	30-09-2017
Άδεια χρήσης	https://creativecommons.org/licenses/by/4.0/