Polling misses: causes and treatment

Abstract

This thesis explores the recurring phenomenon of polling inaccuracies, or "polling misses," in election forecasting, examining the systemic, methodological, and behavioral factors contributing to these failures. It begins by establishing the historical context and evolution of election polling, highlighting its critical role in modern democratic processes, media narratives, and campaign strategies. Despite significant advancements in survey technology—from telephone-based to digital and multi-mode platforms—recent elections such as the 2016 U.S. presidential election, the Brexit referendum, and the 2018 Quebec provincial vote have demonstrated notable inaccuracies that challenge the reliability and legitimacy of polls. Central to the analysis is an investigation of the structural vulnerabilities inherent in polling methods, including sampling errors, nonresponse bias, coverage gaps, and inadequate weighting procedures. It underscores the challenges posed by rapidly evolving communication habits and demographic shifts, illustrating how these factors systematically exclude or misrepresent key voter segments, thus skewing poll results. Additionally, the thesis identifies psychological phenomena such as social desirability bias, the "shy voter" effect, late-decider volatility, and the "bandwagon effect," emphasizing their roles in distorting polling accuracy. Through detailed case studies—including notable polling failures in the United States, the United Kingdom, Quebec, and Australia—the thesis demonstrates that polling misses rarely result from isolated errors but rather from a complex interplay of methodological shortcomings and dynamic voter behaviors. It critically assesses contemporary methodological innovations designed to mitigate these errors, such as Multilevel Regression with Post-stratification (MRP), hybrid sampling designs, adaptive fieldwork, and real-time weighting adjustments. The research ultimately advocates for a dual approach: continual methodological refinement paired with heightened transparency and ethical standards. By integrating rigorous statistical techniques with an understanding of voter psychology and behavior, pollsters can better navigate the complexities of modern electorates. This thesis contributes valuable insights and recommendations aimed at enhancing the accuracy, credibility, and utility of public opinion polling, ensuring it remains a vital and trusted component of democratic discourse and decision-making.Η παρούσα διπλωματική εργασία διερευνά το φαινόμενο των δημοσκοπικών αστοχιών (polling misses) στις εκλογικές προβλέψεις, εξετάζοντας τους συστημικούς, μεθοδολογικούς και συμπεριφορικούς παράγοντες που οδηγούν σε αυτά τα λάθη. Αρχικά παρουσιάζεται το ιστορικό πλαίσιο και η εξέλιξη των εκλογικών δημοσκοπήσεων, υπογραμμίζοντας τον κρίσιμο ρόλο τους στις σύγχρονες δημοκρατικές διαδικασίες, την ενημέρωση των ΜΜΕ και τις προεκλογικές στρατηγικές. Παρά τις σημαντικές τεχνολογικές εξελίξεις στις δημοσκοπήσεις, από τις τηλεφωνικές έρευνες έως τις διαδικτυακές και τις πολυτροπικές προσεγγίσεις, πρόσφατες εκλογικές αναμετρήσεις όπως οι προεδρικές εκλογές των ΗΠΑ το 2016, το δημοψήφισμα για το Brexit και οι εκλογές του Κεμπέκ το 2018 ανέδειξαν σημαντικές ανακρίβειες, θέτοντας υπό αμφισβήτηση την αξιοπιστία και τη νομιμότητα των δημοσκοπήσεων. Στον πυρήνα της ανάλυσης βρίσκεται η διερεύνηση των δομικών αδυναμιών στις μεθόδους δειγματοληψίας, συμπεριλαμβανομένων των σφαλμάτων κάλυψης, της μεροληψίας λόγω μη απόκρισης, των ελλείψεων στην αντιπροσωπευτικότητα του δείγματος και των ανεπαρκών διαδικασιών στάθμισης. Ιδιαίτερη έμφαση δίνεται στις δυσκολίες που προκύπτουν από τις ταχύτατες αλλαγές στις συνήθειες επικοινωνίας και τις δημογραφικές μεταβολές, οι οποίες συστηματικά αποκλείουν ή παρουσιάζουν λανθασμένα σημαντικά τμήματα του εκλογικού σώματος, προκαλώντας στρεβλώσεις στα δημοσκοπικά αποτελέσματα. Επιπλέον, η εργασία αναδεικνύει ψυχολογικά φαινόμενα όπως η κοινωνική επιθυμητότητα, οι «σιωπηλοί ψηφοφόροι» (shy voters), η αστάθεια στις επιλογές των αναποφάσιστων και το φαινόμενο του «bandwagon effect», τονίζοντας τον ρόλο τους στις δημοσκοπικές αστοχίες. Μέσα από λεπτομερείς μελέτες περιπτώσεων, συμπεριλαμβανομένων γνωστών αστοχιών στις ΗΠΑ, το Ηνωμένο Βασίλειο, το Κεμπέκ και την Αυστραλία, η εργασία αποδεικνύει ότι τα δημοσκοπικά σφάλματα σπάνια προέρχονται από μεμονωμένους παράγοντες, αλλά είναι αποτέλεσμα ενός πολύπλοκου συνδυασμού μεθοδολογικών αδυναμιών και δυναμικών μεταβολών στη συμπεριφορά των ψηφοφόρων. Παράλληλα, αξιολογούνται κριτικά σύγχρονες μεθοδολογικές καινοτομίες για τον περιορισμό των σφαλμάτων αυτών, όπως η πολυεπίπεδη παλινδρόμηση με μεταστρωματοποίηση (MRP), οι υβριδικές δειγματοληπτικές μέθοδοι, οι προσαρμοστικές έρευνες πεδίου και οι προσαρμογές στάθμισης σε πραγματικό χρόνο.