Pharmacovigilance decision support system with the use of big data

Abstract

Pharmacovigilance plays a critical role in ensuring drug safety by detecting, assessing, and preventing adverse drug reactions throughout a product’s lifecycle. Modern pharmacovigilance relies heavily on large-scale spontaneous reporting systems, such as the FDA Adverse Event Reporting System (FAERS). Despite their value, these databases suffer from substantial data quality issues, including duplication, heterogeneity, incomplete records, and lack of standardization, which significantly limit their analytical and decision-support potential. This thesis addresses these challenges by proposing and implementing a comprehensive pharmacovigilance decision support system built upon big data principles and standardized health data models. The proposed approach involves the systematic retrieval, sanitization, deduplication, and harmonization of FAERS and LAERS data, followed by their transformation into the Observational Medical Outcomes Partnership (OMOP) Common Data Model. Standardized medical vocabularies, including RxNorm, MedDRA, and SNOMED CT, are employed to normalize drug names, adverse reactions, indications, and outcomes, enabling consistent and reproducible analyses. The standardized dataset is stored in a PostgreSQL database and integrated with a Python-based data processing pipeline. To demonstrate practical applicability, a web-based decision support application is developed using Streamlit, allowing users to perform disproportionality analyses, explore demographic trends, and assess potential safety signals using established metrics. The results demonstrate that the proposed system successfully reduces data redundancy, improves semantic consistency, and enables meaningful pharmacovigilance analyses across a large historical dataset. By combining robust data engineering with an accessible analytical interface, this thesis contributes a scalable and extensible framework that enhances the usability of spontaneous reporting data and supports early-stage pharmacovigilance decision-making for researchers and healthcare stakeholders.Η φαρμακοεπαγρύπνηση διαδραματίζει κρίσιμο ρόλο στη διασφάλιση της ασφάλειας των φαρμάκων, μέσω της ανίχνευσης, αξιολόγησης και πρόληψης ανεπιθύμητων ενεργειών καθ’ όλη τη διάρκεια του κύκλου ζωής ενός φαρμακευτικού προϊόντος. Η σύγχρονη φαρμακοεπαγρύπνηση βασίζεται σε μεγάλο βαθμό σε συστήματα αυθόρμητης αναφοράς μεγάλης κλίμακας, όπως το FDA Adverse Event Reporting System (FAERS). Παρά τη σημαντική τους αξία, οι βάσεις δεδομένων αυτού του τύπου παρουσιάζουν σοβαρά προβλήματα ποιότητας δεδομένων, όπως διπλοεγγραφές, ετερογένεια, ελλιπή αρχεία και έλλειψη τυποποίησης, τα οποία περιορίζουν σημαντικά τις δυνατότητες ανάλυσης και υποστήριξης λήψης αποφάσεων. Η παρούσα διπλωματική εργασία αντιμετωπίζει αυτές τις προκλήσεις προτείνοντας και υλοποιώντας ένα ολοκληρωμένο σύστημα υποστήριξης αποφάσεων φαρμακοεπαγρύπνησης, βασισμένο σε αρχές μεγάλων δεδομένων (big data) και σε τυποποιημένα μοντέλα δεδομένων υγείας. Η προτεινόμενη προσέγγιση περιλαμβάνει τη συστηματική ανάκτηση, τον καθαρισμό, την αποδιπλοποίηση και την εναρμόνιση των δεδομένων των βάσεων FAERS και LAERS, ακολουθούμενη από τον μετασχηματισμό τους στο Observational Medical Outcomes Partnership (OMOP) Common Data Model. Τυποποιημένα ιατρικά λεξιλόγια, όπως τα RxNorm, MedDRA και SNOMED CT, χρησιμοποιούνται για την κανονικοποίηση των ονομασιών φαρμάκων, των ανεπιθύμητων ενεργειών, των ενδείξεων και των εκβάσεων, επιτρέποντας συνεπείς και αναπαραγώγιμες αναλύσεις. Το τυποποιημένο σύνολο δεδομένων αποθηκεύεται σε βάση δεδομένων PostgreSQL και ενσωματώνεται σε μία ροή επεξεργασίας δεδομένων βασισμένη στην Python. Για την επίδειξη της πρακτικής εφαρμογής του συστήματος, αναπτύσσεται μια διαδικτυακή εφαρμογή υποστήριξης αποφάσεων με χρήση του Streamlit, η οποία επιτρέπει στους χρήστες να πραγματοποιούν αναλύσεις δυσανάλογης αναφοράς (disproportionality analyses), να εξερευνούν δημογραφικές τάσεις και να αξιολογούν πιθανά σήματα ασφάλειας με χρήση καθιερωμένων μετρικών. Τα αποτελέσματα δείχνουν ότι το προτεινόμενο σύστημα μειώνει επιτυχώς τον πλεονασμό δεδομένων, βελτιώνει τη σημασιολογική συνέπεια και καθιστά δυνατές ουσιαστικές αναλύσεις φαρμακοεπαγρύπνησης σε ένα μεγάλο ιστορικό σύνολο δεδομένων. Συνδυάζοντας ισχυρές τεχνικές μηχανικής δεδομένων με ένα προσβάσιμο αναλυτικό περιβάλλον, η παρούσα εργασία συμβάλλει με ένα επεκτάσιμο και κλιμακώσιμο πλαίσιο που ενισχύει τη χρηστικότητα των δεδομένων αυθόρμητης αναφοράς και υποστηρίζει τη λήψη αποφάσεων στα αρχικά στάδια της φαρμακοεπαγρύπνησης για ερευνητές και επαγγελματίες υγείας.