Introducing a novel model for data portability in heterogeneous data environments

Abstract

Modern data ecosystems are characterized by high complexity, rendering data portability difficult, a foundational principle of regulations such as the GDPR. Traditional data management approaches like data warehousing and ETL pipelines cannot provide the flexibility required for frictionless data transfers, user control, and interoperability. This thesis presents Data Virtual Machines (DVMs) as a new graph-based conceptual model that enables efficient, scalable, and user-oriented data portability for heterogeneous data. The research begins with the exploration of the technical and non-technical data portability challenges such as usability, interoperability, extensibility, scalability, regulatory compliance, and data security. It then examines related work on personal data control, integration of data, virtualization, and sector-specific frameworks and identifies gaps in aspects covered by DVMs. The contribution of the thesis is the presentation of DVMs, with their structure, query language, and key ideas as a practicable solution for data portability. DVMs follow a data-driven and flexible modeling approach compared to traditional rigid schemas. They allow schema reorientation and query optimization in order to achieve any-entity view and model polymorphism. The DataMingler tool is a significant practical contribution and through a real-life use case we will illustrate its feasibility for data portability for the financial sector. Its multiple strengths include the ability to derive the schema from the data, visually represent queries and effectively integrate data, through a simple interface suitable for both technical and non-technical users. The thesis thus illustrates how DVMs simplify data extraction, transformation, and transfer, thus making data more accessible, governed, and compliant. This thesis positions DVMs as a scalable, flexible, and regulatory compliant paradigm for future-proof data portability solutions, bridging the gap between technical sophistication and end-user empowerment.

Η φορητότητα δεδομένων αποτελεί βασική αρχή του Γενικού Κανονισμού Προστασίας Δεδομένων (GDPR), όμως η υλοποίησή της παραμένει δύσκολη λόγω της αυξανόμενης πολυπλοκότητας των σύγχρονων, ετερογενών οικοσυστημάτων δεδομένων. Οι παραδοσιακές λύσεις, όπως τα data warehouses και τα ETL pipelines, δεν επαρκούν για την υποστήριξη ευέλικτης μεταφοράς δεδομένων, διαλειτουργικότητας και ελέγχου από τον χρήστη. Η παρούσα εργασία προτείνει ένα νέο εννοιολογικό μοντέλο, τις Εικονικές Μηχανές Δεδομένων (Data Virtual Machines - DVMs), βασισμένο σε γράφους, με στόχο τη διευκόλυνση της φορητότητας δεδομένων σε περιβάλλοντα με υψηλό βαθμό ετερογένειας. Οι DVMs προσφέρουν ένα ευέλικτο, data-driven μοντέλο που υποστηρίζει πολλαπλές προβολές των δεδομένων και δυνατότητες πολυμορφισμού, σε αντίθεση με τα στατικά παραδοσιακά σχήματα. Η έρευνα αναλύει τεχνικές και μη τεχνικές προκλήσεις, όπως η ευχρηστία, η διαλειτουργικότητα, η επεκτασιμότητα, η κανονιστική συμμόρφωση και η ασφάλεια. Μέσα από την επισκόπηση συναφούς βιβλιογραφίας εντοπίζονται ερευνητικά κενά που καλύπτονται από το προτεινόμενο μοντέλο. Η εργασία περιλαμβάνει επίσης την παρουσίαση του εργαλείου DataMingler, που αξιοποιεί το μοντέλο DVM και προσφέρει πρακτικές δυνατότητες για εξαγωγή, μετασχηματισμό και μεταφορά δεδομένων, μέσω ενός φιλικού περιβάλλοντος κατάλληλου για τεχνικούς και μη τεχνικούς χρήστες. Μέσα από πραγματική περίπτωση χρήσης στον χρηματοοικονομικό τομέα, αποδεικνύεται η αποτελεσματικότητα του μοντέλου και του εργαλείου. Η παρούσα διπλωματική τοποθετεί τις DVMs ως μια καινοτόμο, επεκτάσιμη και συμβατή με κανονισμούς προσέγγιση για τη φορητότητα δεδομένων, γεφυρώνοντας το χάσμα μεταξύ τεχνικής πολυπλοκότητας και ενδυνάμωσης του τελικού χρήστη.