Developing a platform for virtual data integration in big data environments

Abstract

We live in the era of Big Data, where the concern for data management is crucial for all organizations. This generates the need of sustainable infrastructures that will manipulate the data with speed and accuracy. The current study attempts to investigate the virtual data integration in Big Data Environments, by describing the design, implementation and evaluation of a platform used to aid data exchange and preparation as well the definition of on demand data models that would assist on decision making.Elements of the Platform are presented in a user friendly manner, that integrate multiple heterogeneous data inputs, creating a virtual homogeneity of information representation through the data canvas. The Platform for Virtual Data Integration has been developed to integrate any kind of data input to a first consolidated layer that is presented in graph- based schema. The intent is the system to allow its users share and exchange information and work together a single operating entity and integrated planning unit. The conceptual model of the schema is described, with the creation of a graph representation where attributes are mapped to entities. The key focus is the extent of Key-Value pairs to Key-Lists pairs.All methods of development and their requirements are provided in detail along with a step-by-step installation of the tool. Finally, the project is evaluated by its potential and all the future work that may be done on accessing the Bid Data world in more fast and consistent way.

Ζούμε στην εποχή των Μεγάλων Δεδομένων, όπου η μέριμνα για τη διαχείριση δεδομένων είναι ζωτικής σημασίας για όλους τους οργανισμούς. Αυτό δημιουργεί την ανάγκη βιώσιμων υποδομών που θα χειρίζονται τα δεδομένα με ταχύτητα και ακρίβεια. Η τρέχουσα μελέτη επιχειρεί να διερευνήσει την ενσωμάτωση εικονικών δεδομένων σε περιβάλλοντα μεγάλων δεδομένων, περιγράφοντας το σχεδιασμό, την εφαρμογή και την αξιολόγηση μιας πλατφόρμας που χρησιμοποιείται για την ενίσχυση της ανταλλαγής δεδομένων και την προετοιμασία, καθώς και τον ορισμό μοντέλων δεδομένων κατ 'απαίτηση που θα βοηθήσουν στη λήψη αποφάσεων.Τα στοιχεία της πλατφόρμας παρουσιάζονται με φιλικό προς τον χρήστη τρόπο, που ενσωματώνουν πολλαπλές ετερογενείς εισόδους δεδομένων, δημιουργώντας μια εικονική ομοιογένεια της αναπαράστασης πληροφοριών μέσω του καμβά δεδομένων.Η Πλατφόρμα για Εικονική Ενσωμάτωση Δεδομένων έχει αναπτυχθεί για την ενσωμάτωση κάθε είδους εισαγωγής δεδομένων σε ένα πρώτο ενοποιημένο επίπεδο που παρουσιάζεται σε σχήμα γραφήματος. Σκοπός είναι το σύστημα να επιτρέπει στους χρήστες του να μοιράζονται και να ανταλλάσσουν πληροφορίες και να συνεργάζονται με μία μόνο λειτουργική οντότητα και μια ολοκληρωμένη μονάδα σχεδιασμού.Περιγράφεται το εννοιολογικό μοντέλο του σχήματος, με τη δημιουργία ενός γράφου όπου τα χαρακτηριστικά χαρτογραφούνται σε οντότητες. Η βασική εστίαση είναι η επέκταση των ζευγών κλειδί-τιμής σε ζεύγη κλειδιών-λιστών.Όλες οι μέθοδοι ανάπτυξης και οι απαιτήσεις τους παρέχονται λεπτομερώς μαζί με μια βήμα προς βήμα εγκατάσταση του εργαλείου.Τέλος, το έργο αξιολογείται από τις δυνατότητές του και όλες τις μελλοντικές εργασίες που μπορεί να γίνουν για την πρόσβαση στον κόσμο των Μεγάλων Δεδομένων με πιο γρήγορο και συνεπή τρόπο.