Συλλογές
Τίτλος Επεξεργασία σύνθετων ροών γεγονότων σε πραγματικό χρόνο με το Apache Flink
Εναλλακτικός τίτλος Complex event processing using Apache Flink
Δημιουργός Υφαντής, Κωνσταντίνος
Συντελεστής Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Πληροφορικής
Καπέτης, Χρυσόστομος
Κωτίδης, Ιωάννης
Τύπος Text
Φυσική περιγραφή 69σ.
Γλώσσα el
Αναγνωριστικό http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=8621
Περίληψη Η ραγδαία αύξηση των ανθρώπων που αποκτούν πρόσβαση σε τεχνολογίες αιχμής και ο συνεχώς αυξανόμενος αριθμός των τεχνολογικών συσκευών έχουν συντελέσει στην εκτόξευση του όγκου των δεδομένων που δημιουργούνται καθημερινά, από χρηματοπιστωτικές συναλλαγές, από δεδομένα χρηστών, από αισθητήρες κ.ά. Οι επιχειρήσεις επιθυμούν να εξάγουν συμπεράσματα από τα δεδομένα που λαμβάνουν, με πολύ μικρή απόκλιση από τον χρόνο δημιουργίας τους. Επομένως, επιτακτική προβάλλει η ανάγκη παροχής υψηλής διεκπεραιωτικής ικανότητας (throughput) των συστημάτων επεξεργασίας με χαμηλό λανθάνων χρόνο, ώστε να δίνουν ταυτόχρονα την δυνατότητα ανάπτυξης ενός συστήματος ανεκτικού σε σφάλματα. Ένα τέτοιο σύστημα είναι το Apache Flink, το οποίο αποτελεί τη πιο σύγχρονη και πιο αξιόπιστη λύση ελεύθερου λογισμικού για επεξεργασία ροών δεδομένων σε πραγματικό χρόνο.Στη παρούσα εργασία, κατόπιν μιας σύντομης αναφοράς των κυριότερων συστημάτων επεξεργασίας ροών δεδομένων, εμβαθύνουμε στην αρχιτεκτονική υλοποίησης του Apache Flink και των δυνατοτήτων που παρέχει. Επίσης, σχεδιάζουμε και υλοποιούμε ένα σύστημα, το οποίο επιτρέπει στους χρήστες του να ορίσουν τις ροές εισόδου των δεδομένων, τους μετασχηματισμούς τους και τις ροές στις οποίες θα εγγραφούν τα αποτελέσματα της επεξεργασίας μέσω ενός JSON αρχείου. Το σύστημα αυτό χρησιμοποιεί το Apache Flink και δεν απαιτείται η ανάπτυξη κώδικα από τον χρήστη, παρά μόνο η συγγραφή του json αρχείου. Στο τέλος, παρουσιάζουμε ένα παράδειγμα χρήσης της εφαρμογής με πραγματικά δεδομένα, που αποδεικνύει ότι η επεξεργασία των ροών, μέσω της δήλωσης των μετασχηματισμών από τον χρήστη, αποτελεί μία αποδοτική λύση.
Λέξη κλειδί Επεξεργασία ροών
Πραγματικός χρόνος
Stream processing
Apache Flink
Real time
Διαθέσιμο από 2021-05-12 12:38:22
Ημερομηνία έκδοσης 05/12/2021
Ημερομηνία κατάθεσης 2021-05-12 12:38:22
Δικαιώματα χρήσης Free access
Άδεια χρήσης https://creativecommons.org/licenses/by/4.0/