Συλλογές
Τίτλος Prioritization and resource allocation in the Kafka Pub/Sub system
Εναλλακτικός τίτλος Προτεραιότητα και κατανομή πόρων στο Pub/Sub σύστημα Kafka
Δημιουργός Πέρη, Αριστοτέλης, Peri, Aristotelis
Συντελεστής Athens University of Economics and Business, Department of Informatics
Βούλγαρης, Σπυρίδων
Μαρκάκης, Ευάγγελος
Καλογεράκη, Βάνα
Τύπος Text
Φυσική περιγραφή 50p.
Γλώσσα en
Αναγνωριστικό http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=8194
Περίληψη Apache Kafka, is one of the most popular Big Data messaging systems. Because of its ability to process a high amount of messages at a high pace, it has been widely used in the industry as the connecting piece between high rate producers with end-services. Despite its wide adoption, one of the most important subjects that Apache Kafka does not support is message prioritization. In this paper, we propose KFP (Kafka's Fair Prioritization), a novel framework that makes possible message prioritization by providing an adaptable prioritization scheduling discipline. Moreover, KFP by providing a fair resource allocation for communication with the end services, it makes possible to efficiently process bursts of high priority messages when they occur. We conducted extensive experimental evaluations to illustrate the work and benefits of the proposed method.
Το Apache Kafka, είναι ένα από τα πιο δημοφιλή συστήματα ανταλλαγής μηνυμάτων για Big Data. Λόγω της ικανότητάς του να επεξεργάζεται μεγάλο αριθμό μηνυμάτων με υψηλό ρυθμό, έχει χρησιμοποιηθεί ευρέως στη βιομηχανία ως συνδετικό στοιχείο μεταξύ παραγωγών μεγάλου όγκου μηνυμάτων προς τελικές υπηρεσίες. Παρά την ευρεία υιοθέτησή του, ένα από τα πιο σημαντικά θέματα που δεν υποστηρίζει το Apache Kafka, είναι η επεξεργασία μηνυμάτων, ανάλογα με την προτεραιότητα που έχουν. Σε αυτό το άρθρο, προτείνουμε το KFP (Kafka's Fair Prioritization), μια νέα τεχνική που με έναν προσαρμόσιμο τρόπο υλοποιεί αποτελεσματικά την ιεράρχηση των μηνυμάτων. Επιπλέον, το KFP προσφέρει μια δίκαιη κατανομή πόρων για επικοινωνιά με τις τελικές υπηρεσίες, το οποίο καθιστά δυνατή την αποτελεσματική επεξεργασία στην περίπτωση εκρήξης μηνυμάτων υψηλής προτεραιότητας. Μέσω πειραματικών αξιολογήσεων δείξαμε την λειτουργία και τα οφέλη της προτεινόμενης μεθόδου.
Λέξη κλειδί Προτεραιότητα
Κατανομή πόρων
Publish/Subscribe Systems
Prioritization
Resource allocation
Kafka
Pub/Sub συστήματα
Διαθέσιμο από 2020-12-17 15:22:04
Ημερομηνία έκδοσης 17-12-2020
Ημερομηνία κατάθεσης 2020-12-17 15:22:04
Δικαιώματα χρήσης Free access
Άδεια χρήσης https://creativecommons.org/licenses/by/4.0/