Συλλογές
Τίτλος Implementation of fault tolerant Big Data system for video / sensor analytics
Δημιουργός Betchavas, Panagiotis-Ioannis
Συντελεστής Athens University of Economics and Business, Department of Informatics
Kotidis, Yannis
Vassalos, Vasilios
Arkoumanis, Dinos
Τύπος Text
Φυσική περιγραφή 40 p.
Γλώσσα en
Αναγνωριστικό http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=6703
Περίληψη This master’s thesis defines the architecture for a fault tolerant Big Data system for video/sensor analytics along with an implementation of a running prototype. The goal is to build an on-premise system that is fault tolerant so it can provide continue correct performance of its specified tasks in presence of failure.To build such a system we will make use of an open source time series database called KairosDB which will run on top of a 2-node Scylla cluster with high replication factor to increase the fault tolerance of the developed system. Prometheus will also be included to the system for its read and write protocols, real-time monitoring and numerous adapters which can import and export data between Prometheus and various other databases like KairosDB. Finally, Grafana will allow us to query, visualize, alert on and understand the collected metrics no matter where they are stored.The video analysis is accomplished by two computer vision models; object detection and pose estimation. We will implement the YOLO model with Open CV library for object detection and the COCO model with OpenPose library for pose estimation using the Python Programming Language.In the first chapter, we have a brief overview of the master's thesis.In the second chapter, we introduce the different components of the system and describe the benefits that each of them provides to it.Next, we have the third chapter where the steps for the development of the system are presented. The focus of this chapter is the installation and configuration of ScyllaDB, KairosDB, Prometheus and Grafana so that they can communicate with each other.In the fourth chapter, we start with a brief introduction to object detection and pose estimation. Then, we specify the libraries and the models we used for object detection and pose estimation and we describe how the data move and processed from the webcam to KairosDB.Finally, the fifth chapter includes the conclusion and a brief representation of further improvements or future work on both the system itself and the implemented computer vision models.
Αυτή η μεταπτυχιακή εργασία ορίζει την αρχιτεκτονική για ένα σύστημα Big Data ανθεκτικό σε σφάλματα για αναλύσεις βίντεο / αισθητήρων μαζί με την αρχική υλοποίηση ενός πρωτοτύπου. Ο στόχος είναι να οικοδομηθεί ένα σύστημα on-premise που να είναι ανεκτικό σε σφάλματα, ώστε να μπορεί να παρέχει τη συνέχιση της σωστής εκτέλεσης των καθορισμένων καθηκόντων του σε περίπτωση βλάβης.Για να δημιουργήσουμε ένα τέτοιο σύστημα, θα χρησιμοποιήσουμε μια open source time series βάση δεδομένων που ονομάζεται KairosDB και θα λειτουργεί πάνω από ένα σύμπλεγμα Scylla 2 κόμβων με υψηλό συντελεστή αναπαραγωγής για να αυξήσει την ανοχή σφάλματος του αναπτυγμένου συστήματος. Το Prometheus θα συμπεριληφθεί στο σύστημα για τα πρωτόκολλα ανάγνωσης και εγγραφής του, παρακολούθηση σε πραγματικό χρόνο και πολυάριθμους προσαρμογείς οι οποίοι μπορούν να εισάγουν και να εξάγουν δεδομένα μεταξύ του Prometheus και άλλων βάσεων δεδομένων όπως το KairosDB. Τέλος, η Grafana θα μας επιτρέψει να διερευνήσουμε, να προβάλουμε, να προειδοποιήσουμε και να κατανοήσουμε τις μετρήσεις που συλλέγονται ανεξάρτητα από το πού αποθηκεύονται.Η ανάλυση βίντεο πραγματοποιείται με δύο μοντέλα computer vision, την ανίχνευση αντικειμένων και την εκτίμηση της θέσης. Θα εφαρμόσουμε το μοντέλο YOLO με τη βιβλιοθήκη OpenCV για την ανίχνευση αντικειμένων και το μοντέλο COCO με τη βιβλιοθήκη OpenPose για τη δημιουργία εκτιμήσεων χρησιμοποιώντας τη γλώσσα προγραμματισμού Python.Στο πρώτο κεφάλαιο, έχουμε μια σύντομη επισκόπηση της μεταπτυχιακής εργασίας .Στο δεύτερο κεφάλαιο παρουσιάζουμε τα διάφορα στοιχεία του συστήματος και περιγράφουμε τα οφέλη που προσφέρει καθεμιά από αυτές.Στη συνέχεια, έχουμε το τρίτο κεφάλαιο όπου παρουσιάζονται τα βήματα για την ανάπτυξη του συστήματος. Το επίκεντρο αυτού του κεφαλαίου είναι η εγκατάσταση και διαμόρφωση των ScyllaDB, KairosDB, Prometheus και Grafana έτσι ώστε να μπορούν να επικοινωνούν μεταξύ τους.Στο τέταρτο κεφάλαιο, ξεκινάμε με μια σύντομη εισαγωγή στην ανίχνευση αντικειμένων και την εκτίμηση της θέσης. Στη συνέχεια, καθορίζουμε τις βιβλιοθήκες και τα μοντέλα που χρησιμοποιήσαμε για ανίχνευση αντικειμένων και εκτίμηση της θέσης και περιγράφουμε πώς μετακινούνται και επεξεργάζονται τα δεδομένα από την κάμερα στο KairosDB.Τέλος, το πέμπτο κεφάλαιο περιλαμβάνει το συμπέρασμα και μια σύντομη αναφορά σε περαιτέρω βελτιώσεις ή μελλοντικές εργασίες τόσο στο ίδιο το σύστημα όσο και στα μοντέλα υπολογιστικής όρασης που εφαρμόζονται.
Λέξη κλειδί Ανοχή σε σφάλματα
Pose estimation
Video detection
Object detection
Video analytics
Remote storage
Computer vision
Fault tolerance
Prometheus
ScyllaDB
KairosDB
Διαθέσιμο από 2019-01-18 13:31:21
Ημερομηνία έκδοσης 12/21/2018
Ημερομηνία κατάθεσης 2019-01-18 13:31:21
Δικαιώματα χρήσης Free access
Άδεια χρήσης https://creativecommons.org/licenses/by/4.0/