| Περίληψη : | Η ανίχνευση σφαλμάτων είναι μία από τις σημαντικότερες πτυχές των τηλεπικοινωνιακών δικτύων. Λαμβάνοντας υπόψη την αυξανόμενη κλίμακα και την πολυπλοκότητα των δικτύων αυτών, η συντήρησή του και η ανίχνευση και αντιμετώπιση των σφαλμάτων έχουν γίνει εξαιρετικά περίπλοκες και δαπανηρές διαδικασίες. Σε πολύπλοκα συστήματα, ο υψηλότερος βαθμός αποτυχίας, λόγω του μεγάλου αριθμού εξαρτημάτων, έχει αυξήσει τη σημασία τόσο της ανίχνευσης βλαβών όσο και της ανάλυσης των αιτίων που τις προκαλούν. Η ανίχνευση σφαλμάτων για τα δίκτυα επικοινωνιών βασίζεται σε ανάλυση αρχείων καταγραφής του συστήματος από διακομιστές ή διάφορα άλλα στοιχεία ενός δικτύου, προκειμένου να διαπιστωθεί εάν υπάρχει κάποια ασυνήθιστη δραστηριότητα. Ωστόσο, προκειμένου οι μηχανικοί να ανιχνεύσουν ένα σφάλμα και να βρουν την αιτία του, σαρώνουν τα αρχεία καταγραφής χειροκίνητα, το οποίο είναι χρονοβόρο και αναποτελεσματικό. Ως εκ τούτου, υπάρχει τεράστια ζήτηση για αυτόματη επεξεργασία συνόλων δεδομένων για τον εντοπισμό και την εξαγωγή των σχετικών δεδομένων που απαιτούνται για την ανίχνευση ανωμαλιών. Σήμερα, η χρήση τεχνικών μηχανικής μάθησης για την αυτόματη ανάλυση των αρχείων καταγραφής γίνεται όλο και πιο δημοφιλής. Η ανίχνευση βλαβών βασισμένη σε μηχανική μάθηση δεν απαιτεί προηγούμενη γνώση σχετικά με τους τύπους προβλημάτων και δεν βασίζεται απόλυτα σε προγραμματισμό, καθώς η μηχανική μάθηση έχει τη δυνατότητα να βελτιώνει αυτόματα την απόδοσή της μέσω μάθησης.Σε αυτή τη διατριβή, μέθοδοι μηχανικής μάθησης που παρέχονται από τη βιβλιοθήκη Scikit-Learn της Python, όπως η Multinomial Naive Bayes και η Stochastic Gradient Descent, αξιολογούνται ως υποσχόμενες υποψήφιες μέθοδοι για την επιβλεπόμενη ανίχνευση σφαλμάτων, καθώς η ανίχνευση ανωμαλιών θεωρείται ότι είναι μια ταξινόμηση πολλαπλών κατηγοριών με βάση τα κειμενικά χαρακτηριστικά των δεδομένων καταγραφής από τα συστήματα τηλεπικοινωνιών της ΝΟΚΙΑ. Προκειμένου να δημιουργηθεί μια κατάλληλη προσέγγιση που γενικεύει την ανίχνευση γνωστών σφαλμάτων, διερευνώνται δύο σημαντικοί παράγοντες, δηλαδή το μέγεθος των χρονικών παραθύρων και ο κατακερματισμός των χαρακτηριστικών σε ν-γράμματα πριν τη μετατροπή τους σε αριθμητικά χαρακτηριστικά για την τροφοδότησή τους στον εκάστοτε αλγόριθμο. Ιδιαίτερα τα βραχυχρόνια παράθυρα είναι ίσως η πιο σημαντική πτυχή καθώς ο στόχος του προτεινόμενου συστήματος είναι η ικανότητά του να εφαρμοστεί σε συστήματα πραγματικού χρόνου. Με τη διερεύνηση των πειραματικών αποτελεσμάτων που αφορούν αυτούς τους δύο προαναφερθέντες παράγοντες, προτείνεται μια ταξινόμηση με χρήση του Multinomial Naive Bayes για να ξεπεραστούν οι προκλήσεις διαχωρισμού σε παράθυρα και εξαγωγής χαρακτηριστικών, που είναι σε θέση να προβλέψει γνωστά σφάλματα με ποσοστό επιτυχίας 98%. Προκειμένου να αξιολογηθούν οι αλγόριθμοι μάθησης και να επιλεγεί το καλύτερο μοντέλο ανίχνευσης, χρησιμοποιούνται στην παρούσα εργασία οι βαθμολογίες F και άλλες μετρήσεις ταξινόμησης. Αυτό που υποδηλώνει τα ευρήματά μας είναι η επίδραση συγκεκριμένων ακολουθιών λέξεων ή συμβολοσειρών στη διαδικασία εκπαίδευσης. Ως εκ τούτου, είναι σαφώς κατανοητό, ότι υπάρχουν πληροφορίες, και η εξαγωγή των εν λόγω διανυσμάτων είναι τόσο σημαντική όσο και καθοριστική.
Fault detection is one of the most important aspects of telecommunication network operations. Considering the growing scale and complexity of communication networks, maintenance and debugging have become extremely complicated and expensive. In complex systems, a higher rate of failure, due to the large number of components, has increased the importance of both fault detection and root cause analysis. Fault detection for communication networks is based on analyzing system logs from servers or other components in a network in order to determine if there is any unusual activity. However, engineers in order to detect a fault and find its cause, they traditionally scan log files manually to find out the causes, which is, time consuming and ineffective. Therefore, there is an immense demand for automatic processing of datasets to extract the relevant data needed for detecting anomalies. Nowadays, using machine learning techniques to analyze log data automatically becomes more and more popular. Machine learning based fault detection does not require any prior knowledge about the types of problems and does not rely on explicit programming. Machine learning has also the ability to improve its performance automatically through learning from experience.In this thesis, machine learning methods provided by Python’s scikit-learn library such as Multinomial Naïve Bayes and Stochastic Gradient Descent are evaluated as promising candidate methods for supervised fault detection, since anomaly detection is considered to be a multi-class classification based on the textual characteristics of log data from Nokia Telecommunication systems (from where we have ground truth and test data). In order to generate an appropriate approach generalizing for detecting known faults, two important factors are investigated, namely the size of the time windows and n-gram tokenization of the features. Especially short time windowing is probably the most important aspect as the goal of the proposed system is its capability to be deployed on real time systems. By investigating the experimental results concerning these two aforementioned factors, a Multinomial Naïve Bayes classification is proposed to overcome the windowing and feature extraction challenges predicting the known faults by success rate of 98%. In order to evaluate the learning algorithms and select the best detection model F-scores and other classification metrics are used in this thesis. Our findings indicate what is the impact of specific sequences of words or strings towards the training procedure. As a result, it is clearly understandable, that insights do exist, and the extraction of such meaningful vectors is a crucial determinant.
|
|---|
Copyright © 2013 Βιβλιοθήκη Ο.Π.Α. Με την επιφύλαξη παντός δικαιώματος.