Ανίχνευση ανωμαλιών σε ERP δεδομένα με Python: εφαρμογή σε περιβάλλον logistics

Abstract

Η παρούσα διπλωματική εργασία εξετάζει τη συμβολή της Python στον εντοπισμό ανωμαλιών σε συστήματα Enterprise Resource Planning (ERP). Καθώς τα ERP συγκεντρώνουν και επεξεργάζονται ολοένα μεγαλύτερους και πιο σύνθετους όγκους δεδομένων από κρίσιμους επιχειρησιακούς τομείς (λογιστική, χρηματοοικονομικά, εφοδιαστική αλυσίδα και αποθήκη), η έγκαιρη ανίχνευση ασυνεπειών καθίσταται δυσκολότερη αλλά και απαραίτητη. Οι ανωμαλίες μπορούν να οδηγήσουν σε λειτουργικές αστοχίες, απώλεια παραγωγικότητας και αυξημένο κόστος, με ιδιαίτερη επίδραση στα logistics, όπου τα αποθέματα αποτελούν βασικό στοιχείο του ενεργητικού και εμφανίζουν υψηλή μεταβλητότητα (επίπεδα, κοστολόγηση, όγκοι συναλλαγών, χρόνοι παράδοσης). Για τον λόγο αυτό απαιτούνται μηχανισμοί ελέγχου που ανταποκρίνονται σε δυναμικά δεδομένα, πέρα από στατικούς κανόνες, οι οποίοι συχνά δεν επαρκούν για τον εντοπισμό “κρυφών” αποκλίσεων σε περιβάλλοντα πραγματικού χρόνου. Η ενσωμάτωση της Python με τεχνικές Μηχανικής Μάθησης (ML) και isolation forest, προσφέρουν νέες δυνατότητες και καινοτόμο προσέγγιση στα συστήματα παρακολούθησης. Με αυτό τον τρόπο, η εφαρμογή αυτών των τεχνικών βελτιώνει τη μέθοδο ανίχνευσης ανωμαλιών και την ομαδοποίηση δεδομένων με προσαρμογή σε πραγματικό χρόνο. Στην πρώτη προσέγγιση, θα αναλυθεί η αρχική φάση εισαγωγή δεδομένων, η οποία αφορά τα πρωτογενή δεδομένα που εξάγονται από το υφιστάμενο ERP πρόγραμμα του πελάτη, και μεταφέρονται στο νέο πληροφοριακό περιβάλλον. Στο αρχικό στάδιο, τα πρώτα αρχεία που αποστέλλονται αφορούν τους συναλλασσόμενους, τα είδη και τα πάγια στοιχεία. Στη συνέχεια, και αφού έχουν προηγηθεί τα απαραίτητα κλεισίματα περιόδων, ακολουθεί η αποστολή των απογραφών και της αποτίμησης των αποθεμάτων. Η μεθοδολογία της παρούσας διπλωματικής, με τη χρήση της γλώσσας Python θα πραγματοποιηθεί η κατάλληλη διαμόρφωση των αρχείων για την εισαγωγή τους στο νέο ERP πρόγραμμα και στην συνέχεια θα προχωρήσουμε σε ελέγχους επιχειρησιακής λογικής στο περιβάλλον των logistics, καθώς και στον συνεχή έλεγχο και ανίχνευση ανωμαλιών σε δεδομένα που προκύπτουν από τις κινήσεις της αποθήκης. Τελικός στόχος της διπλωματικής είναι η δυνατότητα προληπτικής διαχείρισης σφαλμάτων με δυνατότητα έγκαιρου εντοπισμού τους σε συγκεκριμένο χρονικό πλαίσιο.The goal of this thesis is to examine the contribution of the Python programming language to anomaly detection in Enterprise Resource Planning (ERP) systems. The continuous evolution of ERP platforms has significantly enhanced their ability to manage and process large-scale and heterogeneous datasets originating from critical business domains, such as accounting, financial management, supply chain operations, and warehouse management. However, the rapid growth and increasing complexity of these data volumes make the identification of anomalies particularly challenging, thereby highlighting the need for effective monitoring mechanisms and timely detection of deviations. Such anomalies and inconsistencies may lead to productivity losses, operational inefficiencies, and increased operational costs. Within the context of complex organizational processes, anomaly detection in ERP environments becomes especially critical in the logistics domain. Inventory data constitute one of the most significant asset categories for an enterprise, yet they present distinct challenges due to their dynamic and constantly evolving nature, which is reflected in inventory levels, cost valuation, transaction volumes, and delivery times. This high degree of variability necessitates real-time monitoring, as even minor deviations can disrupt the supply chain. Traditional rule-based anomaly detection approaches, however, exhibit limited flexibility and struggle to meet the demands of dynamic and rapidly changing data environments. As a result, the effective real-time analysis of extensive and complex datasets is constrained, making the detection of latent anomalies within logistics networks particularly difficult. The integration of Python with Machine Learning (ML) techniques and Isolation Forest, introduces new capabilities and an innovative approach to monitoring systems. The application of these techniques enhances anomaly detection and data clustering by enabling adaptive, real-time analysis. Initially, the study focuses on the data ingestion phase, which involves the extraction of primary data from the client’s existing ERP system and their migration to a new information environment. At this stage, the first datasets exchanged include business partners, items, and fixed assets. Subsequently, following the completion of the required period closures, inventory records and stock valuation data are transferred. Within the scope of this thesis, Python is employed to appropriately structure and prepare the datasets for their import into the new ERP system. Furthermore, business logic validation is performed within the logistics environment, alongside continuous monitoring and anomaly detection on data generated by warehouse operations. The ultimate objective of this thesis is to enable proactive error management through the timely detection of anomalies within a defined time frame.