Ανάλυση πιστωτικού κινδύνου με αλγορίθμους μηχανικής μάθησης και τεχνικές explainable AI. Έμφαση στη διαφάνεια, δικαιοσύνη και μεροληψία

Abstract

Ο σκοπός της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη και εφαρμογή μιας μεθοδολογίας ανάλυσης πιστωτικού κινδύνου με τη χρήση αλγορίθμων μηχανικής μάθησης και τεχνικών Explainable AI, με έμφαση στη διαφάνεια, τη δικαιοσύνη και την μεροληψία στις αλγοριθμικές αποφάσεις. Η ανάλυση πιστωτικού κινδύνου είναι μια κρίσιμη διαδικασία των πιστωτικών ιδρυμάτων, καθώς επηρεάζει άμεσα τη λήψη αποφάσεων δανεισμού και συνδέεται με αυξημένη απαίτηση λογοδοσίας και συμμόρφωσης με το κανονιστικό πλαίσιο. Η μεθοδολογία εφαρμόστηκε στο German Credit Dataset και περιλαμβάνει τη συστηματική προεπεξεργασία των δεδομένων, την εκπαίδευση και σύγκριση πολλαπλών μοντέλων ταξινόμησης, καθώς και τη ρύθμιση υπερπαραμέτρων και την τελική αξιολόγηση σε ανεξάρτητο σύνολο ελέγχου. Η προβλεπτική απόδοση των μοντέλων αξιολογήθηκε με διάφορες μετρικές για την ανάλυση πιστωτικού κινδύνου. Επιπλέον πραγματοποιήθηκε και ανάλυση κατάταξης μέσω cumulative lift, ώστε να ελεγχθεί η ικανότητά τους να ιεραρχούνται οι δανειολήπτες με βάση τον εκτιμώμενο κίνδυνο. Εφαρμόστηκαν τεχνικές Explainable AI, όπως οι SHAP και LIME για να εξεταστεί γιατί το μοντέλο πήρε μια απόφαση και για να κατανοήσουμε τους παράγοντες που επηρεάζουν τις αποφάσεις του. Ζητήματα δικαιοσύνης και πιθανής μεροληψίας εξετάστηκαν με ερμηνευτικές τεχνικές και με ποσοτικές μετρικές fairness, δίνοντας έμφαση στον ρόλο ευαίσθητων δημογραφικών χαρακτηριστικών και στη σχέση τους με τις προβλέψεις των μοντέλων. Αυτή η έρευνα είναι σημαντική διότι προσφέρει μια συνοπτική αλλά ολοκληρωμένη εικόνα των τεχνικών και προκλήσεων που σχετίζονται με την ανάλυση πιστωτικού κινδύνου, ζήτημα που είναι ιδιαίτερα επίκαιρο στον χρηματοπιστωτικό τομέα. Στην εργασία συνδυάζονται η προβλεπτική απόδοση με τη διαφάνεια και την ερμηνευσιμότητα των μοντέλων, με σκοπό να καλυφθεί η αυξανόμενη ανάγκη για υπεύθυνη χρήση αλγοριθμικών συστημάτων από τα πιστωτικά ιδρύματα. Ακόμη, οι πρόσφατες κανονιστικές εξελίξεις, όπως η εισαγωγή του AI Act και του GDPR, έχουν αναδείξει την κρίσιμη ανάγκη επεξηγησιμότητας και λογοδοσίας στην εφαρμογή τεχνικών μηχανικής μάθησης στην πιστοληπτική αξιολόγηση.The scope of this thesis is the development and application of a credit risk analysis methodology using Machine Learning algorithms and Explainable AI techniques, with an emphasis on transparency, fairness, and bias in algorithmic decision-making. Credit risk analysis is a critical process for financial institutions, as it directly affects lending decisions and is associated with increased requirements for accountability and compliance with the regulatory framework. The proposed methodology was applied to the German Credit Dataset and includes systematic data preprocessing, the training and comparison of multiple classification models, as well as hyperparameter tuning and final evaluation on an independent test set. The predictive performance of the models was assessed using various metrics appropriate for credit risk analysis. In addition, a ranking analysis using cumulative lift was conducted in order to evaluate the models’ ability to rank borrowers according to their estimated risk. Explainable AI techniques, such as SHAP and LIME, are employed to investigate the rationale behind model decisions and to gain insights into the factors that influence those decisions. Issues of fairness and potential bias were examined using both interpretability techniques and quantitative fairness metrics, with emphasis on the role of sensitive demographic attributes and their relationship to the models’ predictions. This research is significant as it provides a concise yet comprehensive overview of the techniques and challenges associated with credit risk analysis, a topic of growing importance in the financial sector. The study combines predictive performance with model transparency and interpretability, addressing the increasing demand for the responsible use of algorithmic systems by credit institutions. Furthermore, recent regulatory developments, such as the introduction of the AI Act and the GDPR, have highlighted the critical need for explainability and accountability in the application of machine learning techniques to credit scoring.