From accuracy to profitability: evaluating credit rating models’ economic impact

Abstract

This study focuses on the economic value of various predictive accuracy metrics in credit rating models. The general logic of the banks is that they rely on regression-based approaches, while more recently, it’s common to see the use of machine learning techniques to assess borrower risk. However, the question of whether investing in higher-performing models or not generates countable financial benefits remains underexplored, and most importantly, underanalysed. This paper addresses this gap by examining how more enhanced discriminatory power in models affects not only profitability, but also the lending quality and regulatory capital requirements of the banks. The analysis identifies three primary transmission channels, that are explained thoroughly in the main text, through which the models’ accuracy can influence different economic outcomes given that: (1) improved loan origination reduces defaults and enhances margins by better identifying low-risk borrowers; (2) stronger models mitigate adverse selection, a very vast sector in banking, helping retain creditworthy clients who might be lost to competitors otherwise; and (3) more accurate models, so more higher value metrics and, by extension, risk assessments can reduce Risk-Weighted Assets (RWA), freeing regulatory capital. In order to address this request in a more direct way, we are using simulation-based methods, generating synthetic loan portfolios (50,000 loans at 3% default and 10,000 prospects at 10% default) and evaluating models across Area Under the Receiver Operating Characteristic curve (AUROC) bands from 65% gradually increasing to 90%. In order to do that, based on references in the bibliography, we are confident to use different logistic distributions that were applied to mimic predictive scores, and they were calibrated to ensure consistent risk levels. In the end, the results show that defaults among top-approved loans decline sharply with better accuracy models - from nearly 6% at AUROC with 65% accuracy to less than 1% at AUROC with 90%. Proceeding to the adverse selection analysis, we can confirm that stronger models attract and retain more profitable clients. The capital impact is smaller but meaningful, with average RWA reductions of around 8% between lower-and higher-accuracy scenarios. Lastly, the profitability that was measured from the previous analysis gives further value to the model improvements. By applying a realistic arithmetical example, on a €3.5 billion retail portfolio, each 5-point AUROC percentage increase can generate approximately €0.8-1 million in addition to the annual profit, with relative gains of 5-12% depending on competitive dynamics. These effects can compound over time as new loans are added annually, while the findings show us that even with incremental improvements in model discrimination can yield and generate significant economic returns, reinforcing the strategic importance of continuous model enhancement. Banks, regulators, and model developers at the same time can use these insights to firstly justify investments, then set performance benchmarks, and also better understand the link between model validation metrics and real-world financial outcomes.Η εξής μελέτη εστιάζει στην οικονομική αξία διαφόρων μετρήσεων προγνωστικής ακρίβειας σε μοντέλα αξιολόγησης πιστοληπτικής ικανότητας. Η γενική λογική των τραπεζών βασίζεται σε προσεγγίσεις που εστιάζουν στην παλινδρόμηση, ενώ πιο πρόσφατα, είναι σύνηθες να βλέπουμε ακόμη και τη χρήση τεχνικών μηχανικής μάθησης για την αξιολόγηση του κινδύνου των δανειοληπτών. Ωστόσο, το ερώτημα του κατά πόσον η επένδυση σε μοντέλα υψηλότερης απόδοσης παράγει μετρήσιμα οικονομικά οφέλη παραμένει ανεπαρκώς διερευνώμενο και κυριώτερα αναλυμένο. Η παρούσα εργασία αντιμετωπίζει αυτό το κενό εξετάζοντας πώς η πιο ενισχυμένη μεροληπτική δύναμη στα μοντέλα επηρεάζει όχι μόνο την κερδοφορία, αλλά την ποιότητα και ακρίβεια των δανεισμών καθώς και τις απαιτήσεις κεφαλαιακής επάρκειας των τραπεζών. Η ανάλυση προσδιορίζει τρία κύρια κανάλια μετάδοσης, τα οποία εξηγούνται διεξοδικά στη συνέχεια, μέσω των οποίων η ακρίβεια των μοντέλων μπορεί να επηρεάσει διαφορετικά τα οικονομικά αποτελέσματα, δεδομένου ότι: (1) η βελτιωμένη χορήγηση δανείων μειώνει τις αθετήσεις και ενισχύει τα περιθώρια κέρδους εντοπίζοντας καλύτερα τους δανειολήπτες χαμηλού κινδύνου· (2) τα ισχυρότερα μοντέλα μετριάζουν ή ακόμα και συρρικνώνουν το φαινόμενο αντίστροφης επιλογής, ένας πολύ τεράστιος τομέας για τις τράπεζες, βοηθώντας στη διατήρηση πιστοληπτικά αξιόπιστων πελατών που διαφορετικά θα μπορούσαν να χαθούν από τους ανταγωνιστές· και (3) πιο ακριβή μοντέλα, σημαίνει περισσότερες μετρήσεις υψηλότερης αξίας και, κατ' επέκταση, οι αξιολογήσεις κινδύνου μπορούν να μειώσουν τα Σταθμισμένα ως προς τον Κίνδυνο Περιουσιακά Στοιχεία (RWA), απελευθερώνοντας το εποπτικό κεφάλαιο. Για να αντιμετωπίσουμε αυτό το αίτημα με πιο άμεσο τρόπο, χρησιμοποιούμε μεθόδους που βασίζονται σε προσομοιώσεις, δημιουργώντας συνθετικά χαρτοφυλάκια δανείων (50,000 δάνεια με ποσοστό αθέτησης 3% και 10,000 υποψήφιους με ποσοστό αθέτησης 10%) και αξιολογώντας μοντέλα σε διάφορα εύρη AUROC από 65% αυξανόμενο σταδιακά σε 90%. Για να το κάνουμε αυτό, με βάση διάφορες αναφορές στη βιβλιογραφία, είμαστε ασφαλείς για την χρήση ποικίλων λογιστικών κατανομών που εφαρμόστηκαν για να μιμηθούν τις προγνωστικές βαθμολογίες και ύστερα βαθμονομήθηκαν για να διασφαλίσουν συνεπή επίπεδα κινδύνου. Τελικά, τα αποτελέσματα δείχνουν ότι οι αθετήσεις μεταξύ των κορυφαίων εγκεκριμένων δανείων μειώνονται απότομα με μοντέλα καλύτερης ακρίβειας - από σχεδόν 6% στο AUROC με ακρίβεια 65% σε λιγότερο από 1% στο AUROC με 90%. Προχωρώντας στην ανάλυση δυσμενούς επιλογής, μπορούμε να επιβεβαιώσουμε ότι τα ισχυρότερα μοντέλα προσελκύουν και διατηρούν πιο κερδοφόρους πελάτες. Ο αντίκτυπος στο κεφάλαιο είναι μικρότερος αλλά σημαντικός, με μέσες μειώσεις στο RWA περίπου 8% μεταξύ ευρών χαμηλότερης - και υψηλότερης - ακρίβειας. Τέλος, η κερδοφορία που μετρήθηκε από την προηγούμενη ανάλυση δίνει περαιτέρω αξία στις βελτιώσεις του μοντέλου. Εφαρμόζοντας ένα ρεαλιστικό αριθμητικό παράδειγμα, σε ένα χαρτοφυλάκιο λιανικής πώλησης ύψους 3,5 δισεκατομμυρίων ευρώ, κάθε αύξηση του ποσοστού AUROC κατά 5 μονάδων μπορεί να δημιουργήσει περίπου 0,8-1 εκατομμύριο ευρώ επιπλέον του ετήσιου κέρδους, με σχετικά κέρδη 5-12% ανάλογα με τη δυναμική του ανταγωνισμού. Αυτές οι επιπτώσεις μπορούν να επιδεινωθούν με την πάροδο του χρόνου καθώς προστίθενται νέα δάνεια ετησίως.. Οι τράπεζες, οι ρυθμιστικές αρχές και οι κατασκευαστές μοντέλων μπορούν ταυτόχρονα να χρησιμοποιήσουν αυτές τις πληροφορίες για να δικαιολογήσουν πρώτα τις επενδύσεις, στη συνέχεια να ορίσουν σημεία αναφοράς απόδοσης, αλλά επίσης να κατανοήσουν καλύτερα τη σύνδεση μεταξύ των μετρήσεων μοντέλων και των πραγματικών οικονομικών αποτελεσμάτων τους.