Credit limit optimization using Markov decision processes and double deep Q networks

Abstract

Optimal Credit Limit assignment is an important drive towards profitability. Notonly does it increase the accrued revenue, by extending the credit limit of profitableaccounts, but also reduces the losses, by capping the utilization of high-risk accounts.This thesis addresses the problem of optimal credit limit assignment using a MarkovDecision Process, as a discrete-state approach, as well as a Double Deep Q Network,as a continuous-state approach.For defining the 3-dimensional state-space, a risk model, a disengagement model,as well as the credit limit of the account were used. The risk model developed, derivesthe probability of an account being delinquent for more than 30 days, whereas thedisengagement model derives the probability of an account becoming inactive.After the implementation of the two optimization methods, the best policies wereevaluated using Monte Carlo methods. In particular, the scenarios of ”Best-Policy”and ”No-Action” were compared. For both the Markov Decision Process method aswell as the Double Deep Q Networks, the ”Best-Policy” scenario outperforms the”No-Action” scenario with a percentage difference over 50%.Η βέλτιστη ανάθεση πιστωτικών ορίων είναι ένας από τους κύριους παράγοντεςκερδοφορίας ενός πιστωτικού οργανισμού. Τα βέλτιστα πιστωτικά όρια, όχι μόνοαυξάνουν τα δεδουλευμένα έσοδα, με την επιμήκυνση του πιστωτικού ορίου κερδοφόρωνλογαριασμών, αλλά επίσης μειώνουν τις ζημίες προερχόμενες από λογαριασμούςυψηλού ρίσκου, περιορίζοντας τη χρήση τους. Η παρούσα διπλωματική εργασίααντιμετωπίζει το πρόβλημα βέλτιστης ανάθεσης πιστωτικών ορίων χρησιμοποιώνταςMarkov Decision Process μεθόδους, σαν μια τεχνική διακριτού χώρου κατάστασης,καθώς επίσης και Double Deep Q Networks, σαν μια τεχνική συνεχούς χώρου κατάστασης.Για τον ορισμό της τρισδιάστατου χώρου κατάστασης, χρησιμοποιήθηκε έναμοντέλο ρίσκου, ένα μοντέλο ανενεργίας καθώς και το πιστωτικό όριο του λογαριασμού.Το μοντέλο ρίσκου που αναπτύχθηκε, μοντελοποιεί την πιθανότητα ενός λογαριασμού να αμελήσει τις οφειλές του για περισσότερο από 30 ημέρες, ενώ το μοντέλο ανενεργίας,την πιθανότητα ενός λογαριασμού να αδρανοποιηθεί.Ύστερα από την υλοποίηση των δύο μεθόδων βελτιστοποίησης, οι βέλτιστεςπολιτικές αξιολογήθηκαν χρησιμοποιώντας μεθόδους Monte Carlo. Συγκεκριμένα,συγκρίθηκαν τα σενάρια ”Καλύτερη Πολιτική” και ”Καμία Ενέργεια”. Για τη MarkovDecision Process μέθοδο, αλλά και για τα Double Deep Q Networks, το σενάριοτης ”Καλύτερης Πολιτικής” επικράτησε του σεναρίου ”Καμίας Ενέργειας”, με μιαποσοστιαία διαφορά επί των κερδών, της τάξεως του 50%.