Explainability in machine learning: an application on retail industry

Abstract

Οι εξελίξεις στο χώρο της μηχανικής μάθησης έχουν οδηγήσει στην ανάπτυξη πολύπλοκων μοντέλων με σκοπό την επίλυση πολύπλοκων προβλημάτων. Για αυτόν το λόγο, έγινε επιτακτική η ανάγκη να μπορούν οι αποφάσεις των αυτών των μοντέλων να επεξηγηθούν και να είναι ερμηνεύσιμες. Σε αυτήν τη διπλωματική εργασία, κάνουμε αρχικά μία έρευνα για τις σύγχρονες επεξηγηματικές μεθόδους που μπορούν να εφαρμοστούν σε μοντέλα μηχανικής μάθησης. Έπειτα, περιγράφουμε τα απλά ερμηνεύσιμα μοντέλα και τα πιο πολύπλοκα μοντέλα που είναι πολλές φορές καλύτερα στις προβλέψεις αλλά όχι άμεσα και εύκολα ερμηνεύσιμα. Τα πειράματα τα κάναμε σε ένα σύνολο από δεδομένα λιανικής που περιέχει τιμές και έσοδα πολλών ανταγωνιστών που παράγουν το ίδιο προϊόν. Ο κύριος στόχος είναι να εξάγουμε χρήσιμα συμπεράσματα σχετικά με τις συσχετίσεις μεταξύ των ανταγωνιστών και το κατά πόσο το ένα επηρεάζει το άλλο. Για να το καταφέρουμε αυτό, πρώτα διερευνήσαμε τα δεδομένα και εκπαιδεύσαμε μοντέλα μηχανικής μάθησης τα οποία να μπορούν να προβλέψουν τα έσοδα των εταιρειών, και μετά να αναλύσουμε με επεξηγηματικές μεθόδους, όπως Shapley Values, ποιοι ανταγωνιστές συνεισέφεραν περισσότερο στις συγκεκριμένες προβλέψεις. Στο τέλος, πραγματοποιήσαμε μία εφαρμογή για μία συγκεκριμένη μάρκα από την αρχή μέχρι το τέλος, ως παράδειγμα του πώς μπορεί να βοηθήσουν οι μέθοδοι αυτοί τους άμεσα ενδιαφερόμενους που παίρνουν τις επιχειρηματικές αποφάσεις.

The research and need for explainability and interpretability of machine learning models has been exponentially growing in recent years, resulting in many state-of-the-art approaches. The present thesis starts with an in-depth literature review, to record the various approaches of explainable machine learning, and to better understand the notions that enclose the explainability methods. We continue by describing the numerous interpretable models, both the more complex models that are widely used by machine learning community, as well as the methods that more easily comprehensible by humans. For our experiments, we used a small dataset from retail industry, including prices and turnovers of various competitor brands. Our main goal is to gain insights about the behavior of the various brands and the relationship between their prices and their turnovers. We built models that can predict the turnovers based on the prices of the same and the rest of the brands. Afterwards we implement explainability methods, like Shapley Values, to understand the underlying relations (if any) between the different brands. Finally, we apply the existed methods, performing an end-to-end analysis of one use case in order to provide an example on how these methods can be helpful for stakeholders