Exploring recommendation systems using graph-based machine learning

Abstract

Recommender systems have become increasingly popular in a world where digital, personalized experiences drive user engagement in areas such as e-commerce, streaming services, and online advertising. This thesis will be looking at the development and implementation of recommendation algorithms, especially graph based models applied using machine learning. A historical perspective will be used to track development from early collaborative filtering and content-based filtering approaches to latent factor models and deep learning. The recent developments in Graph Neural Networks (GNNs) are emphasized because GNNs are powerful and can use a user-item interaction graph to capture high-order relation structures. In this thesis, five models are implemented and compared: BPR-MF (baseline), NGCF, LightGCN, GraphSAGE, and GAT. In addition, the MovieLens 1M dataset was enhanced by demographic and genre data to address cold-start issues. In quantitative analysis, the graph-based models were able to be measured across various metrics like Precision@10, Recall@10, NDCG, Mean Reciprocal Rank, etc. in order to have various aspects to explore. This research ends by concluding that GNNs are an appealing approach for accurate, robust, and context-aware recommendations. While the GNN implementations herein performed well in an offline environment, it is argued that the next step is a graph streaming framework for real-time or near real-time recommendations. Future work is suggested to equalize optimizations for adaptive updates and build scalable architectures for dynamic graphs. Overall, the potential of graph-based models is demonstrated as a bridge between theoretical advancements in GNNs and real-world recommender applications.Τα συστήματα συστάσεων έχουν γίνει όλο και πιο δημοφιλή σε έναν κόσμο όπου οι ψηφιακές, εξατομικευμένες εμπειρίες ενισχύουν την αλληλεπίδραση των χρηστών σε τομείς όπως το ηλεκτρονικό εμπόριο, οι υπηρεσίες streaming και η διαδικτυακή διαφήμιση. Η παρούσα διπλωματική εργασία εξετάζει την ανάπτυξη και υλοποίηση αλγορίθμων συστάσεων, με έμφαση σε μοντέλα βασισμένα σε γράφους που εφαρμόζονται με χρήση μηχανικής μάθησης. Μέσα από μια ιστορική αναδρομή, παρακολουθείται η εξέλιξη από τις πρώιμες προσεγγίσεις συνεργατικής φιλτραρίσματος (collaborative filtering) και φιλτραρίσματος βάσει περιεχομένου (content-based filtering) μέχρι τα μοντέλα λανθανόντων παραγόντων (latent factor models) και τη βαθιά μάθηση (deep learning). Ιδιαίτερη έμφαση δίνεται στις πρόσφατες εξελίξεις των Γραφικών Νευρωνικών Δικτύων (Graph Neural Networks - GNNs), καθώς τα GNNs είναι ισχυρά εργαλεία που αξιοποιούν το γράφο αλληλεπίδρασης χρήστη-αντικειμένου για να συλλάβουν δομές σχέσεων ανώτερης τάξης. Σε αυτή τη διπλωματική εργασία υλοποιούνται και συγκρίνονται πέντε μοντέλα: BPR-MF (baseline), NGCF, LightGCN, GraphSAGE και GAT. Επιπλέον, το σύνολο δεδομένων MovieLens 1M ενισχύθηκε με δημογραφικά και δεδομένα ειδών προκειμένου να αντιμετωπιστούν προβλήματα cold-start. Μέσω ποσοτικής ανάλυσης, τα μοντέλα βασισμένα σε γράφους αξιολογήθηκαν με βάση διάφορες μετρικές όπως Precision@10, Recall@10, NDCG, Mean Reciprocal Rank, κ.ά., προσφέροντας έτσι πολλαπλές οπτικές προς διερεύνηση. Η έρευνα αυτή καταλήγει στο συμπέρασμα ότι τα GNNs αποτελούν μια ελκυστική προσέγγιση για ακριβείς, ανθεκτικές και ευαισθητοποιημένες στο περιεχόμενο συστάσεις. Παρότι οι υλοποιήσεις των GNNs εδώ είχαν καλές επιδόσεις σε offline περιβάλλον, προτείνεται ως επόμενο βήμα η ανάπτυξη ενός graph streaming πλαισίου για συστάσεις σε πραγματικό ή σχεδόν πραγματικό χρόνο. Για το μέλλον προτείνεται να δοθεί έμφαση στη βελτιστοποίηση για προσαρμοστικές ενημερώσεις και την κατασκευή κλιμακούμενων αρχιτεκτονικών για δυναμικούς γράφους. Συνολικά, αναδεικνύεται η δυναμική των μοντέλων βασισμένων σε γράφους ως μια γέφυρα μεταξύ των θεωρητικών εξελίξεων στα GNNs και των πραγματικών εφαρμογών συστημάτων συστάσεων.