Job recommendation system using deep learning

Abstract

This is the report of a capstone project carried out for the MSc in Data Science at Athens University of Economics and Business. The objective of this project was to design a recommendation engine which, given information about a candidate’s interests, would be able to recommend relevant jobs. The task can be divided into two parts, an Information Retrieval (IR) part and a Machine Learning part. For the information retrieval part, Elastic Search engine was used in order to retrieve top 100 relevant jobs for a candidate. Then a deep neural network model called Deep Relevance Matching Model (DRMM) proposed by Guo et al was applied to rerank the results and retrieve the top 10 jobs for the candidate. The data used are given by the software recruitment company Workable and the evaluation of the results is done both automatically using typical IR measures and manually by examining the results one by one.

H παρούσα διπλωματική εργασία πραγματοποιήθηκε στα πλαίσια του μεταπτυχιακού στην Επιστήμη των Δεδομένων στο Οικονομικό Πανεπιστήμιο Αθηνών. Το αντικείμενο της διπλωματικής είναι ο σχεδιασμός ενός συστήματος προσωποποιημένης πρότασης αγγελιών εργασίας σε χρήστες της πλατφόρμας εύρεσης εργασίας της εταιρείας Workable. Η υλοποίηση του συστήματος αυτού αποτελείται από δύο μέρη. Το πρώτο αφορά στην εξαγωγή εγγράφων με τη χρήση συστήματος Ανάκτησης Πληροφοριών και το δεύτερο αφορά στην ανακατάταξη των εγγράφων αυτών με τη χρήση μεθόδων Μηχανικής Μάθησης. Το σύστημα ανάκτησης πληροφοριών που χρησιμοποιήθηκε ήταν το Elasticsearch ενώ ως σύστημα μηχανικής μάθησης χρησιμοποιήθηκε το μοντέλο Deep Relevance Matching Model το οποίο προτάθηκε από τους Guo et al. Τα δεδομένα που χρησιμοποιούνται για την δημιουργία του συστήματος ανήκουν στη εταιρεία Workable και η αξιολόγηση των μοντέλου θα γίνει χρησιμοποιώντας κλασικές μεθόδους αξιολόγησης μοντέλων εξόρυξης δεδομένων καθώς και με την παρατήρηση των αποτελεσμάτων από τον προγραμματιστή.