Intent classification & slot filling for a task oriented dialog system

Abstract

Ένα από τα κύρια ενδιαφέροντα της τεχνολογικής εξέλιξης είναι η αυτοματοποίηση. Μεγάλο μέρος αυτής περιλαμβάνει την ανάπτυξη προηγμένων συστημάτων διαλόγου, που εξυπηρετούν συγκεκριμένους σκοπούς με επίκεντρο το χρήστη. Η Κατανόηση Φυσικής Γλώσσας (ΚΦΓ), ένας κλάδος της Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ), είναι υπεύθυνος για τη μελέτη και βελτίωση αυτών των συστημάτων. Στην παρούσα πτυχιακή εργασία, εστιάζοντας στα αντικείμενα της ΚΦΓ, Αναγνώριση Πρόθεσης (ΑΠ) και Συμπλήρωση Θέσης (ΣΘ), πειραματιζόμαστε με διαφορετικές προσεγγίσεις στα δημόσια αρχεία δεδομένων, ATIS και SNIPS. Σε αυτές τις προσεγγίσεις αντιμετωπίζουμε τα ΑΠ και ΣΘ, τα οποία είναι ιδιαίτερα συσχετισμένα, και ανεξάρτητα και μαζί. Με αυτές τις διαφορετικές στρατηγικές μοντελοποίησης, επιβεβαιώνουμε την κυριαρχία των προεκπαιδευμένων γλωσσικών μοντέλων, όπως το BERT, ενώ ταυτόχρονα κάνουμε μια γενική σύγκριση διαφόρων δημοσιευμένων προεκπαιδευμένων μοντέλων. Επιπροσθέτως, επιχειρούμε να τα συνδέσουμε με μια δομή Κωδικοποιητή-Αποκωδικοποιητή ιδιαίτερου ενδιαφέροντος ξεπερνώντας την ανάγκη για ευθυγράμμιση ετικετών θέσης. Εκτός από προεκπαιδευμένα μοντέλα, αξιοποιούμε την ίδια δομή Κωδικοποιητή-Αποκωδικοποιητή και προσπαθούμε να τη βελτιώσουμε μελετώντας την επιρροή που έχουνε πάνω της ρυθμιστικές αλλαγές στην εισακτέα τιμή του αποκωδικοποιητή του ΣΘ. Κατά τη διαδικασία αυτή, χρησιμοποιείται ένας μηχανισμός προσοχής.One of the main interests of technological evolution is automation. A big part of it involves the development of advanced conversational agents that serve specific user-centric purposes. Natural Language Understanding (NLU), a smaller area of Natural Language Processing (NLP), is responsible for studying and improving these task-oriented systems. In this thesis, focusing on NLU’s subtasks, Intent Recognition (IR) and Slot Filling (SF), we experiment with different modeling approaches on the publicly available ATIS and SNIPS datasets. In these approaches we face Intent Recognition and Slot Filling, which are significantly interrelated, both individually and jointly. Through these different strategies of modeling, we confirm the dominance of pre-trained Language Models like BERT while at the same time we make an overall task-specific comparison of various published pre-trained models. Furthermore, we attempt to connect them with an Encoder-Decoder structure of special interest overcoming the need for slot label alignment. Apart from pre-trained models, we leverage the same Encoder-Decoder structure and try to improve it by studying the effect that configurative changes to SF’s decoder input have on it. In this process, an attention mechanism is utilized.