Διδακτορικές διατριβές

Μόνιμο URI για αυτήν τη συλλογήhttps://pyxida.aueb.gr/handle/123456789/5

Περιήγηση

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω

Τώρα δείχνει 1 - 3 από 3

Aspect Based Sentiment Analysis
Pavlopoulos, Ioannis; Athens School of Economics and Business, Department of Informatics; Androutsopoulos, Ion
Aspect Based Sentiment Analysis (ABSA) systems receive as input a set of texts (e.g.,product reviews or messages from social media) discussing a particular entity (e.g., anew model of a mobile phone). The systems attempt to detect the main (e.g., the mostfrequently discussed) aspects (features) of the entity (e.g., ‘battery’, ‘screen’) and toestimate the average sentiment of the texts per aspect (e.g., how positive or negativethe opinions are on average for each aspect). Although several ABSA systems have been proposed, mostly research prototypes, there is no established task decompositionfor ABSA, nore are there any established evaluation measures for the subtasks ABSA systems are required to perform. This thesis, proposes a new task decomposition for ABSA, which contains three main subtasks: aspect term extraction, aspect term aggregation, and aspect term polarity estimation. The first subtask detects single- and multi-word terms naming aspects of the entity being discussed (e.g., ‘battery’, ‘hard disc’), called aspect terms. The second subtask aggregates (clusters) similar aspect terms (e.g., ‘price’ and ‘cost’, but maybe also ‘design’ and ‘color’), depending on user preferences and other restrictions (e.g., the size of the screen where the results of the ABSA system will be shown). The third subtask estimates the average sentiment per aspect term or cluster of aspect terms. For each one of the above mentioned subtasks, benchmark datasets for different kinds of entities (e.g., laptops, restaurants) were constructed during the work of this thesis. New evaluation measures are introduced for each subtask, arguing that they are more appropriate than previous evaluation measures. For each subtask, the thesis also proposes new methods (or improvements over previous methods), showing experimentally on the constructed benchmark datasets that the new methods (or the improved versions) are better or at least comparable to state of the art ones.
Deep neural networks for biomedical question answering
(01-05-2023) Παππάς, Δημήτριος; Pappas, Dimitrios; Athens University of Economics and Business, Department of Informatics; Papageorgiou, Haris; Koutsopoulos, Iordanis; Vassalos, Vasilios; Kotidis, Υannis; Konstas, Ioannis; Paliouras, Georgios; Androutsopoulos, Ion
Σε αυτήν τη διατριβή, επεκτείνουμε την έρευνα στον τομέα των ερωταποκρίσεων σε βιοϊατρικά κείμενα. Το πρώτο μέρος της διατριβής επικεντρώνεται στην ανάκτηση περιλήψεων επιστημονικής βιβλιογραφίας με βάση μια ερώτηση που υποβάλλεται από έναν βιοϊατρικό ειδικό εκφρασμένη σε φυσική γλώσσα. Προτείνουμε νέα μοντέλα βαθιάς μάθησης για την ανάκτηση βιοϊατρικών κειμένων και εξαγωγή αποσπασμάτων σχετικών με την ερώτηση. Προτείνονται επίσης μοντέλα που ανακτούν τα κείμενα και τα αποσπάσματα ταυτόχρονα, τα οποία βελτιώνουν ακόμη περισσότερο τα αποτελέσματα. Το καλύτερο μοντέλο βαθιάς μάθησης που δημιουργήθηκε έγινε δημόσια διαθέσιμο ως πρωτότυπο έρευνας κατά τη διάρκεια της πανδημίας του κορονοϊού για να βοηθήσει τους ερευνητές σε όλο τον κόσμο. Σε συνεργασία με βιοϊατρικούς ειδικούς, χρησιμοποιήσαμε ένα από τα μοντέλα βαθιάς μάθησης μας για την ανάκτηση εγγράφων και αναπτύξαμε ένα σύστημα αναγνώρισης λογοτεχνίας για συστηματικές ανασκοπήσεις.Ένα μείζον θέμα στις ερωταποκρίσεις σε βιοϊατρικά κείμενα είναι η έλλειψη επισημειωμένων δεδομένων από ανθρώπους, καθώς η επισημείωση απαιτεί ανθρώπινη ειδίκευση και χρόνο. Για αυτό το λόγο στο δεύτερο τμήμα της διατριβής, κατασκευάσαμε δύο νέα τεχνητά σύνολα δεδομένων για ερωταποκρίσεις σε βιοϊατρικά δεδομένα με τη μορφή πολλαπλής επιλογής (cloze-style QA) τα οποία και διατίθενται ελεύθερα. Ακολουθήσαμε μια μεθοδολογία που χρησιμοποιήθηκε στο παρελθόν σε ειδησεογραφικά άρθρα και βιβλία και κατασκευάζουμε εκατομμύρια τεχνητά παραδείγματα εκπαίδευσης που μπορούν να χρησιμοποιηθούν για την εκπαίδευση μοντέλων βαθιάς μάθησης που απαιτούν μεγάλο όγκο δεδομένων. Αξιολογώντας τις απαντήσεις των ανθρώπων στις κατασκευασμένες ερωτήσεις, δείχνουμε ότι οι άνθρωποι που είναι ειδικοί στον τομέα ξεπερνούν τους μη ειδικούς, το οποίο υποστηρίζει τον ισχυρισμό ότι η ανθρώπινη τεχνογνωσία είναι απαραίτητη για την απάντηση ερωτήσεων στον βιοϊατρικό τομέα. Αναπτύξαμε και εκπαιδεύσαμε νέα μοντέλα βαθιάς μάθησης για κατανόηση γραπτού λόγου χρησιμοποιώντας τα νέα μας σύνολα δεδομένων. Τα μοντέλα μας ξεπερνούν προηγούμενα προτεινόμενα μοντέλα βαθιάς μάθησης για ερωταποκρίσεις πολλαπλών επιλογών, καθώς και τέσσερα ισχυρά μοντέλα που δεν χρησιμοποιούν βαθιά μάθηση. Σε πειράματα που διεξήχθησαν σε ένα δείγμα του συνόλου δεδομένων, το καλύτερο μοντέλο ξεπέρασε όλους τους ανθρώπους που δεν ήταν ειδικοί και πέτυχε ανταγωνιστικά αποτελέσματα σε σύγκριση με τους ειδικούς βιοϊατρικής.Στο τρίτο μέρος της διατριβής, εκπαιδεύσαμε μοντέλα βαθιάς μάθησης για εξαγωγή απαντήσεων σε βιοϊατρικές ερωτήσεις ως τμήματα κειμένου (φράσεις) σε δύο καλά εδραιωμένα βιοϊατρικά σύνολα δεδομένων. Με δεδομένο ένα απόσπασμα κειμένου και μια ερώτηση, επιλέγεται ως απάντηση ένα τμήμα του αποσπάσματος.Εξετάζουμε έξι τεχνικές επαύξησης δεδομένων που εφαρμόζεται πριν από την εκπαίδευση των μοντέλων.Δείχνουμε ότι όλες οι τεχνικές επαύξησης δεδομένων βελτιώνουν την απόδοση, ακόμα και όταν χρησιμοποιούνται ως δεδομένα για περαιτέρω εκπαίδευση (fine-tuning) όταν χρησιμοποιούνται μεγάλα προεκπαιδευμένα γλωσσικά μοντέλα.Δείχνουμε επίσης ότι η χρήση ενός από τα τεχνητά σύνολα δεδομένων που δημιουργήθηκαν σε αυτή τη διατριβή λειτουργεί ως μια καλή τεχνική επαύξησης δεδομένων.
Deep neural networks for information mining from legal texts
(04/19/2021) Chalkidis, Ilias; Χαλκίδης, Ηλίας; Athens University of Economics and Business, Department of Informatics; Aletras, Nikolaos; Vazirgiannis, Michalis; Vassalos, Vasilios; Koubarakis, Manolis; Konstas, Ioannis; Paliouras, Georgios; Androutsopoulos, Ion
Legal text processing (Ashley, 2017) is a growing research area where Natural Language Processing (NLP) techniques are applied in the legal domain. There are several applications such as legal text segmentation (Mencia, 2009; Hasan et al., 2008), legal topic classification (Mencia and Fürnkranzand, 2007; Nallapati and Manning, 2008), legal judgment prediction and analysis (Wang et al., 2012; Aletras et al., 2016), legal information extraction (Kiyavitskaya et al., 2008; Dozier et al., 2010; Asooja et al., 2015), and legal question answering (Kim et al., 2015b, 2016b). These applications and relevant NLP techniques arise from three main sub-domains, i.e, legislation, court cases, and legal agreements (contracts). In all three sub-domains, documents are much longer than in most other modern NLP applications. They also have different characteristics concerning the use of language, the writing style, and their structuring, compared to non-legal text. Given the rapid growth of deep learning technologies (Goodfellow et al., 2016; Goldberg, 2017), the goal of this thesis is to explore and advance deep learning methods for legal tasks, such as contract element and obligation extraction, legal judgment prediction, legal topic classification, and information retrieval, that have already been discussed in the literature (but not in the context of deep learning) or that were first addressed during the work of this thesis. In this direction, we aim to answer two main research questions: First and foremost on the adaptability of neural methods that have been proposed for related NLP tasks in other domains and how they are affected by legal language, writing, and structure; and second on providing explanations of neural models’ decisions (predictions). Considering the first research question we find and highlight several cases, where either legal language affects a model’s performance or suitable modeling is needed to imitate the document structure. To this end, we pre-train and use in-domain word representations and neural language models, while we also propose new methods with state-of-the-art performance. With respect to model explainability, we initially experiment with saliency (attention) heat-maps and highlight their limitations as a means for the explanation of the model’s decisions, especially in the most challenging task of legal judgment prediction, where it is most important. To overcome these limitations we further study rationale extraction techniques as a prominent methodology towards model explainability.In lack of publicly available annotated datasets in order to experiment with deep learning methods, we curate and publish five datasets for various legal tasks (contract element extraction, legal topic classification, legal judgment prediction and rationale extraction, and legal information retrieval), while we also publish legal word embeddings and a legal pre-trained language model to assist legal text processing research and development. We consider our work, a first, fundamental, step among other recent efforts, towards improving legal natural language understanding using state-of-the-art deep learning techniques, which further promotes the adaptation of new technologies and sheds light on the emerging field of legal text processing.

Περιήγηση

Πλοήγηση Διδακτορικές διατριβές ανά Επιβλέπων "Androutsopoulos, Ion"