Διδακτορικές διατριβές
Μόνιμο URI για αυτήν τη συλλογήhttps://pyxida.aueb.gr/handle/123456789/5
Περιήγηση
Πλοήγηση Διδακτορικές διατριβές ανά Θέμα "Biomedical domain"
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω
Τώρα δείχνει 1 - 1 από 1
- Αποτελέσματα ανά σελίδα
- Επιλογές ταξινόμησης
Τεκμήριο Deep neural networks for biomedical question answering(01-05-2023) Παππάς, Δημήτριος; Pappas, Dimitrios; Athens University of Economics and Business, Department of Informatics; Papageorgiou, Haris; Koutsopoulos, Iordanis; Vassalos, Vasilios; Kotidis, Υannis; Konstas, Ioannis; Paliouras, Georgios; Androutsopoulos, IonΣε αυτήν τη διατριβή, επεκτείνουμε την έρευνα στον τομέα των ερωταποκρίσεων σε βιοϊατρικά κείμενα. Το πρώτο μέρος της διατριβής επικεντρώνεται στην ανάκτηση περιλήψεων επιστημονικής βιβλιογραφίας με βάση μια ερώτηση που υποβάλλεται από έναν βιοϊατρικό ειδικό εκφρασμένη σε φυσική γλώσσα. Προτείνουμε νέα μοντέλα βαθιάς μάθησης για την ανάκτηση βιοϊατρικών κειμένων και εξαγωγή αποσπασμάτων σχετικών με την ερώτηση. Προτείνονται επίσης μοντέλα που ανακτούν τα κείμενα και τα αποσπάσματα ταυτόχρονα, τα οποία βελτιώνουν ακόμη περισσότερο τα αποτελέσματα. Το καλύτερο μοντέλο βαθιάς μάθησης που δημιουργήθηκε έγινε δημόσια διαθέσιμο ως πρωτότυπο έρευνας κατά τη διάρκεια της πανδημίας του κορονοϊού για να βοηθήσει τους ερευνητές σε όλο τον κόσμο. Σε συνεργασία με βιοϊατρικούς ειδικούς, χρησιμοποιήσαμε ένα από τα μοντέλα βαθιάς μάθησης μας για την ανάκτηση εγγράφων και αναπτύξαμε ένα σύστημα αναγνώρισης λογοτεχνίας για συστηματικές ανασκοπήσεις.Ένα μείζον θέμα στις ερωταποκρίσεις σε βιοϊατρικά κείμενα είναι η έλλειψη επισημειωμένων δεδομένων από ανθρώπους, καθώς η επισημείωση απαιτεί ανθρώπινη ειδίκευση και χρόνο. Για αυτό το λόγο στο δεύτερο τμήμα της διατριβής, κατασκευάσαμε δύο νέα τεχνητά σύνολα δεδομένων για ερωταποκρίσεις σε βιοϊατρικά δεδομένα με τη μορφή πολλαπλής επιλογής (cloze-style QA) τα οποία και διατίθενται ελεύθερα. Ακολουθήσαμε μια μεθοδολογία που χρησιμοποιήθηκε στο παρελθόν σε ειδησεογραφικά άρθρα και βιβλία και κατασκευάζουμε εκατομμύρια τεχνητά παραδείγματα εκπαίδευσης που μπορούν να χρησιμοποιηθούν για την εκπαίδευση μοντέλων βαθιάς μάθησης που απαιτούν μεγάλο όγκο δεδομένων. Αξιολογώντας τις απαντήσεις των ανθρώπων στις κατασκευασμένες ερωτήσεις, δείχνουμε ότι οι άνθρωποι που είναι ειδικοί στον τομέα ξεπερνούν τους μη ειδικούς, το οποίο υποστηρίζει τον ισχυρισμό ότι η ανθρώπινη τεχνογνωσία είναι απαραίτητη για την απάντηση ερωτήσεων στον βιοϊατρικό τομέα. Αναπτύξαμε και εκπαιδεύσαμε νέα μοντέλα βαθιάς μάθησης για κατανόηση γραπτού λόγου χρησιμοποιώντας τα νέα μας σύνολα δεδομένων. Τα μοντέλα μας ξεπερνούν προηγούμενα προτεινόμενα μοντέλα βαθιάς μάθησης για ερωταποκρίσεις πολλαπλών επιλογών, καθώς και τέσσερα ισχυρά μοντέλα που δεν χρησιμοποιούν βαθιά μάθηση. Σε πειράματα που διεξήχθησαν σε ένα δείγμα του συνόλου δεδομένων, το καλύτερο μοντέλο ξεπέρασε όλους τους ανθρώπους που δεν ήταν ειδικοί και πέτυχε ανταγωνιστικά αποτελέσματα σε σύγκριση με τους ειδικούς βιοϊατρικής.Στο τρίτο μέρος της διατριβής, εκπαιδεύσαμε μοντέλα βαθιάς μάθησης για εξαγωγή απαντήσεων σε βιοϊατρικές ερωτήσεις ως τμήματα κειμένου (φράσεις) σε δύο καλά εδραιωμένα βιοϊατρικά σύνολα δεδομένων. Με δεδομένο ένα απόσπασμα κειμένου και μια ερώτηση, επιλέγεται ως απάντηση ένα τμήμα του αποσπάσματος.Εξετάζουμε έξι τεχνικές επαύξησης δεδομένων που εφαρμόζεται πριν από την εκπαίδευση των μοντέλων.Δείχνουμε ότι όλες οι τεχνικές επαύξησης δεδομένων βελτιώνουν την απόδοση, ακόμα και όταν χρησιμοποιούνται ως δεδομένα για περαιτέρω εκπαίδευση (fine-tuning) όταν χρησιμοποιούνται μεγάλα προεκπαιδευμένα γλωσσικά μοντέλα.Δείχνουμε επίσης ότι η χρήση ενός από τα τεχνητά σύνολα δεδομένων που δημιουργήθηκαν σε αυτή τη διατριβή λειτουργεί ως μια καλή τεχνική επαύξησης δεδομένων.