Πλοήγηση ανά Συγγραφέα "Vechlidis, Konstantinos"

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω

Τώρα δείχνει 1 - 1 από 1

Continual learning in encoder-decoder computer vision architectures
(2024-11-29) Βεχλίδης, Κωνσταντίνος; Vechlidis, Konstantinos; Athens University of Economics and Business, Department of Informatics; Toumpis, Stavros; Pavlopoulos, Ioannis; Koutsopoulos, Iordanis
Η συνεχής μάθηση (Continual Learning) επιτρέπει στα μοντέλα να προσαρμόζονται σε νέα δεδομένα, διατηρώντας παράλληλα τη γνώση που είχαν μάθει προηγουμένως, αντιμετωπίζοντας έτσι το πρόβλημα της καταστροφικής λήθης (catastrophic forgetting). Η παρούσα διατριβή διερευνά την εφαρμογή της συνεχούς μάθησης σε αρχιτεκτονικές κωδικοποιητή-αποκωδικοποιητή, εστιάζοντας σε προβλήματα υπολογιστικής όρασης, όπως η δημιουργία λεζάντας εικόνας (image captioning). Οι αρχιτεκτονικές κωδικοποιητή-αποκωδικοποιητή επιλέγονται κυρίως σε προβλήματα που απαιτούν τη μετατροπή δομημένων δεδομένων εισόδου σε άλλη δομή ή μέσο, όπως η παραγωγή κειμένου από μια εικόνα. Τέτοια προβλήματα συχνά περιλαμβάνουν εξελισσόμενες κατανομές δεδομένων, καθιστώντας τη συνεχή μάθηση σε αυτές τις αρχιτεκτονικές απαραίτητη για τη διατήρηση της απόδοσης και της προσαρμοστικότητας. Υιοθετούμε το σενάριο της μάθησης μέσω σταδιακής επαύξησης κλάσεων (class-incremental learning), όπου νέες κλάσεις εισάγονται σταδιακά και το μοντέλο πρέπει να μάθει να ταξινομεί τις νέες κλάσεις χωρίς να ξεχνά τις προηγούμενες. Για παράδειγμα, σε ένα πρόβλημα ταξινόμησης εικόνων, ένα μοντέλο που έχει αρχικά εκπαιδευτεί να ταξινομεί κατηγορίες όπως «γάτα» και «σκύλος» μπορεί αργότερα να χρειαστεί να μάθει σταδιακά να ταξινομεί νέες κατηγορίες, όπως «πουλί» ή «ψάρι», χωρίς να χάσει την ικανότητά του να αναγνωρίζει σωστά τη «γάτα» και τον «σκύλο» σε μελλοντικές εισόδους. Για να αντιμετωπίσουμε αυτό το σενάριο, χρησιμοποιούμε τον αλγόριθμο Gradient Episodic Memory (GEM), μια διάσημη τεχνική που βασίζεται στην επανάληψη και τη βελτιστοποίηση. Ο GEM μετριάζει την καταστροφική λήθη, αποθηκεύοντας δεδομένα προηγούμενων εργασιών στη μνήμη και περιορίζοντας τις κλίσεις των παραγώγων κατά τη διάρκεια νέων φάσεων μάθησης, ώστε να αποφεύγονται παρεμβολές με τις γνώσεις που είχαν αποκτηθεί προηγουμένως. Σε αυτή την εργασία, επιλέγουμε τον GEM λόγω της ικανότητάς του να χειρίζεται τόσο την επανάληψη όσο και τη βελτιστοποίηση σε ένα ενοποιημένο πλαίσιο. Ο GEM εξασφαλίζει ότι οι εργασίες που έχουν διδαχθεί προηγουμένως δεν ξεχνιούνται καθώς το μοντέλο εκτίθεται σε νέες εργασίες, γεγονός ιδιαίτερα κρίσιμο στη μάθηση μέσω σταδιακής επαύξησης κλάσεων για τη δημιουργία λεζάντας εικόνας, όπου κάθε νέα εργασία εισάγει νέα λεξιλογικά σημεία (κλάσεις). Επιπλέον, προτείνουμε μια νέα έκδοση του GEM, που χρησιμοποιεί μάσκα, για να αντιμετωπίσουμε τη συνεχή αύξηση των παραμέτρων του μοντέλου λόγω των σταδιακών ενημερώσεων του λεξιλογίου. Εξ' όσων γνωρίζουμε, αυτή είναι η πρώτη προσπάθεια εφαρμογής του GEM στο πλαίσιο της δημιουργίας λεζάντας εικόνας. Μέσω πειραμάτων, αποδεικνύουμε ότι ο GEM υπερτερεί έναντι άλλων σύγχρονων τεχνικών συνεχούς μάθησης που έχουν εφαρμοστεί στη δημιουργία λεζάντας εικόνας, όπως το Feature Distillation (FD) και το Learning without Forgetting (LwF).