Ensemble learning in uncertainty quantification for multi-label prediction: from theoretical foundations to medical image understanding

Abstract

Reliable prediction in high-stakes domains requires methods that can handle complex outputs and quantify their own uncertainty. Multi-label classification (MLC) provides the framework to address tasks where multiple labels may be simultaneously relevant, while conformal prediction (CP) provides principled guarantees on the reliability of its uncertainty estimates. This thesis investigates ensemble strategies that combine these two approaches, and in a second part applies multi-label classification methods, including ensemble-based techniques, to the task of medical concept detection. In the first part, we present a theoretical and empirical study of conformal ensembles, combining the formal coverage guarantees of CP with the robustness and diversity benefits of homogeneous and heterogeneous ensembles. We propose an ensemble conformal prediction (ECP) framework for multilabel classification, in which individually conformalized models are aggregated using standard strategies such as majority voting, probability averaging, and F1-weighted fusion. We adapt existing theoretical results to analyze coverage properties under these ensembles, and evaluate their performance across benchmark datasets. Results demonstrate that conformal ensembles consistently improve macro-F1 while maintaining valid coverage, and at the same time produce more compact and informative prediction sets compared to single-model or post-hoc conformal baselines. In the second part, we address the task of multi-label medical image concept detection, examining a range of architectures and strategies, including ensemble-based methods, as part of our participation in the ImageCLEFmedical Caption 2025 challenge. Our approach employs CNN–FFNN architectures with various backbone encoders, per-label threshold optimization to address extreme label imbalance, and diverse ensemble aggregation strategies, including union, intersection, and consensus-driven methods. Experiments on the ImageCLEFmedical dataset show that these ensembles achieved highly competitive performance in concept detection, ranking first in the 2025 competition.Η αξιόπιστη πολυετιϰετιϰή πρόβλεψη είναι ϰρίσιµη σε εφαρµογές υψηλής σηµασίας, όπου τα µοντέλα πρέπει όχι µόνο να επιτυγχάνουν υψηλή αϰρίβεια αλλά ϰαι να παρέχουν αξιόπιστες εϰτιµήσεις αβεβαιότητας. Στην εργασία αυτή µελετώνται στρατηγιϰές en-semble learning για πολυετιϰετιϰή ταξινόµηση, µε έµφαση στη µέϑοδο conformal prediction (CP), ϰαι εξετάζεται η εφαρµογή τους στον εντοπισµό ιατριϰών εννοιών. Στο πρώτο µέρος παρουσιάζεται ϑεωρητιϰή ϰαι πειραµατιϰή µελέτη των conformal ensembles, που συνδυάζουν τις στατιστιϰές εγγυήσεις ϰάλυψης του CP µε την ανϑεϰτιϰότητα ϰαι ποιϰιλία οµοιογενών ϰαι ετερογενών συνόλων µοντέλων. Αναλύονται διαφορετιϰές στρατηγιϰές συνδυασµού (πλειοψηφία, µέσος όρος πιϑανοτήτων, F1-weighted fusion) ϰαι αξιολογούνται τόσο ως προς την ϰάλυψη όσο ϰαι την αϰρίβεια σε benchmark σύνολα δεδοµένων. Τα αποτελέσµατα δείχνουν ότι οι conformal ensembles βελτιώνουν συστηµατιϰά την απόδοση ϰαι τη βαϑµονόµηση, παρέχοντας πιο συµπαγή ϰαι ϰατατοπιστιϰά σύνολα προβλέψεων σε σχέση µε µεµονωµένα µοντέλα ή µεταγενέστερες προσεγγίσεις CP. Στο δεύτερο µέρος, οι παραπάνω ιδέες εφαρµόζονται στον εντοπισµό ιατριϰών εννοιών σε ειϰόνες, στο πλαίσιο της συµµετοχής µας στον διαγωνισµό ImageCLEFmedical Caption 2025. Χρησιµοποιούνται CNN–FFNN αρχιτεϰτονιϰές µε διαφορετιϰούς backbone encoders, βελτιστοποίηση ϰατωφλίων ανά ετιϰέτα για την αντιµετώπιση αϰραίας ανισορροπίας, ϰαι διάφορες στρατηγιϰές συνδυασµού (ένωση, τοµή, consensus). Τα πειράµατα στο σύνολο δεδοµένων ImageCLEFmedical έδειξαν ότι τα προτεινόµενα ensembles πέτυχαν ϰορυφαία απόδοση, ϰαταϰτώντας την πρώτη ϑέση στον διαγωνισµό του 2025. Συνολιϰά, η εργασία αναδειϰνύει πώς ο συνδυασµός της στατιστιϰής εγϰυρότητας των conformal ensembles µε τις απαιτήσεις του ιατριϰού εντοπισµού εννοιών µπορεί να οδηγήσει σε πιο αξιόπιστες ϰαι αϰριβείς πολυετιϰετιϰές προβλέψεις.