Boumpi, MariaΜπουμπή, Μαρία2025-10-312025-10-312025-10-29https://pyxida.aueb.gr/handle/123456789/12322https://doi.org/10.26219/heal.aueb.9517Detecting Alzheimer’s disease (AD) at an early stage is critical for planning effective treatments, supporting patients and their families, and slowing the progression of symptoms. Conventional practices, such as neuroimaging and biomarker assessment, tend to be costly and impractical for broad screening applications. This study tries to fill the gaps from previous studies and explore the ability of handwriting analysis as a non-invasive, accessible, and affordable way to identify AD. Our approach combines two perspectives, measurable features from pen movement patterns and handwritten images. The analysis integrated two datasets, the DARWIN dataset, which offers a range of tabular and image data from handwriting samples from multiple tasks, and the Alzheimer’s Disease Dataset (ADD), a detailed clinical dataset with demographic, medical, and cognitive assessment data. A series of classification approaches was applied, classic machine learning models (Random Forest, SVM, XGBoost) on tabular data, a deep learning-based Swin Transformer for images, and a multimodal classifier fusing the two modalities. The results confirm that the handwriting-based features are individually strong enough to be used as a diagnostic tool, as Random Forest achieved 83.03% ± 1.18 on DARWIN tabular data and XGBoost achieved 83.53% ± 3.44 on the ADD dataset. The Swin Transformer also managed to reach a consistent performance on handwriting images (80.02% ± 0.87) and was able to capture delicate motor and spatial anomalies that suggest cognitive decline. The best overall performance was achieved with a late fusion model that combined both modalities, achieving 89.15% ± 1.73 Accuracy. This highlights how combining visual and structured data can capture both neuromotor and cognitive impairment. Ablation studies looked at the effects of sequence and order on handwriting tasks and the bounds of joint training in data-constrained fusions. Studies have demonstrated that modular fusion provides more consistent and interpretable outcomes than any other method available in small-sample situations. In summary, handwriting, represented by measurable features from pen movement patterns and raw handwriting images, is simple, inexpensive, and reliable for detecting AD. It surpasses clinical performance while enabling home and clinical use.Η νόσος Αλτσχάιμερ (AD) είναι µία νευροεκφυλιστιϰή ασθένεια η οποία προσβάλλει ένα μεγάλο μέρος του πληθυσμού παγκοσμίως και κάθε χρόνο τα ποσοστά εμφάνισής της αυξάνονται. Συνεπώς, η έγκυρη διάγνωση έχει μεγάλη σημασία για τον καθορισμό της κατάλληλης θεραπείας, προκειμένου να επιβραδυνθεί η εξέλιξη της νόσου. Μέχρι σήμερα η διάγνωση γίνεται μέσα από νευροαπεικόνιση (MRI) ή ανάλυση βιοδεικτών. Αυτές οι μέθοδοι συχνά είναι ακριβές και όχι πρακτικές για μαζικό πρόωρο έλεγχο. Η παρούσα εργασία προτείνει µία μέθοδο που βασίζεται στην ανάλυση της γραφής, ως µία προσιτή και µη επεμβατική προσέγγιση για την ανίχνευση της νόσου. Για τους σκοπούς της διπλωματικής αυτής εργασίας χρησιμοποιήθηκαν δύο σύνολα δεδομένων, το DARWIN, το οποίο περιλαμβάνει αριθμητικά χαρακτηριστικά που έχουν εξαχθεί από την κίνηση της γραφίδας αλλά και εικόνες από τις δοκιμασίες στις οποίες υποβλήθηκαν οι συμμετέχοντες κατά τη δημιουργία του συνόλου αυτού. Το δεύτερο σύνολο δεδομένων είναι το Alzheimer’s Disease Dataset (ADD), που περιλαμβάνει αριθμητικά δεδομένα που αφορούν τα δημογραφικά και κλινικά χαρακτηριστικά των συμμετεχόντων. Εφαρμόστηκαν κλασικοί αλγόριθμοι μηχανικής μάθησης όπως Random Forest, Support Vector Machine, XGBoost για τα αριθμητικά δεδομένα, Swin Transformer για ταξινόμηση των εικόνων, καθώς και αλγόριθμο που συνδυάζει δύο τύπους δεδομένων (Late Fusion). Τα αποτελέσματα φανέρωσαν την διαγνωστική αξία και των δύο τύπων δεδομένων. Το μοντέλο Late Fusion πέτυχε την καλύτερη ακρίβεια (89.15% ± 1.73), συνδυάζοντας τα πλεονεκτήματα των χαρακτηριστικών της εικόνας και των αριθμητικών δεδομένων των χειρόγραφων. Ακόμα, έγινε ανάλυση σφαλμάτων (error analysis) που αποκάλυψε διαφορές στον τρόπο ερμηνείας των μοντέλων, για παράδειγμα, η οπτική πληροφορία από το Swin Transformer συνέβαλε στην σωστή ταξινόμηση περιπτώσεων µε παραπλανητικά αριθμητικά χαρακτηριστικά, που οδηγούσαν σε λανθασμένες προβλέψεις από το Random Forest. Η στρατηγική συγχώνευσης δεδομένων (confusion matrices) και κατανομής εμπιστοσύνης (confidence distributions) που συνδύαζε και τις δύο μορφές δεδομένων έδειξαν ότι το πολυτροπικό μοντέλο είναι ακριβές, µε σταθερή προβλεπτική συμπεριφορά. Επιπλέον, δοκιμάστηκαν και άλλες επιλογές σχεδιασμού για την εύρεση της κατάλληλης μεθόδου, όπως η σημασία της σειράς των χειρόγραφων εργασιών για την ταξινόμηση των εικόνων, καθώς και η εκπαίδευση του μοντέλου µε ενιαίο τρόπο για τα δύο είδη δεδομένων. Τα αποτελέσματα φανέρωσαν ότι το μοντέλο Late Fusion δίνει πιο συνεπή και αξιόπιστα αποτελέσματα, πιθανώς λόγω του μεγέθους της βάσης. Συνολικά η διπλωματική εργασία αποδεικνύει ότι η ανάλυση της γραφής είναι μια υποσχόμενη μέθοδος για την διάγνωση της νόσου. Όχι µόνο πρόκειται για μια προσιτή και οικονομική τεχνική, διαθέσιμη παγκοσμίως, που δεν απαιτεί πρόσβαση σε κάποια κλινική, αλλά απέδωσε καλύτερα αποτελέσματα σε σχέση µε το κλινικό σύνολο δεδομένων.pages 63Attribution 4.0 Internationalhttp://creativecommons.org/licenses/by/4.0/Alzheimer’s diseaseHandwriting analysisNon-invasive diagnosisMachine learningDeep learningMultimodal learningΝόσος ΑλτσχάιμερΑνάλυση χειρόγραφουΜηχανική μάθησηΒαθιά μάθησηTextPavlopoulos, John