Document understanding with artificial intelligence

Abstract

Η παρούσα διπλωματική εργασία διερευνά σύγχρονες μεθόδους στην Τεχνητή Νοημοσύνη για Έγγραφα (Document AI), με σκοπό την εξαγωγή και ανάκτηση πληροφορίας από πολύπλοκα επιστημονικά κείμενα. Τα επιστημονικά έγγραφα, τα οποία χαρακτηρίζονται από πυκνό κείμενο, οπτικά στοιχεία και σύνθετη διάταξη, θέτουν σημαντικές προκλήσεις στα παραδοσιακά συστήματα ανάκτησης πληροφορίας. Η μελέτη εξετάζει τρεις πρόσφατες τεχνολογικές προσεγγίσεις - ColPali, ColQwen2 και PaperMage - σε βασικά καθήκοντα, όπως η ανάκτηση εγγράφων, η εξαγωγή δομημένων δεδομένων και η πολυτροπική κατανόηση. Πραγματοποιήθηκαν πειράματα σε σύνολο 5.000 άρθρων από την ψηφιακή βιβλιοθήκη ACM, με έμφαση στην ακρίβεια ανάκτησης, την ευαισθησία στη διάταξη και την υπολογιστική αποδοτικότητα. Για την πρακτική εφαρμογή της μεθοδολογίας, αναπτύχθηκε πρωτότυπο σύστημα που αξιοποιεί την τεχνική Retrieval-Augmented Generation (RAG) για την απάντηση ερωτημάτων σε επιστημονικά κείμενα. Το σύστημα υποστηρίζει ερωτήσεις σε φυσική γλώσσα και παρέχει ερμηνεύσιμα αποτελέσματα μέσω διαδραστικού περιβάλλοντος, συνδυάζοντας σημασιολογική αναζήτηση, ανάλυση διάταξης και παραγωγή απαντήσεων. Η εργασία αυτή συνεισφέρει τόσο με εμπειρική αξιολόγηση όσο και με πρωτότυπη υλοποίηση στις τεχνικές ανάκτησης και κατανόησης επιστημονικών εγγράφων.

This thesis explores contemporary methods in Document Artificial Intelligence (Document AI) for extracting and retrieving information from complex scientific literature. Scientific documents, characterized by dense textual, visual, and structural components, present significant challenges to conventional retrieval systems. The study examines three recent advancements - ColPali, ColQwen2, and PaperMage - across key tasks, including large-scale document retrieval, structured data extraction, and multimodal understanding. Empirical experiments were conducted on a dataset of 5,000 articles from the ACM Digital Library, with a focus on retrieval accuracy, layout-aware processing, and computational efficiency. To illustrate practical application, a prototype system was developed to demonstrate the use of Retrieval-Augmented Generation (RAG) for scientific question-answering. The system supports natural language queries and provides interpretable outputs via an interactive interface, combining semantic search, layout parsing, and answer generation. This thesis contributes both empirical evaluation and a prototype implementation, advancing the integration of retrieval and parsing techniques in scientific document understanding.