LLM techniques for natural language to SQL conversion

Abstract

This thesis investigates the effectiveness of Large Language Models (LLMs) in translating natural language queries into executable SQL statements, addressing a central challenge in bridging human communication and structured data environments. The study outlines the evolution of Natural Language Processing—from early rule-based systems to transformer-based architectures and modern LLMs—and contextualizes their role within the Text-to-SQL landscape. To evaluate model performance, the research employs two benchmark datasets, WikiSQL and Spider, which collectively capture a spectrum of simple and complex query structures. The methodological framework includes data collection, preprocessing, standardized experimental conditions, and the use of key evaluation metrics such as Exact Match (EM), Execution Accuracy, and F1 Score. GPT, Codex, and T5 were tested on carefully selected subsets of queries, followed by detailed error categorization into syntactic, semantic, and schema-related errors. Results indicate that GPT outperforms the other models across all metrics, particularly in complex multi-table scenarios. Codex demonstrates strong syntactic precision but less semantic flexibility, while T5 performs adequately on simpler schemas yet struggles with nested SQL generation. Qualitative findings reveal that most errors stem from semantic misalignment and insufficient schema grounding, especially in cross-table reasoning tasks typical of Spider. These insights highlight the gap between syntactic correctness and true semantic understanding, a limitation that persists in current Text-to-SQL systems. Based on these outcomes, the thesis recommends hybrid neural-symbolic approaches, improved schema modeling, and more context-aware evaluation frameworks. Overall, the study provides a comprehensive assessment of LLM-based Text-to-SQL systems, offering valuable theoretical and practical contributions while identifying promising directions for future research.Η παρούσα διπλωματική εργασία εξετάζει την αποτελεσματικότητα των Μεγάλων Γλωσσικών Μοντέλων (LLMs) στη μετατροπή ερωτημάτων φυσικής γλώσσας σε εκτελέσιμες SQL εντολές, προσεγγίζοντας ένα από τα κεντρικά προβλήματα στη γεφύρωση της ανθρώπινης επικοινωνίας με τις δομημένες βάσεις δεδομένων. Η μελέτη παρουσιάζει την εξέλιξη των μεθοδολογιών Επεξεργασίας Φυσικής Γλώσσας, από τα πρώιμα συστημικά μοντέλα έως την εποχή των μετασχηματιστών και των LLMs, και αναλύει τον ρόλο τους στο έργο Text-to-SQL. Για την αξιολόγηση της απόδοσης των μοντέλων χρησιμοποιούνται τα benchmark datasets WikiSQL και Spider, τα οποία επιτρέπουν τη σύγκριση επιδόσεων σε απλές και σύνθετες δομές ερωτημάτων. Η μεθοδολογία περιλαμβάνει τη συλλογή και προεπεξεργασία δεδομένων, τον καθορισμό ενιαίων πειραματικών συνθηκών και την εφαρμογή μετρικών όπως Exact Match, Execution Accuracy και F1 Score. Τα μοντέλα GPT, Codex και T5 δοκιμάστηκαν σε αντιπροσωπευτικό υποσύνολο ερωτημάτων, ενώ η ανάλυση περιλάμβανε κατηγοριοποίηση λαθών σε συντακτικά, σημασιολογικά και σφαλμάτων σχετιζόμενων με το σχήμα της βάσης. Τα αποτελέσματα δείχνουν ότι το GPT υπερέχει συνολικά, ιδίως σε πολύπλοκες, πολυ-πίνακες δομές, ενώ το Codex εμφανίζει υψηλή συντακτική ακρίβεια. Το T5 αποδίδει ικανοποιητικά σε απλά σχήματα αλλά δυσκολεύεται σε nested queries. Η ποιοτική ανάλυση αποκαλύπτει ότι τα περισσότερα σφάλματα σχετίζονται με ελλιπή σημασιολογική αντιστοίχιση και δυσκολία κατανόησης των σχέσεων μεταξύ πινάκων, ιδίως στα απαιτητικά σενάρια του Spider. Με βάση τα ευρήματα, η εργασία προτείνει την ανάπτυξη υβριδικών προσεγγίσεων που συνδυάζουν LLMs με συμβολικές τεχνικές, καθώς και την ενίσχυση της μοντελοποίησης σχήματος. Συνολικά, η μελέτη προσφέρει ένα ολοκληρωμένο πλαίσιο αξιολόγησης των LLM-based Text-to-SQL συστημάτων και αναδεικνύει τα πλεονεκτήματα, τους περιορισμούς και τις μελλοντικές κατευθύνσεις της τεχνολογίας.