Investigating hallucinations in AI-based text generation using semantic entropy

Abstract

Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) έχουν φέρει επανάσταση στη Γενετική Φυσικής Γλώσσας (NLG), αλλά πάσχουν από παραισθήσεις—παραγόμενο περιεχόμενο που είναι πραγματολογικά λανθασμένο ή μη πιστό στο αρχικό υλικό. Αυτή η διπλωματική εργασία διερευνά τις επινοήσεις, μια συγκεκριμένη υποκατηγορία παραισθήσεων, χρησιμοποιώντας ένα πλαίσιο σημασιολογικής εντροπίας. Μέσω ομαδοποίησης σημασιολογικά ισοδύναμων απαντήσεων και υπολογισμού της εντροπίας, το πλαίσιο εντοπίζει αβέβαιες εξόδους που είναι πιθανό να αποτελούν επινοήσεις. Μια βασική τροποποίηση αντικαθιστά την υπολογιστικά απαιτητική αξιολόγηση σημασιολογικά ισοδύναμων απαντήσεων με LLMs με ελαφριά μοντέλα Transformer, προσαρμοσμένα για Συμπερασματική Φυσικής Γλώσσας (NLI). Τα πειραματικά αποτελέσματα σε σύνολα δεδομένων αξιολόγησης (TriviaQA, SQuAD, SVAMP και NQ Open) δείχνουν βελτιωμένη ακρίβεια, κλιμάκωση και αποδοτικότητα.Large Language Models (LLMs) have revolutionized Natural Language Generation (NLG) but suffer from hallucinations—generated content that is factually incorrect or unfaithful to source material. This thesis investigates confabulations, a specific subset of hallucinations, using a semantic entropy framework. By clustering semantically equivalent responses and computing entropy, the framework identifies uncertain outputs likely to be confabulations. A key modification replaces computationally intensive LLM-based entailment evaluation with lightweight Transformer models fine-tuned for Natural Language Inference (NLI). Experimental results on benchmark datasets (TriviaQA, SQuAD, SVAMP, and NQ Open) demonstrate improved accuracy, scalability, and efficiency.