|
| Συλλογές |
|
| Τίτλος |
Investigating hallucinations in AI-based text generation using semantic entropy
|
| Εναλλακτικός τίτλος |
Διερεύνηση παραισθήσεων στην παραγωγή κειμένου με τεχνητή νοημοσύνη μέσω σημασιολογικής εντροπίας
|
| Δημιουργός |
Αγγελίδης, Αναστάσιος, Angelidis, Anastasios
|
| Συντελεστής |
Pavlopoulos, Ioannis
Athens University of Economics and Business, Department of Informatics
Koutsopoulos, Iordanis
Toumpis, Stavros
|
| Τύπος |
Text
|
| Φυσική περιγραφή |
82p.
|
| Γλώσσα |
en
|
| Αναγνωριστικό |
http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=11894
|
| Περίληψη |
Large Language Models (LLMs) have revolutionized Natural Language Generation (NLG) but suffer from hallucinations—generated content that is factually incorrect or unfaithful to source material. This thesis investigates confabulations, a specific subset of hallucinations, using a semantic entropy framework. By clustering semantically equivalent responses and computing entropy, the framework identifies uncertain outputs likely to be confabulations. A key modification replaces computationally intensive LLM-based entailment evaluation with lightweight Transformer models fine-tuned for Natural Language Inference (NLI). Experimental results on benchmark datasets (TriviaQA, SQuAD, SVAMP, and NQ Open) demonstrate improved accuracy, scalability, and efficiency.
Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) έχουν φέρει επανάσταση στη Γενετική Φυσικής Γλώσσας (NLG), αλλά πάσχουν από παραισθήσεις—παραγόμενο περιεχόμενο που είναι πραγματολογικά λανθασμένο ή μη πιστό στο αρχικό υλικό. Αυτή η διπλωματική εργασία διερευνά τις επινοήσεις, μια συγκεκριμένη υποκατηγορία παραισθήσεων, χρησιμοποιώντας ένα πλαίσιο σημασιολογικής εντροπίας. Μέσω ομαδοποίησης σημασιολογικά ισοδύναμων απαντήσεων και υπολογισμού της εντροπίας, το πλαίσιο εντοπίζει αβέβαιες εξόδους που είναι πιθανό να αποτελούν επινοήσεις. Μια βασική τροποποίηση αντικαθιστά την υπολογιστικά απαιτητική αξιολόγηση σημασιολογικά ισοδύναμων απαντήσεων με LLMs με ελαφριά μοντέλα Transformer, προσαρμοσμένα για Συμπερασματική Φυσικής Γλώσσας (NLI). Τα πειραματικά αποτελέσματα σε σύνολα δεδομένων αξιολόγησης (TriviaQA, SQuAD, SVAMP και NQ Open) δείχνουν βελτιωμένη ακρίβεια, κλιμάκωση και αποδοτικότητα.
|
| Λέξη κλειδί |
Παραισθήσεις
Μεγάλα γλωσσικά μοντέλα
Μετασχηματιστής
Συνεπακόλουθο
Hallucinations
Large Language Model (LLM)
Transformer
Entailment
|
| Διαθέσιμο από |
2025-02-16 22:48:20
|
| Ημερομηνία έκδοσης |
07-02-2025
|
| Ημερομηνία κατάθεσης |
2025-02-16 22:48:20
|
| Δικαιώματα χρήσης |
Free access
|
| Άδεια χρήσης |
https://creativecommons.org/licenses/by-nc/4.0/
|