Βιβλιοθήκη ΟΠΑ - Ψηφιακό Αποθετήριο

ΠΥΞΙΔΑ Ιδρυματικό Αποθετήριο
και Ψηφιακή Βιβλιοθήκη

Όνομα χρήστη
Κωδικός πρόσβασης

Συλλογές :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Τίτλος :	OCaTS: an online cost-aware teacher-student framework to reduce the calls to large language models

Εναλλακτικός τίτλος :	OCaTS: ένα διαδικτυακό σύστημα εκπαιδευτικού-μαθητή με γνώμονα το κόστος για τη μείωση των κλήσεων σε μεγάλα γλωσσικά μοντέλα

Δημιουργός :	Στογιαννίδης, Ηλίας-Μάριος Stogiannidis, Ilias-Marios

Συντελεστής :	Androutsopoulos, Ion (Επιβλέπων καθηγητής) Malakasiotis, Prodromos (Εξεταστής) Vassos, Stavros (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Τύπος :	Text

Φυσική περιγραφή :	58p.

Γλώσσα :	en

Αναγνωριστικό :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=10943

Περίληψη :	Τα τελευταία χρόνια, η ανάπτυξη της βαθιάς μάθησης έχει προκαλέσει σημαντική πρόοδο στην Επεξεργασία Φυσικής Γλώσσας (ΕΦΓ). Μία από αυτές τις προόδους είναι η ανάδειξη των μεγάλων γλωσσικών μοντέλων (ΜΓΜ) τα οποία είναι ιδιαίτερα ικανά να ακολουθούν οδηγίες και μπορούν να αποδώσουν αξιοσημείωτα στη λύση προβλημάτων με τη χρήση λίγων ή καθόλου δεδομένων. Ως εκ τούτου, οι μικρές και μεσαίες επιχειρήσεις (ΜΜΕ) που δεν μπορούν να αντέξουν το κόστος δημιουργίας μεγάλων συνόλων δεδομένων εκπαίδευσης για συγκεκριμένες εργασίες ή το κόστος της εκπαίδευσης των δικών τους μοντέλων, στρέφονται όλο και περισσότερο στη χρήση τέτοιων ΜΓΜ και ιδιαίτερα σε υπηρεσίες τρίτων που τους επιτρέπουν να προτρέπουν (prompt) αυτά τα ΜΓΜ χωρίς να χρειάζεται να έχουν τα δικά τους σε περιβάλλοντα ανάπτυξης. Ωστόσο, οι εν λόγω υπηρεσίες απαιτούν επί του παρόντος πληρωμή ανά κλήση, η οποία γίνεται ένα σημαντικό λειτουργικό κόστος (ΛΚ). Επιπλέον, τα εισερχόμενα αιτήματα των πελατών (π.χ,. ερωτήσεις σχετικά με τις πολιτικές της εταιρείας προς ένα ψηφιακό βοηθό εργαζομένων) είναι συχνά πολύ παρόμοιες με την πάροδο του χρόνου, επομένως οι ΜΜΕ καταλήγουν να προτρέπουν τα ΜΓΜ με πολύ παρόμοιες περιπτώσεις. Στην παρούσα διπλωματική, προτείνουμε ένα πλαίσιο διδάσκοντα-μαθητή που επιτρέπει τη μείωση των κλήσεων σε ΜΓΜ (διδάσκων) με την αποθήκευση προηγούμενων απαντήσεων ΜΓΜ και τη χρήση τους για την εκπαίδευση ενός τοπικού χαμηλού κόστους μοντέλου (μαθητή) στην πλευρά της ΜΜΕ. Το πλαίσιο περιλαμβάνει κριτήρια που προέρχονται από την ενεργητική μάθηση για την απόφαση πότε να εμπιστευτούμε το τοπικό μοντέλο ή να καλέσουμε το ΜΓΜ, καθώς και μια μεθοδολογία για τη ρύθμιση των κριτηρίων και τη μέτρηση του συμβιβασμού μεταξύ απόδοσης και κόστους. Αξιολογούμε το πλαίσιό μας με δύο ισχυρά ΜΓΜ την συγκεκριμένη χρονική στιγμή, τα GPT-3.5 και GPT-4, και δύο πολύ φθηνά μοντέλα, όπως ένας αλγόριθμος $k$-NN και ένα Νευρωνικό Δίκτυο σε δύο πολύ συνηθισμένες εργασίες για εταιρείες, την Αναγνώριση Προθέσεων και την Ανάλυση Συναισθήματος. Τα πειραματικά αποτελέσματα δείχνουν ότι μπορεί να επιτευχθεί σημαντική μείωση λειτουργικών εξόδων με μόνο ελαφρώς χαμηλότερες επιδόσεις. Recently, Deep Learning advancements have led to considerable progress in Natural Language Processing (NLP). One of these advancements is the emergence of Large Language Models (LLMs) which are highly capable of following instructions and can perform remarkably in downstream tasks in zero- and few-shot settings. Therefore, small and medium-sized businesses (SMEs) that cannot afford the cost of creating large task-specific training datasets, or the cost of training their own task-specific models, are increasingly adopting the use of such LLMs and particularly third-party services that allow them to prompt those LLMs without the need of having their own deployment. However, such services currently require a payment per call, which becomes a considerable operating expense (OpEx). Moreover, customer inputs (e.g., questions about company policies in Employee Experience chatbots) are often very similar over time, thus SMEs end up prompting LLMs with very similar instances. In this thesis, we propose a teacher-student framework that allows reducing the calls to LLMs (teacher) by caching previous LLM responses and using them to train a local inexpensive model (student) on the SME side. The framework includes criteria taken from active learning for deciding when to trust the local model or call the LLM, and a methodology to tune the criteria and measure the trade-off between performance and cost. We evaluate our framework with two of the most powerfull LLMs at the moment, GPT-3.5 and GPT-4, and two inexpensive students, a k-NN algorithm and a Multi Layer Perceptron using two (very) common tasks for companies, Intent Recognition and Sentiment Analysis. Experimental results indicate that significant OpEx savings can be achieved with only slightly lower performance.

Περίληψη :

Τα τελευταία χρόνια, η ανάπτυξη της βαθιάς μάθησης έχει προκαλέσει σημαντική πρόοδο στην Επεξεργασία Φυσικής Γλώσσας (ΕΦΓ). Μία από αυτές τις προόδους είναι η ανάδειξη των μεγάλων γλωσσικών μοντέλων (ΜΓΜ) τα οποία είναι ιδιαίτερα ικανά να ακολουθούν οδηγίες και μπορούν να αποδώσουν αξιοσημείωτα στη λύση προβλημάτων με τη χρήση λίγων ή καθόλου δεδομένων. Ως εκ τούτου, οι μικρές και μεσαίες επιχειρήσεις (ΜΜΕ) που δεν μπορούν να αντέξουν το κόστος δημιουργίας μεγάλων συνόλων δεδομένων εκπαίδευσης για συγκεκριμένες εργασίες ή το κόστος της εκπαίδευσης των δικών τους μοντέλων, στρέφονται όλο και περισσότερο στη χρήση τέτοιων ΜΓΜ και ιδιαίτερα σε υπηρεσίες τρίτων που τους επιτρέπουν να προτρέπουν (prompt) αυτά τα ΜΓΜ χωρίς να χρειάζεται να έχουν τα δικά τους σε περιβάλλοντα ανάπτυξης. Ωστόσο, οι εν λόγω υπηρεσίες απαιτούν επί του παρόντος πληρωμή ανά κλήση, η οποία γίνεται ένα σημαντικό λειτουργικό κόστος (ΛΚ). Επιπλέον, τα εισερχόμενα αιτήματα των πελατών (π.χ,. ερωτήσεις σχετικά με τις πολιτικές της εταιρείας προς ένα ψηφιακό βοηθό εργαζομένων) είναι συχνά πολύ παρόμοιες με την πάροδο του χρόνου, επομένως οι ΜΜΕ καταλήγουν να προτρέπουν τα ΜΓΜ με πολύ παρόμοιες περιπτώσεις. Στην παρούσα διπλωματική, προτείνουμε ένα πλαίσιο διδάσκοντα-μαθητή που επιτρέπει τη μείωση των κλήσεων σε ΜΓΜ (διδάσκων) με την αποθήκευση προηγούμενων απαντήσεων ΜΓΜ και τη χρήση τους για την εκπαίδευση ενός τοπικού χαμηλού κόστους μοντέλου (μαθητή) στην πλευρά της ΜΜΕ. Το πλαίσιο περιλαμβάνει κριτήρια που προέρχονται από την ενεργητική μάθηση για την απόφαση πότε να εμπιστευτούμε το τοπικό μοντέλο ή να καλέσουμε το ΜΓΜ, καθώς και μια μεθοδολογία για τη ρύθμιση των κριτηρίων και τη μέτρηση του συμβιβασμού μεταξύ απόδοσης και κόστους. Αξιολογούμε το πλαίσιό μας με δύο ισχυρά ΜΓΜ την συγκεκριμένη χρονική στιγμή, τα GPT-3.5 και GPT-4, και δύο πολύ φθηνά μοντέλα, όπως ένας αλγόριθμος $k$-NN και ένα Νευρωνικό Δίκτυο σε δύο πολύ συνηθισμένες εργασίες για εταιρείες, την Αναγνώριση Προθέσεων και την Ανάλυση Συναισθήματος. Τα πειραματικά αποτελέσματα δείχνουν ότι μπορεί να επιτευχθεί σημαντική μείωση λειτουργικών εξόδων με μόνο ελαφρώς χαμηλότερες επιδόσεις.
Recently, Deep Learning advancements have led to considerable progress in Natural Language Processing (NLP). One of these advancements is the emergence of Large Language Models (LLMs) which are highly capable of following instructions and can perform remarkably in downstream tasks in zero- and few-shot settings. Therefore, small and medium-sized businesses (SMEs) that cannot afford the cost of creating large task-specific training datasets, or the cost of training their own task-specific models, are increasingly adopting the use of such LLMs and particularly third-party services that allow them to prompt those LLMs without the need of having their own deployment. However, such services currently require a payment per call, which becomes a considerable operating expense (OpEx). Moreover, customer inputs (e.g., questions about company policies in Employee Experience chatbots) are often very similar over time, thus SMEs end up prompting LLMs with very similar instances. In this thesis, we propose a teacher-student framework that allows reducing the calls to LLMs (teacher) by caching previous LLM responses and using them to train a local inexpensive model (student) on the SME side. The framework includes criteria taken from active learning for deciding when to trust the local model or call the LLM, and a methodology to tune the criteria and measure the trade-off between performance and cost. We evaluate our framework with two of the most powerfull LLMs at the moment, GPT-3.5 and GPT-4, and two inexpensive students, a k-NN algorithm and a Multi Layer Perceptron using two (very) common tasks for companies, Intent Recognition and Sentiment Analysis. Experimental results indicate that significant OpEx savings can be achieved with only slightly lower performance.

Λέξη κλειδί :	Μεγάλα γλωσσικά μοντέλα Δάσκαλος Μαθητής Κόστος Κρυφή μνήμη Large Language Model (LLM) Teacher Student Cost-aware Cache GPT

Διαθέσιμο από :	2023-12-16 21:10:42

Ημερομηνία έκδοσης :	27-11-2023

Ημερομηνία κατάθεσης :	2023-12-16 21:10:42

Δικαιώματα χρήσης :	Free access

Άδεια χρήσης :

Αρχείο: Stogiannidis_2023.pdf

Τύπος: application/pdf

Είσοδος