Λογότυπο αποθετηρίου

Πλοήγηση ανά Συγγραφέα "Stogiannidis, Ilias-Marios"

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω
Φιλτράρετε τα αποτελέσματα πληκτρολογώντας τα πρώτα γράμματα
Τώρα δείχνει 1 - 1 από 1
  • Μικρογραφία εικόνας
    Τεκμήριο
    OCaTS: an online cost-aware teacher-student framework to reduce the calls to large language models
    (2023-11-27) Στογιαννίδης, Ηλίας-Μάριος; Stogiannidis, Ilias-Marios; Athens University of Economics and Business, Department of Informatics; Malakasiotis, Prodromos; Vassos, Stavros; Androutsopoulos, Ion
    Τα τελευταία χρόνια, η ανάπτυξη της βαθιάς μάθησης έχει προκαλέσει σημαντική πρόοδο στην Επεξεργασία Φυσικής Γλώσσας (ΕΦΓ). Μία από αυτές τις προόδους είναι η ανάδειξη των μεγάλων γλωσσικών μοντέλων (ΜΓΜ) τα οποία είναι ιδιαίτερα ικανά να ακολουθούν οδηγίες και μπορούν να αποδώσουν αξιοσημείωτα στη λύση προβλημάτων με τη χρήση λίγων ή καθόλου δεδομένων. Ως εκ τούτου, οι μικρές και μεσαίες επιχειρήσεις (ΜΜΕ) που δεν μπορούν να αντέξουν το κόστος δημιουργίας μεγάλων συνόλων δεδομένων εκπαίδευσης για συγκεκριμένες εργασίες ή το κόστος της εκπαίδευσης των δικών τους μοντέλων, στρέφονται όλο και περισσότερο στη χρήση τέτοιων ΜΓΜ και ιδιαίτερα σε υπηρεσίες τρίτων που τους επιτρέπουν να προτρέπουν (prompt) αυτά τα ΜΓΜ χωρίς να χρειάζεται να έχουν τα δικά τους σε περιβάλλοντα ανάπτυξης. Ωστόσο, οι εν λόγω υπηρεσίες απαιτούν επί του παρόντος πληρωμή ανά κλήση, η οποία γίνεται ένα σημαντικό λειτουργικό κόστος (ΛΚ). Επιπλέον, τα εισερχόμενα αιτήματα των πελατών (π.χ,. ερωτήσεις σχετικά με τις πολιτικές της εταιρείας προς ένα ψηφιακό βοηθό εργαζομένων) είναι συχνά πολύ παρόμοιες με την πάροδο του χρόνου, επομένως οι ΜΜΕ καταλήγουν να προτρέπουν τα ΜΓΜ με πολύ παρόμοιες περιπτώσεις. Στην παρούσα διπλωματική, προτείνουμε ένα πλαίσιο διδάσκοντα-μαθητή που επιτρέπει τη μείωση των κλήσεων σε ΜΓΜ (διδάσκων) με την αποθήκευση προηγούμενων απαντήσεων ΜΓΜ και τη χρήση τους για την εκπαίδευση ενός τοπικού χαμηλού κόστους μοντέλου (μαθητή) στην πλευρά της ΜΜΕ. Το πλαίσιο περιλαμβάνει κριτήρια που προέρχονται από την ενεργητική μάθηση για την απόφαση πότε να εμπιστευτούμε το τοπικό μοντέλο ή να καλέσουμε το ΜΓΜ, καθώς και μια μεθοδολογία για τη ρύθμιση των κριτηρίων και τη μέτρηση του συμβιβασμού μεταξύ απόδοσης και κόστους. Αξιολογούμε το πλαίσιό μας με δύο ισχυρά ΜΓΜ την συγκεκριμένη χρονική στιγμή, τα GPT-3.5 και GPT-4, και δύο πολύ φθηνά μοντέλα, όπως ένας αλγόριθμος $k$-NN και ένα Νευρωνικό Δίκτυο σε δύο πολύ συνηθισμένες εργασίες για εταιρείες, την Αναγνώριση Προθέσεων και την Ανάλυση Συναισθήματος. Τα πειραματικά αποτελέσματα δείχνουν ότι μπορεί να επιτευχθεί σημαντική μείωση λειτουργικών εξόδων με μόνο ελαφρώς χαμηλότερες επιδόσεις.