Βιβλιοθήκη ΟΠΑ - Ψηφιακό Αποθετήριο

ΠΥΞΙΔΑ Ιδρυματικό Αποθετήριο
και Ψηφιακή Βιβλιοθήκη

Όνομα χρήστη
Κωδικός πρόσβασης

Συλλογές :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Τίτλος :	Beyond words: a survey of online conversation metrics

Εναλλακτικός τίτλος :	Πέρα από τις λέξεις: μια έρευνα για την αξιολόγηση συζητήσεων στο διαδίκτυο

Δημιουργός :	Μυρτζανή, Δανάη Myrtzani, Danai

Συντελεστής :	Pavlopoulos, Ioannis (Επιβλέπων καθηγητής) Korre, Katerina (Επιβλέπων καθηγητής) Androutsopoulos, Ion (Εξεταστής) Konstantinidou, Maria (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Τύπος :	Text

Φυσική περιγραφή :	101p.

Γλώσσα :	en

Αναγνωριστικό :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=11727

Περίληψη :	Η παρούσα διπλωματική εργασία εξετάζει τον τρόπο με τον οποίο αξιολογούνται οι διαδικτυακές συζητήσεις μέσω δύο προσεγγίσεων: μια συστηματική έρευνα των μετρικών αξιολόγησης και μια πειραματική σύγκριση μεταξύ ανθρώπων - αξιολογητών και Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ). Η βιβλιογραφική επισκόπηση εντοπίζει 22 διακριτές μετρικές, οι οποίες κατηγοριοποιούνται σε ομάδες Δομής και Λογικής, Κοινωνικής Δυναμικής, Συναισθηματικής και Συμπεριφορικής, και Δέσμευσης και Περιεχομένου. Ενώ οι μετρικές που βασίζονται στη δομή επιχειρημάτων και στην πραγματολογία αναδεικνύονται ως οι πιο συχνά μελετημένες, η ανάλυση αποκαλύπτει μια αυξανόμενη εστίαση στα κοινωνικά και συγκυριακά στοιχεία στην αξιολόγηση συνομιλιών στην πρόσφατη βιβλιογραφία.Η πειραματική μελέτη συγκρίνει τον τρόπο με τον οποίο οι άνθρωποι και τα ΜΓΜ αξιολογούν τις ίδιες διαδικτυακές συζητήσεις, αποκαλύπτοντας βασικές διαφορές στα πρότυπα αξιολόγησής τους. Οι ανθρώπινοι αξιολογητές επιδεικνύουν μεγαλύτερη ευαισθησία στην κοινωνική δυναμική, ιδίως στον εντοπισμό αρνητικών συμπεριφορών όπως η αγένεια και η κυριαρχία, ενώ τα ΜΓΜ υπερέχουν στον εντοπισμό δομικών στοιχείων αλλά συχνά παραβλέπουν αυτές τις λεπτές κοινωνικές ενδείξεις. Τα ευρήματα αναδεικνύουν ένα σημαντικό χάσμα μεταξύ υπολογιστικών και ανθρώπινων προσεγγίσεων στην αξιολόγηση συνομιλιών, γεγονός που υποδηλώνει ότι τα αποτελεσματικά πλαίσια αξιολόγησης πρέπει να εξισορροπούν και τις δύο οπτικές γωνίες για να αποτυπώσουν την πλήρη πολυπλοκότητα των διαδικτυακών συζητήσεων.Η παρούσα έρευνα συμβάλλει στην κατανόηση της αξιολόγησης των διαδικτυακών συνομιλιών με τη συστηματική χαρτογράφηση των υφιστάμενων μετρικών και την επίδειξη του τρόπου με τον οποίο οι διαισθητικές αξιολογήσεις των καθημερινών αναγνωστών διαφέρουν από τις υπολογιστικές προσεγγίσεις. Οι γνώσεις αυτές έχουν πρακτικές επιπτώσεις για την ανάπτυξη αποτελεσματικότερων εργαλείων αξιολόγησης συνομιλιών και τη βελτίωση των συστημάτων συντονισμού διαδικτυακών κοινοτήτων. This thesis examines how online discussions are evaluated through two approaches: a systematic survey of evaluation metrics and an experimental comparison between human evaluators and Large Language Models (LLMs). The literature review identifies 22 distinct metrics, categorized into Structure and Logic, Social Dynamics, Emotional and Behavioral, and Engagement and Content groups. While Argument Structure and Pragmatic-based metrics emerge as the most frequently studied, the analysis reveals an increasing focus on social and contextual elements in conversation evaluation across recent literature.The experimental study compares how humans and LLMs assess the same online discussions, revealing key differences in their evaluation patterns. Human evaluators demonstrate greater sensitivity to social dynamics, particularly in detecting negative behaviors like rudeness and dominance, while LLMs excel at identifying structural elements but often overlook these subtle social cues. The findings highlight a significant gap between computational and human approaches to conversation assessment, suggesting that effective evaluation frameworks must balance both perspectives to capture the full complexity of online discussions.This research contributes to our understanding of online conversation evaluation by systematically mapping existing metrics and demonstrating how everyday readers' intuitive assessments differ from computational approaches. These insights have practical implications for developing more effective conversation assessment tools and improving online community moderation systems.

Περίληψη :

Η παρούσα διπλωματική εργασία εξετάζει τον τρόπο με τον οποίο αξιολογούνται οι διαδικτυακές συζητήσεις μέσω δύο προσεγγίσεων: μια συστηματική έρευνα των μετρικών αξιολόγησης και μια πειραματική σύγκριση μεταξύ ανθρώπων - αξιολογητών και Μεγάλων Γλωσσικών Μοντέλων (ΜΓΜ). Η βιβλιογραφική επισκόπηση εντοπίζει 22 διακριτές μετρικές, οι οποίες κατηγοριοποιούνται σε ομάδες Δομής και Λογικής, Κοινωνικής Δυναμικής, Συναισθηματικής και Συμπεριφορικής, και Δέσμευσης και Περιεχομένου. Ενώ οι μετρικές που βασίζονται στη δομή επιχειρημάτων και στην πραγματολογία αναδεικνύονται ως οι πιο συχνά μελετημένες, η ανάλυση αποκαλύπτει μια αυξανόμενη εστίαση στα κοινωνικά και συγκυριακά στοιχεία στην αξιολόγηση συνομιλιών στην πρόσφατη βιβλιογραφία.Η πειραματική μελέτη συγκρίνει τον τρόπο με τον οποίο οι άνθρωποι και τα ΜΓΜ αξιολογούν τις ίδιες διαδικτυακές συζητήσεις, αποκαλύπτοντας βασικές διαφορές στα πρότυπα αξιολόγησής τους. Οι ανθρώπινοι αξιολογητές επιδεικνύουν μεγαλύτερη ευαισθησία στην κοινωνική δυναμική, ιδίως στον εντοπισμό αρνητικών συμπεριφορών όπως η αγένεια και η κυριαρχία, ενώ τα ΜΓΜ υπερέχουν στον εντοπισμό δομικών στοιχείων αλλά συχνά παραβλέπουν αυτές τις λεπτές κοινωνικές ενδείξεις. Τα ευρήματα αναδεικνύουν ένα σημαντικό χάσμα μεταξύ υπολογιστικών και ανθρώπινων προσεγγίσεων στην αξιολόγηση συνομιλιών, γεγονός που υποδηλώνει ότι τα αποτελεσματικά πλαίσια αξιολόγησης πρέπει να εξισορροπούν και τις δύο οπτικές γωνίες για να αποτυπώσουν την πλήρη πολυπλοκότητα των διαδικτυακών συζητήσεων.Η παρούσα έρευνα συμβάλλει στην κατανόηση της αξιολόγησης των διαδικτυακών συνομιλιών με τη συστηματική χαρτογράφηση των υφιστάμενων μετρικών και την επίδειξη του τρόπου με τον οποίο οι διαισθητικές αξιολογήσεις των καθημερινών αναγνωστών διαφέρουν από τις υπολογιστικές προσεγγίσεις. Οι γνώσεις αυτές έχουν πρακτικές επιπτώσεις για την ανάπτυξη αποτελεσματικότερων εργαλείων αξιολόγησης συνομιλιών και τη βελτίωση των συστημάτων συντονισμού διαδικτυακών κοινοτήτων.
This thesis examines how online discussions are evaluated through two approaches: a systematic survey of evaluation metrics and an experimental comparison between human evaluators and Large Language Models (LLMs). The literature review identifies 22 distinct metrics, categorized into Structure and Logic, Social Dynamics, Emotional and Behavioral, and Engagement and Content groups. While Argument Structure and Pragmatic-based metrics emerge as the most frequently studied, the analysis reveals an increasing focus on social and contextual elements in conversation evaluation across recent literature.The experimental study compares how humans and LLMs assess the same online discussions, revealing key differences in their evaluation patterns. Human evaluators demonstrate greater sensitivity to social dynamics, particularly in detecting negative behaviors like rudeness and dominance, while LLMs excel at identifying structural elements but often overlook these subtle social cues. The findings highlight a significant gap between computational and human approaches to conversation assessment, suggesting that effective evaluation frameworks must balance both perspectives to capture the full complexity of online discussions.This research contributes to our understanding of online conversation evaluation by systematically mapping existing metrics and demonstrating how everyday readers' intuitive assessments differ from computational approaches. These insights have practical implications for developing more effective conversation assessment tools and improving online community moderation systems.

Λέξη κλειδί :	Διαδικτυακές συζητήσεις Αξιολόγηση συνομιλιών Ανθρώπινη αξιολόγηση Μεγάλα γλωσσικά μοντέλα Κοινωνική δυναμική Online discussions Conversation evaluation Human assessment Large language models Social dynamics

Διαθέσιμο από :	2024-11-22 15:07:21

Ημερομηνία έκδοσης :	31-10-2024

Ημερομηνία κατάθεσης :	2024-11-22 15:07:21

Δικαιώματα χρήσης :	Free access

Άδεια χρήσης :

Αρχείο: Myrtzani_2024.pdf

Τύπος: application/pdf

Είσοδος