Βιβλιοθήκη ΟΠΑ - Ψηφιακό Αποθετήριο

ΠΥΞΙΔΑ Ιδρυματικό Αποθετήριο
και Ψηφιακή Βιβλιοθήκη

Όνομα χρήστη
Κωδικός πρόσβασης

Συλλογές :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Τίτλος :	Mitigating polarisation in online discussions through adaptive moderation techniques

Εναλλακτικός τίτλος :	Μετριασμός της πόλωσης σε διαδικτυακές συζητήσεις μέσω προσαρμοστικών τεχνικών συντονισμού

Δημιουργός :	Τσίρμπας, Δημήτριος Tsirmpas, Dimitrios

Συντελεστής :	Pavlopoulos, Ioannis (Επιβλέπων καθηγητής) Vassalos, Vasilios (Εξεταστής) Stafylakis, Themos (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Τύπος :	Text

Φυσική περιγραφή :	62p.

Γλώσσα :	en

Αναγνωριστικό :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=11763

Περίληψη :	Ο συντονισµός/διαµεσολάβση (moderation/facilitation) των διαδιϰτυαϰών συζητήσεων είναι ζωτιϰής σηµασίας για την άνϑηση των συζητήσεων ϰαι την αποτροπή της πόλωσης ϰαι της τοξιϰότητας, που στις µέρες µας φαίνεται πανταχού παρούσες. Οι σύγχρονες τεχνιϰές συντονισµού/διαµεσολάβησης απαιτούν ανϑρώπινη συµµετοχή ϰαι, ως εϰ τούτου, είναι δαπανηρές ϰαι µη επεϰτάσιµες, οδηγώντας πολλούς να στραφούν στη χρήση Μεγάλων Γλωσσιϰών Μοντέλων (ΜΓΜ, ή LLMs στα Αγγλιϰά) για αυτές. Στα πλαίσια της διατριβής αυτής δηµιουργούµε ένα νέο σύστηµα το οποίο παράγει συνϑετιϰές διαδιϰτυαϰές συζητήσεις, χρησιµοποιώντας ψευτο-χρήστες ΜΓΜ µε ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα έτσι ώστε να ϰαταστήσουµε τις συζητήσεις ρεαλιστιϰές. Επιπλέον, δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰών υποβάϑρων οδηγεί σε πιο ρεαλιστιϰές συζητήσεις. ∆ιερευνούµε τη χρήση των σχολιαστών LLM για την εϰτίµηση της ποιότητας των συζητήσεων, χρησιµοποιώντας ένα νέο στατιστιϰό έλεγχο για τη µέτρηση της πόλωσης των σχολιαστών ϰαι δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰού υπόβαϑρου στους σχολιαστές LLM µπορεί να µην επηρεάζει σηµαντιϰά τις ϰρίσεις τους. Επεϰτείνουµε το σύστηµα µας µε τη δυνατότητα υποστήριξης αυτόµατων επισηµειωτών (µε χρήση ΜΓΜ), για την αντιµετώπιση του προβλήµατος της αξιολόγησης διαλόγων. Οι ψευτο-επισηµειωτές αυτοί έχουν προϰαϑορισµένα από εµάς ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα, έτσι ώστε να προσοµοιώσουµε τη διαφωνία που πιϑανώς να υπάρχει ανάµεσα σε ανϑρώπους µε αντίστοιχα υπόβαϑρα. Τέλος, δίνουµε στη δηµοσιότητα το διϰό µας πρόγραµµα δηµιουργίας ϰαι σχολιασµού συνϑετιϰών συζητήσεων, τα συνϑετιϰά σύνολα δεδοµένων που προέϰυψαν από τα πειράµατά µας, ϰαϑώς ϰαι την επαϰόλουϑη ανάλυση ϰαι τα συµπεράσµατα από αυτά. Ο ϰώδιϰας, τα σύνολα δεδοµένων ϰαι η ανάλυση βρίσϰονται στο αποϑετήριο ϰώδιϰα στη διεύϑυνση https://github.com/dimits-ts/ llm_moderation_research. Online discussion moderation/facilitation is crucial for discussions to flourish and prevent polarization and toxicity, which nowadays seems omnipresent. However, because it is heavily based on humans, moderation/facilitation proves costly, time-consuming and non-scalable, which has led many to turn to LLMs for discourse facilitation. In this thesis, we explore the use of LLMs as pseudo-users in online discussions, as a cost-efficient, realistic and scalable way of substituting initial LLM facilitation experiments, which would ordinarily necessitate costly human involvement. Furthermore, we show that including socio-demographic backgrounds in our LLM users leads to more realistic discussions. We explore the use of LLM annotators to estimate discussion quality, using a new statistical test to gauge annotator polarization, and show that using socio-demographic backgrounds in LLM annotators may not meaningfully affect their judgments. Finally, we release a synthetic-discussion creation and annotation framework, the synthetic datasets resulting from our experiments, as well as subsequent analysis and findings from these datasets. Code, datasets and analysis can be found at https://github.com/dimits-ts/ llm_moderation_research.

Περίληψη :

Ο συντονισµός/διαµεσολάβση (moderation/facilitation) των διαδιϰτυαϰών συζητήσεων είναι ζωτιϰής σηµασίας για την άνϑηση των συζητήσεων ϰαι την αποτροπή της πόλωσης ϰαι της τοξιϰότητας, που στις µέρες µας φαίνεται πανταχού παρούσες. Οι σύγχρονες τεχνιϰές συντονισµού/διαµεσολάβησης απαιτούν ανϑρώπινη συµµετοχή ϰαι, ως εϰ τούτου, είναι δαπανηρές ϰαι µη επεϰτάσιµες, οδηγώντας πολλούς να στραφούν στη χρήση Μεγάλων Γλωσσιϰών Μοντέλων (ΜΓΜ, ή LLMs στα Αγγλιϰά) για αυτές. Στα πλαίσια της διατριβής αυτής δηµιουργούµε ένα νέο σύστηµα το οποίο παράγει συνϑετιϰές διαδιϰτυαϰές συζητήσεις, χρησιµοποιώντας ψευτο-χρήστες ΜΓΜ µε ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα έτσι ώστε να ϰαταστήσουµε τις συζητήσεις ρεαλιστιϰές. Επιπλέον, δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰών υποβάϑρων οδηγεί σε πιο ρεαλιστιϰές συζητήσεις. ∆ιερευνούµε τη χρήση των σχολιαστών LLM για την εϰτίµηση της ποιότητας των συζητήσεων, χρησιµοποιώντας ένα νέο στατιστιϰό έλεγχο για τη µέτρηση της πόλωσης των σχολιαστών ϰαι δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰού υπόβαϑρου στους σχολιαστές LLM µπορεί να µην επηρεάζει σηµαντιϰά τις ϰρίσεις τους. Επεϰτείνουµε το σύστηµα µας µε τη δυνατότητα υποστήριξης αυτόµατων επισηµειωτών (µε χρήση ΜΓΜ), για την αντιµετώπιση του προβλήµατος της αξιολόγησης διαλόγων. Οι ψευτο-επισηµειωτές αυτοί έχουν προϰαϑορισµένα από εµάς ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα, έτσι ώστε να προσοµοιώσουµε τη διαφωνία που πιϑανώς να υπάρχει ανάµεσα σε ανϑρώπους µε αντίστοιχα υπόβαϑρα. Τέλος, δίνουµε στη δηµοσιότητα το διϰό µας πρόγραµµα δηµιουργίας ϰαι σχολιασµού συνϑετιϰών συζητήσεων, τα συνϑετιϰά σύνολα δεδοµένων που προέϰυψαν από τα πειράµατά µας, ϰαϑώς ϰαι την επαϰόλουϑη ανάλυση ϰαι τα συµπεράσµατα από αυτά. Ο ϰώδιϰας, τα σύνολα δεδοµένων ϰαι η ανάλυση βρίσϰονται στο αποϑετήριο ϰώδιϰα στη διεύϑυνση https://github.com/dimits-ts/ llm_moderation_research.
Online discussion moderation/facilitation is crucial for discussions to flourish and prevent polarization and toxicity, which nowadays seems omnipresent. However, because it is heavily based on humans, moderation/facilitation proves costly, time-consuming and non-scalable, which has led many to turn to LLMs for discourse facilitation. In this thesis, we explore the use of LLMs as pseudo-users in online discussions, as a cost-efficient, realistic and scalable way of substituting initial LLM facilitation experiments, which would ordinarily necessitate costly human involvement. Furthermore, we show that including socio-demographic backgrounds in our LLM users leads to more realistic discussions. We explore the use of LLM annotators to estimate discussion quality, using a new statistical test to gauge annotator polarization, and show that using socio-demographic backgrounds in LLM annotators may not meaningfully affect their judgments. Finally, we release a synthetic-discussion creation and annotation framework, the synthetic datasets resulting from our experiments, as well as subsequent analysis and findings from these datasets. Code, datasets and analysis can be found at https://github.com/dimits-ts/ llm_moderation_research.

Λέξη κλειδί :	Συντονισμός Μεγάλα γλωσσικά μοντέλα Επεξεργασία φυσικής γλώσσας Επισημείωση Δεδομένα Moderation Large language models Natural Language Processing (NLP) Annotation Datasets

Διαθέσιμο από :	2024-12-05 17:18:39

Ημερομηνία έκδοσης :	26-11-2024

Ημερομηνία κατάθεσης :	2024-12-05 17:18:39

Δικαιώματα χρήσης :	Free access

Άδεια χρήσης :

Αρχείο: Tsirmpas_2024.pdf

Τύπος: application/pdf

Αρχείο: Tsirmpas_2024.zip

Τύπος: application/pdf

Είσοδος