AUEB Library - Digital Repository

PYXIDA Institutional Repository
and Digital Library

Username
Password

Collections :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Title :	Mitigating polarisation in online discussions through adaptive moderation techniques

Alternative Title :	Μετριασμός της πόλωσης σε διαδικτυακές συζητήσεις μέσω προσαρμοστικών τεχνικών συντονισμού

Creator :	Τσίρμπας, Δημήτριος Tsirmpas, Dimitrios

Contributor :	Pavlopoulos, Ioannis (Επιβλέπων καθηγητής) Vassalos, Vasilios (Εξεταστής) Stafylakis, Themos (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Type :	Text

Extent :	62p.

Language :	en

Identifier :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=11763

Abstract :	Ο συντονισµός/διαµεσολάβση (moderation/facilitation) των διαδιϰτυαϰών συζητήσεων είναι ζωτιϰής σηµασίας για την άνϑηση των συζητήσεων ϰαι την αποτροπή της πόλωσης ϰαι της τοξιϰότητας, που στις µέρες µας φαίνεται πανταχού παρούσες. Οι σύγχρονες τεχνιϰές συντονισµού/διαµεσολάβησης απαιτούν ανϑρώπινη συµµετοχή ϰαι, ως εϰ τούτου, είναι δαπανηρές ϰαι µη επεϰτάσιµες, οδηγώντας πολλούς να στραφούν στη χρήση Μεγάλων Γλωσσιϰών Μοντέλων (ΜΓΜ, ή LLMs στα Αγγλιϰά) για αυτές. Στα πλαίσια της διατριβής αυτής δηµιουργούµε ένα νέο σύστηµα το οποίο παράγει συνϑετιϰές διαδιϰτυαϰές συζητήσεις, χρησιµοποιώντας ψευτο-χρήστες ΜΓΜ µε ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα έτσι ώστε να ϰαταστήσουµε τις συζητήσεις ρεαλιστιϰές. Επιπλέον, δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰών υποβάϑρων οδηγεί σε πιο ρεαλιστιϰές συζητήσεις. ∆ιερευνούµε τη χρήση των σχολιαστών LLM για την εϰτίµηση της ποιότητας των συζητήσεων, χρησιµοποιώντας ένα νέο στατιστιϰό έλεγχο για τη µέτρηση της πόλωσης των σχολιαστών ϰαι δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰού υπόβαϑρου στους σχολιαστές LLM µπορεί να µην επηρεάζει σηµαντιϰά τις ϰρίσεις τους. Επεϰτείνουµε το σύστηµα µας µε τη δυνατότητα υποστήριξης αυτόµατων επισηµειωτών (µε χρήση ΜΓΜ), για την αντιµετώπιση του προβλήµατος της αξιολόγησης διαλόγων. Οι ψευτο-επισηµειωτές αυτοί έχουν προϰαϑορισµένα από εµάς ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα, έτσι ώστε να προσοµοιώσουµε τη διαφωνία που πιϑανώς να υπάρχει ανάµεσα σε ανϑρώπους µε αντίστοιχα υπόβαϑρα. Τέλος, δίνουµε στη δηµοσιότητα το διϰό µας πρόγραµµα δηµιουργίας ϰαι σχολιασµού συνϑετιϰών συζητήσεων, τα συνϑετιϰά σύνολα δεδοµένων που προέϰυψαν από τα πειράµατά µας, ϰαϑώς ϰαι την επαϰόλουϑη ανάλυση ϰαι τα συµπεράσµατα από αυτά. Ο ϰώδιϰας, τα σύνολα δεδοµένων ϰαι η ανάλυση βρίσϰονται στο αποϑετήριο ϰώδιϰα στη διεύϑυνση https://github.com/dimits-ts/ llm_moderation_research. Online discussion moderation/facilitation is crucial for discussions to flourish and prevent polarization and toxicity, which nowadays seems omnipresent. However, because it is heavily based on humans, moderation/facilitation proves costly, time-consuming and non-scalable, which has led many to turn to LLMs for discourse facilitation. In this thesis, we explore the use of LLMs as pseudo-users in online discussions, as a cost-efficient, realistic and scalable way of substituting initial LLM facilitation experiments, which would ordinarily necessitate costly human involvement. Furthermore, we show that including socio-demographic backgrounds in our LLM users leads to more realistic discussions. We explore the use of LLM annotators to estimate discussion quality, using a new statistical test to gauge annotator polarization, and show that using socio-demographic backgrounds in LLM annotators may not meaningfully affect their judgments. Finally, we release a synthetic-discussion creation and annotation framework, the synthetic datasets resulting from our experiments, as well as subsequent analysis and findings from these datasets. Code, datasets and analysis can be found at https://github.com/dimits-ts/ llm_moderation_research.

Abstract :

Ο συντονισµός/διαµεσολάβση (moderation/facilitation) των διαδιϰτυαϰών συζητήσεων είναι ζωτιϰής σηµασίας για την άνϑηση των συζητήσεων ϰαι την αποτροπή της πόλωσης ϰαι της τοξιϰότητας, που στις µέρες µας φαίνεται πανταχού παρούσες. Οι σύγχρονες τεχνιϰές συντονισµού/διαµεσολάβησης απαιτούν ανϑρώπινη συµµετοχή ϰαι, ως εϰ τούτου, είναι δαπανηρές ϰαι µη επεϰτάσιµες, οδηγώντας πολλούς να στραφούν στη χρήση Μεγάλων Γλωσσιϰών Μοντέλων (ΜΓΜ, ή LLMs στα Αγγλιϰά) για αυτές. Στα πλαίσια της διατριβής αυτής δηµιουργούµε ένα νέο σύστηµα το οποίο παράγει συνϑετιϰές διαδιϰτυαϰές συζητήσεις, χρησιµοποιώντας ψευτο-χρήστες ΜΓΜ µε ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα έτσι ώστε να ϰαταστήσουµε τις συζητήσεις ρεαλιστιϰές. Επιπλέον, δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰών υποβάϑρων οδηγεί σε πιο ρεαλιστιϰές συζητήσεις. ∆ιερευνούµε τη χρήση των σχολιαστών LLM για την εϰτίµηση της ποιότητας των συζητήσεων, χρησιµοποιώντας ένα νέο στατιστιϰό έλεγχο για τη µέτρηση της πόλωσης των σχολιαστών ϰαι δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰού υπόβαϑρου στους σχολιαστές LLM µπορεί να µην επηρεάζει σηµαντιϰά τις ϰρίσεις τους. Επεϰτείνουµε το σύστηµα µας µε τη δυνατότητα υποστήριξης αυτόµατων επισηµειωτών (µε χρήση ΜΓΜ), για την αντιµετώπιση του προβλήµατος της αξιολόγησης διαλόγων. Οι ψευτο-επισηµειωτές αυτοί έχουν προϰαϑορισµένα από εµάς ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα, έτσι ώστε να προσοµοιώσουµε τη διαφωνία που πιϑανώς να υπάρχει ανάµεσα σε ανϑρώπους µε αντίστοιχα υπόβαϑρα. Τέλος, δίνουµε στη δηµοσιότητα το διϰό µας πρόγραµµα δηµιουργίας ϰαι σχολιασµού συνϑετιϰών συζητήσεων, τα συνϑετιϰά σύνολα δεδοµένων που προέϰυψαν από τα πειράµατά µας, ϰαϑώς ϰαι την επαϰόλουϑη ανάλυση ϰαι τα συµπεράσµατα από αυτά. Ο ϰώδιϰας, τα σύνολα δεδοµένων ϰαι η ανάλυση βρίσϰονται στο αποϑετήριο ϰώδιϰα στη διεύϑυνση https://github.com/dimits-ts/ llm_moderation_research.
Online discussion moderation/facilitation is crucial for discussions to flourish and prevent polarization and toxicity, which nowadays seems omnipresent. However, because it is heavily based on humans, moderation/facilitation proves costly, time-consuming and non-scalable, which has led many to turn to LLMs for discourse facilitation. In this thesis, we explore the use of LLMs as pseudo-users in online discussions, as a cost-efficient, realistic and scalable way of substituting initial LLM facilitation experiments, which would ordinarily necessitate costly human involvement. Furthermore, we show that including socio-demographic backgrounds in our LLM users leads to more realistic discussions. We explore the use of LLM annotators to estimate discussion quality, using a new statistical test to gauge annotator polarization, and show that using socio-demographic backgrounds in LLM annotators may not meaningfully affect their judgments. Finally, we release a synthetic-discussion creation and annotation framework, the synthetic datasets resulting from our experiments, as well as subsequent analysis and findings from these datasets. Code, datasets and analysis can be found at https://github.com/dimits-ts/ llm_moderation_research.

Subject :	Συντονισμός Μεγάλα γλωσσικά μοντέλα Επεξεργασία φυσικής γλώσσας Επισημείωση Δεδομένα Moderation Large language models Natural Language Processing (NLP) Annotation Datasets

Date Available :	2024-12-05 17:18:39

Date Issued :	26-11-2024

Date Submitted :	2024-12-05 17:18:39

Access Rights :	Free access

Licence :

File: Tsirmpas_2024.pdf

Type: application/pdf

File: Tsirmpas_2024.zip

Type: application/pdf

Login