Συλλογές
Τίτλος Mitigating polarisation in online discussions through adaptive moderation techniques
Εναλλακτικός τίτλος Μετριασμός της πόλωσης σε διαδικτυακές συζητήσεις μέσω προσαρμοστικών τεχνικών συντονισμού
Δημιουργός Τσίρμπας, Δημήτριος, Tsirmpas, Dimitrios
Συντελεστής Athens University of Economics and Business, Department of Informatics
Stafylakis, Themos
Vassalos, Vasilios
Pavlopoulos, Ioannis
Τύπος Text
Φυσική περιγραφή 62p.
Γλώσσα en
Αναγνωριστικό http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=11763
Περίληψη Online discussion moderation/facilitation is crucial for discussions to flourish and prevent polarization and toxicity, which nowadays seems omnipresent. However, because it is heavily based on humans, moderation/facilitation proves costly, time-consuming and non-scalable, which has led many to turn to LLMs for discourse facilitation. In this thesis, we explore the use of LLMs as pseudo-users in online discussions, as a cost-efficient, realistic and scalable way of substituting initial LLM facilitation experiments, which would ordinarily necessitate costly human involvement. Furthermore, we show that including socio-demographic backgrounds in our LLM users leads to more realistic discussions. We explore the use of LLM annotators to estimate discussion quality, using a new statistical test to gauge annotator polarization, and show that using socio-demographic backgrounds in LLM annotators may not meaningfully affect their judgments. Finally, we release a synthetic-discussion creation and annotation framework, the synthetic datasets resulting from our experiments, as well as subsequent analysis and findings from these datasets. Code, datasets and analysis can be found at https://github.com/dimits-ts/ llm_moderation_research.
Ο συντονισµός/διαµεσολάβση (moderation/facilitation) των διαδιϰτυαϰών συζητήσεων είναι ζωτιϰής σηµασίας για την άνϑηση των συζητήσεων ϰαι την αποτροπή της πόλωσης ϰαι της τοξιϰότητας, που στις µέρες µας φαίνεται πανταχού παρούσες. Οι σύγχρονες τεχνιϰές συντονισµού/διαµεσολάβησης απαιτούν ανϑρώπινη συµµετοχή ϰαι, ως εϰ τούτου, είναι δαπανηρές ϰαι µη επεϰτάσιµες, οδηγώντας πολλούς να στραφούν στη χρήση Μεγάλων Γλωσσιϰών Μοντέλων (ΜΓΜ, ή LLMs στα Αγγλιϰά) για αυτές. Στα πλαίσια της διατριβής αυτής δηµιουργούµε ένα νέο σύστηµα το οποίο παράγει συνϑετιϰές διαδιϰτυαϰές συζητήσεις, χρησιµοποιώντας ψευτο-χρήστες ΜΓΜ µε ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα έτσι ώστε να ϰαταστήσουµε τις συζητήσεις ρεαλιστιϰές. Επιπλέον, δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰών υποβάϑρων οδηγεί σε πιο ρεαλιστιϰές συζητήσεις. ∆ιερευνούµε τη χρήση των σχολιαστών LLM για την εϰτίµηση της ποιότητας των συζητήσεων, χρησιµοποιώντας ένα νέο στατιστιϰό έλεγχο για τη µέτρηση της πόλωσης των σχολιαστών ϰαι δείχνουµε ότι η χρήση ϰοινωνιϰο-δηµογραφιϰού υπόβαϑρου στους σχολιαστές LLM µπορεί να µην επηρεάζει σηµαντιϰά τις ϰρίσεις τους. Επεϰτείνουµε το σύστηµα µας µε τη δυνατότητα υποστήριξης αυτόµατων επισηµειωτών (µε χρήση ΜΓΜ), για την αντιµετώπιση του προβλήµατος της αξιολόγησης διαλόγων. Οι ψευτο-επισηµειωτές αυτοί έχουν προϰαϑορισµένα από εµάς ϰοινωνιϰο-δηµογραφιϰά υπόβαϑρα, έτσι ώστε να προσοµοιώσουµε τη διαφωνία που πιϑανώς να υπάρχει ανάµεσα σε ανϑρώπους µε αντίστοιχα υπόβαϑρα. Τέλος, δίνουµε στη δηµοσιότητα το διϰό µας πρόγραµµα δηµιουργίας ϰαι σχολιασµού συνϑετιϰών συζητήσεων, τα συνϑετιϰά σύνολα δεδοµένων που προέϰυψαν από τα πειράµατά µας, ϰαϑώς ϰαι την επαϰόλουϑη ανάλυση ϰαι τα συµπεράσµατα από αυτά. Ο ϰώδιϰας, τα σύνολα δεδοµένων ϰαι η ανάλυση βρίσϰονται στο αποϑετήριο ϰώδιϰα στη διεύϑυνση https://github.com/dimits-ts/ llm_moderation_research.
Λέξη κλειδί Επεξεργασία φυσικής γλώσσας
Συντονισμός
Μεγάλα γλωσσικά μοντέλα
Επισημείωση
Δεδομένα
Moderation
Large language models
Natural Language Processing (NLP)
Annotation
Datasets
Διαθέσιμο από 2024-12-05 17:18:39
Ημερομηνία έκδοσης 26-11-2024
Ημερομηνία κατάθεσης 2024-12-05 17:18:39
Δικαιώματα χρήσης Free access
Άδεια χρήσης https://creativecommons.org/licenses/by/4.0/