Brand-based sentiment analysis

Abstract

In this thesis, machine and deep learning models were applied in order to improve sentiment analysis on brand-specific texts. As a side task, Named-Entity Recognition experiments took place in order to analyze the brand name detection and possibly use the model as a Brand-Entity Recognition system, a brand-focused version of NER. For the purposes of NER, the pre-trained algorithms of SpaCy and Greek BERT-NER were used and, then, the Greek BERTbased model was fine-tuned using our dataset. With respect to sentiment analysis, the following machine learning algorithms were initially trained, Random Forests, Multinomial Naive Bayes, Logistic Regression and Linear SVC. Then, deep learning architectures were implemented such as BiGRU and CNN and in the end, we experimented with transformers such as BERT and XLM-RoBERTa (XLM-R). Considering this as the text-level sentiment estimation, a brand-level sentiment estimation was developed making use of the brand information in two ways. The first one is by feeding the brand to the model (input) and the second one is estimating the brand (output) alongside sentiment, using multi-task learning. The results have shown that there is a correlation between the brand and the sentiment, which as a feature should not be defied.

Στην παρούσα διπλωματική εργασία, μοντέλα μηχανικής και βαθιάς μάθησης εφαρμόστηκαν, προκειμένου να βελτιωθεί η ανάλυση συναισθήματος σε κείμενα που αφορούν συγκεκριμένες μάρκες. Παράλληλα, πραγματοποιήθηκαν πειράματα σχετικά με την Αναγνώριση Ονοματοδοτημένων Οντοτήτων (Named-Entity Recognition) προκειμένου να αναλυθεί η ανίχνευση ονομάτων εμπορικών μαρκών και ενδεχομένως, να χρησιμοποιηθεί το μοντέλο ως Brand-Entity Recognition σύστημα, μια εστιασμένη σε εμπορικές μάρκες εκδοχή του NER. Για τους σκοπούς του NER χρησιμοποιήθηκαν οι προ-εκπαιδευμένοι αλγόριθμοι του SpaCy, του ελληνικούBERT-NER και στη συνέχεια το μοντέλο με βάση το ελληνικό BERTρυθμίστηκε λεπτομερώς πάνω στο δικό μας σύνολο δεδομένων. Όσον αφορά την ανάλυση συναισθήματος, αρχικά, εκπαιδεύτηκαν οι εξής αλγόρίθμοι μηχανικής μάθησης, Random Forests, Multinomial NaiveBayes, Logistic Regression και Linear SVC.Στη συνέχεια, αρχιτεκτονικές βαθιάς μάθησης εφαρμόστηκαν, όπως BiGRU και CNN και στο τέλος πειραματιστήκαμε με μετασχηματιστές όπως ο BERTκαι ο XLM-RoBERTa (XLM-R). Θεωρώντας τα μοντέλα αυτά ως βάση για την εκτίμηση του συναισθήματος σε επίπεδο κειμένου, αναπτύχθηκε η εκτίμηση του συναισθήματος σε επίπεδο μάρκας, εκμεταλευόμενοι την πληροφορία της μάρκας με δύο τρόπους. Ο πρώτος είναι με την παροχή της μάρκας στο μοντέλο (είσοδος) και ο δεύτερος είναι η εκτίμηση της μάρκας παράλληλα με το συναίσθημα (έξοδος), χρησιμοποιώντας μάθηση πολλαπλών εργασιών. Τα αποτελέσματα έδειξαν ότι υπάρχει συσχέτιση μεταξύ της μάρκας και του συναισθήματος, η οποία ως χαρακτηριστικό δεν πρέπει να αψηφιστεί.