Greek text-to-speech

Abstract

Text-to-Speech (TTS) is a technology able to read aloud digital text. Nowadays, there has been significant progress in many applications, from virtual assistance and customer services to technologies that help people who struggle with reading. This study aims to train and evaluate a TTS deep learning model in the Greek language trying to copy the voice of a well-known Greek actress keeping the naturalness of the output speech. Our goal is to produce the actress's accent, making the output as identifiable as possible. Recent research has shown how TTS can be successfully addressed as a sequence-to-sequence (seq2seq) task followed by a vocoder. The seq2seq model predicts Mel-Spectrograms, a representation of the input in the frequency domain per time frame, given a text. Having a Mel-Spectrogram layout, the vocoder model synthesizes the time-domain waveform. This study is focused on training the auto-regressive Tacotron 2 implementation for the seq2seq task and the WaveGlow model for the vocoder. With the objective of simulating the actress’s voice, we collected our data samples from a podcast she hosted. Having the audio samples, we organized the dataset in the form of <text-audio sample> pairs. After the training process, our model achieved 3.48 MOS (Mean Opinion Score). Our Greek TTS model also accomplished 81% voice similarity with the original podcast hostess.

Μία από τις τεχνολογίες που συμβάλλουν στην επικοινωνία του ανθρώπου με τη μηχανή είναι τα μοντέλα μετατροπής κειμένου για ομιλία (Text-to-Speech, TTS). Ενδεικτικά παραδείγματα εφαρμογών της τεχνολογίας αυτής είναι οι ψηφιακοί βοηθοί και τα εργαλεία ανάγνωσης κειμένου σε ανθρώπους με μαθησιακές δυσκολίες. Στην παρούσα εργασία, εκπαιδεύουμε ένα μοντέλο TTS για τα Ελληνικά, ώστε η παραγόμενη φωνή να μοιάζει με εκείνη της γνωστής Ελληνίδας ηθοποιού. Πρόσφατες έρευνες έχουν δείξει πώς συστήματα TTS μπορούν να αναπτυχθούν επιτυχώς συνδυάζοντας ένα μοντέλο βαθιάς μάθησης ακολουθία-σε-ακολουθία (sequence-to-sequence, seq2seq) και ένα μοντέλο vocoder. Το πρώτο μοντέλο παράγει παραστάσεις στο πεδίο της συχνότητας (Mel-Spectrograms) για κάθε χρονικό παράθυρο (time frame), δεδομένης μιας ακολουθίας λέξεων. Στη συνέχεια, το δεύτερο μοντέλο (vocoder) αναλαμβάνει τη σύνθεση των κυματομορφών του ήχου. Στην υλοποίησή μας, χρησιμοποιούμε τη μεθοδολογία του Tacotron 2 για την παραγωγή των Mel-Spectrograms και την υλοποίηση του WaveGlow ως vocoder για την τελική εξαγωγή της κυματομορφής.