New algorithms and practical implementation issues in federated learning

Abstract

Federated Learning (FL) is a distributed Machine Learning paradigm that aims to traina central neural network model, on decentralized data located on edge devices. This isaccomplished by training local instances of the global model on the edge devices andthen aggregating their local solutions on a server; without accessing their private localdata. In this thesis, we make contributions in two fronts. First, in the practical implementationfront, we implement the most widely used FL algorithm, Federated Averaging (FedAvg),over a wireless network, using Raspberry Pi devices as clients, with the purpose of capturingthe cost of the negative externalities on the training quality. Second, in terms of advancing knowledge in FL algorithms, we propose a novel training pipeline for Federated learning that is based on the idea of Transfer Learning and uses the generative properties of Generative Adversarial Networks (GANs) to feed information about the decentralized datasets, to all the clients’ local networks. Finally, we provide some early encouraging results that indicate an improvement of 3,9 in central model accuracy on the test dataset, without increasing the communication overhead of the Federate Learning training procedure.

Η Ομόσπονδη Μάθηση (Federated Learning) είναι μια κατηγορία κατανεμημένης μηχανικής μάθησης, που στοχεύει στην εκπαίδευση ενός κεντρικού μοντέλου νευρωνικού δικτύου, σε αποκεντρωμένα δεδομένα που βρίσκονται σε συσκευές στην άκρη ενός δικτύου. Σε αυτή τη διατριβή, εφαρμόζουμε τον πιο ευρέως χρησιμοποιούμενο αλγόριθμο Ομόσπονδης Μάθησης, τον FedAvg, µέσω ενός ασύρματου δικτύου, χρησιμοποιώντας συσκευές Raspberry Pi ως πελάτες και έναν κεντρικό υπολογιστή ως εξυπηρετητή, µε σκοπό ναΚαταγράψουμε το κόστος των αρνητικών επιδράσεων στην ποιότητα της μηχανικής εκπαίδευσης. Επιπρόσθετα, προτείνουμε μια νέα μεθοδολογία μηχανικής εκπαίδευσης στα πλαίσια της Ομόσπονδης Μάθησης, που βασίζεται στην ιδέα της Μεταφοράς Μάθησης και χρησιμοποιεί τις εν γένει ιδιότητες των Παραγωγικών Αντιπαλιϰών Δικτύων, για να τροφοδοτήσει πληροφορίες σχετικά µε τα αποκεντρωμένα σύνολα δεδομένων όλων τωνχρηστών, σε όλα τα τοπικά νευρωνικά δίκτυα των χρηστών. Τέλος παρέχουμε κάποια πρώιμα ενθαρρυντικά αποτελέσματα που υποδηλώνουν βελτίωση στην ακρίβεια του κεντρικού μοντέλου στο σύνολο δεδομένων δοκιμής χωρίς να αυξήσουμε το κόστος της επικοινωνίας, της διαδικασίας εκπαίδευσης Ομόσπονδης Μάθησης.