| Abstract : | Το Federated Learning είναι μια τεχνική μηχανικής μάθησης που στοχεύει στην εκπαίδευση ενός κεντρικού μοντέλου νευρικού δικτύου σε αποκεντρωμένα δεδομένα που βρίσκονται σε συσκευές χρηστών, εκπαιδεύοντας τοπικά στιγμιότυπα του κεντρικού μοντέλου στις συσκευές και στη συνέχεια συνδυάζοντας τις τοπικές λύσεις τους. Έχουν προταθεί διάφοροι αλγόριθμοι στη βιβλιογραφία για την επίλυση του προβλήματος. Ο Federated Averaging (FedAvg) είναι ένας τέτοιος αλγόριθμος που μαθαίνει το κεντρικό μοντέλο παίρνωντας τον μέσο όρο των τοπικές παραμέτρων που λαμβάνονται από τις συσκευές. Ένας άλλος αλγόριθμος είναι ο Federated Proximation (FedProx) που εισάγει έναν όρο κανονικοποίησης στην τοπική συνάρτηση κόστους που μετρά την απόσταση μεταξύ των κεντρικών και τοπικών παραμέτρων στις συσκευές για την αντιμετώπιση των επιπτώσεων των Non-IID δεδομένων. Ένα άλλο τυπικό σενάριο για το Federated Learning είναι όταν υπάρχει ανάγκη εξατομίκευσης του κεντρικού μοντέλου για τις ανάγκες και τα δεδομένα των συσκευών. Σε αυτή τη διατριβή, προτείνουμε μια νέα προσέγγιση εισάγοντας μια layer-wise κανονικοποίηση στις τοπικές συναρτήσεις κόστους των συσκευών. Αυτή η συνάρτηση κόστους ρυθμίζει τις τοπικές παραμέτρους μετρώντας την ομοιότητα καθώς και την αριθμητική απόσταση μεταξύ των τοπικών και των κεντρικών παραμέτρων. Προτείνουμε περαιτέρω μια προσέγγιση εξατομίκευσης που εκμεταλλεύεται την τοπική εκπαίδευση σε επίπεδο layer για να δημιουργήσει ένα εξατομικευμένο μοντέλο για κάθε συσκευή αναμειγνύοντας τα τοπικά και κεντρικά μοντέλα. Παρέχουμε πολλά υποσχόμενα αποτελέσματα που αποδεικνύουν την αποτελεσματικότητα της προσέγγισής μας τόσο σε σενάρια Non-IID δεδομένων, εξατομίκευσης όσο και για ετερογενή συστήματα. Η προτεινόμενη μέθοδος μας επιτυγχάνει ~3-5% υψηλότερη ακρίβεια στους πρώτους 20 γύρους επικοινωνίας σε σύγκριση με τα FedAvg και FedProx και δημιουργεί ένα εξατομικευμένο μοντέλο που συγκλίνει με τον ίδιο αριθμό γύρων. Σε εξαιρετικά ετερογενή συστήματα, η προτεινόμενη μέθοδος μας επιτυγχάνει έως και 8% υψηλότερη ακρίβεια σε σύγκριση με τα FedAvg και FedProx με το εξατομικευμένο μοντέλο να μην επηρεάζεται από την ετερογένεια του συστήματος.
Federated Learning is a machine learning technique that aims to train a central neural network model on decentralized data located on edge devices, by training local instances of the global model on edge devices, and then combining their local solutions. There have been several algorithms proposed in the literature to successfully solve the task. Federated Averaging (FedAvg) is such an algorithm that learns the global model by averaging the local model parameters received from the edge devices. Another algorithm is Federated Proximation (FedProx) which introduces a regularization term in the local training loss function that measures the distance between the global and local parameters in the edge devices to tackle the effects of Non-IID data. Another typical scenario for Federated Learning is when there is a need to personalize the global model to the edge devices' needs and data. In this thesis, we propose a new approach by introducing a layer-wise regularization to the local loss function of the edge devices. This loss regularizes the local parameters by measuring the dissimilarity as well as the numerical distance between the local and global parameters. We further propose a personalization approach that takes advantage of the layer-wise local training to create a personalized model for each client by mixing the purely local and global models. We provide promising results that demonstrate the effectiveness of our approach both in settings of Non-IID data, personalization as well as for heterogeneous systems. Our proposed method achieves ~3-5% higher accuracy in the first 20 communication rounds compared to FedAvg and FedProx and creates a personalized model that converges at the same number of rounds. In highly heterogeneous systems our proposed method achieves up to 8% higher accuracy compared to FedAvg and FedProx with the personalized model not being affected by the heterogeneity of the system.
|
|---|
Copyright © 2013 Library AUEB. All rights reserved.