Optimizing distributed deep learning through automated batch size tuning

Abstract

Η ταχεία πρόοδος των µοντέλων βαϑιάς µάϑησης τα τελευταία χρόνια έχει οδηγήσει σε σηµαντιϰή πρόοδο σε διάφορους τοµείς όπως η όραση υπολογιστή ϰαι η αναγνώριση οµιλίας. Ωστόσο, ϰαϑώς αυτά τα µοντέλα γίνονται πιο πολύπλοϰα ϰαι απαιτούν ολοένα ϰαι µεγαλύτερους υπολογιστιϰούς πόρους όπως υπολογιστιϰή ισχύ ϰαι µνήµη. Τα ϰατανεµηµένα συστήµατα βαϑιάς µάϑησης έχουν εµφανιστεί για να αντιµετωπίσουν αυτές τις προϰλήσεις, αξιοποιώντας τεχνιϰές παραλληλισµού πολλών συσϰευών, όπως ο παραλληλισµός δεδοµένων ϰαι ο παραλληλισµός αγωγών. Αυτή η διατριβή εστιάζει στον παραλληλισµό αγωγών, ο οποίος διαχωρίζει βαϑιά νευρωνιϰά δίϰτυα σε πολλαπλές συσϰευές για να βελτιώσει την επεϰτασιµότητα ϰαι να µειώσει τον χρόνο εϰπαίδευσης. Σε αυτήν την εργασία, προτείνουµε το OptiBatch, έναν προσαρµοστιϰό βελτιστοποιητή διοχέτευσης µε επίγνωση µνήµης που προσαρµόζει δυναµιϰά τις παραµέτρους εϰπαίδευσης, όπως τα µεγέϑη mini-batch ϰαι micro-batch, ως απόϰριση στη χρήση της µνήµης σε πραγµατιϰό χρόνο σε όλες τις συσϰευές. ∆ιεξάγοντας πειράµατα σε ευρέως χρησιµοποιούµενα µοντέλα, ResNet18 ϰαι VGG11, ϰαι σε σύνολα δεδοµένων, MNIST ϰαι CIFAR-10, διερευνούµε τους συµβιβασµούς µεταξύ της ϰατανάλωσης µνήµης, του χρόνου εϰτέλεσης ϰαι της ϰατάτµησης µοντέλων. Η προσέγγισή µας χρησιµοποιεί τη βελτιστοποίηση Pareto για να εξισορροπήσει τη χρήση της µνήµης ϰαι τον χρόνο εϰτέλεσης, διασφαλίζοντας αποτελεσµατιϰή χρήση πόρων ϰάτω από διαφορετιϰές συνϑήϰες συστήµατος. Τα αποτελέσµατα ϰαταδειϰνύουν ότι η δυναµιϰή προσαρµογή παραµέτρων ενισχύει σηµαντιϰά την αποτελεσµατιϰότητα της εϰπαίδευσης, προσφέροντας πληροφορίες για τους επαγγελµατίες που εργάζονται σε µεγάλης ϰλίµαϰας ϰατανεµηµένη βαϑιά µάϑηση. Αυτή η προσαρµοστιϰή λύση παρέχει ένα πλαίσιο για την υπέρβαση των περιορισµών της µνήµης, διατηρώντας παράλληλα τη βέλτιστη απόδοση στην εϰπαίδευση µοντέλων βαϑιάς µάϑησης.

The rapid advancement of deep learning models in recent years has led to significant progress in various domains such as computer vision and speech recognition. However, as these models become more complex and data-intensive, they require increasingly large computational resources including cpu and memory. Distributed Deep Learning Systems have emerged to address these challenges, leveraging multi-device parallelism techniques like data parallelism and pipeline parallelism. This thesis focuses on pipeline parallelism, which partitions deep neural networks across multiple devices to improve scalability and reduce training time. In this work, we propose OptiBatch, an adaptive memory-aware pipeline optimizer that dynamically adjusts training parameters, such as mini-batch and micro-batch sizes, in response to real-time memory usage across devices. By conducting experiments on widely used models, ResNet18 and VGG11, and datasets, MNIST and CIFAR-10, we explore the trade-offs between memory consumption, execution time, and model partitioning. Our approach utilizes Pareto optimization to balance memory usage and execution time, ensuring efficient resource utilization under varying system conditions. The results demonstrate that dynamic parameter adjustment significantly enhances training efficiency, offering insights for practitioners working on large-scale distributed deep learning. This adaptive solution provides a framework for overcoming memory limitations while maintaining optimal performance in deep learning model training.