Automated red teaming and defense mechanism assessment

Abstract

Η παρούσα διατριβή εξετάζει την αυτοματοποίηση των μηχανισμών άμυνας στον κυβερνοχώρο και την αξιολόγησή τους μέσω αυτοματοποιημένων τεχνικών red teaming. Καθώς οι κυβερνοαπειλές συνεχίζουν να αυξάνονται σε όγκο και πολυπλοκότητα, οι οργανισμοί συχνά δεν διαθέτουν τους πόρους και την εμπειρογνωμοσύνη που απαιτούνται για την εφαρμογή ολοκληρωμένων μέτρων ασφαλείας. Κατά συνέπεια, υπάρχει αυξανόμενη ανάγκη για αυτοματοποιημένες και οικονομικά αποδοτικές προσεγγίσεις που μπορούν να ενισχύσουν την ασφάλεια του συστήματος και να αξιολογούν συνεχώς την αποτελεσματικότητα των αμυντικών ελέγχων. Ο στόχος αυτής της έρευνας είναι η αξιολόγηση μιας αυτοματοποιημένης μεθοδολογίας για την ενίσχυση του συστήματος και την αξιολόγηση της ασφάλειας. Η προτεινόμενη προσέγγιση ενσωματώνει την εφαρμογή των CIS Controls και των CIS Benchmarks με αυτοματοποιημένη εξομοίωση adversary ομάδων χρησιμοποιώντας το πλαίσιο MITRE ATT&CK. Για να επιτευχθεί αυτό, η πλατφόρμα Caldera χρησιμοποιείται για την προσομοίωση ρεαλιστικών σεναρίων κυβερνοεπιθέσεων βασισμένων σε γνωστές ομάδες Advanced Persistent Threat (APT). Επιπλέον γίνεται η αντιστοίχιση τεχνικών που σχετίζονται με επιλεγμένες ομάδες APT σε Caldera abilities, επιτρέποντας την αυτοματοποιημένη εκτέλεση προσομοιώσεων επίθεσης σε ένα ελεγχόμενο εργαστηριακό περιβάλλον. Αναπτύχθηκε ένα πειραματικό δοκιμαστικό πλαίσιο για την ανάπτυξη των διαμορφώσεων ασφαλείας και την εκτέλεση πολλαπλών προσομοιώσεων επίθεσης. Τα πειράματα αξιολογούν την αποτελεσματικότητα των εφαρμοζόμενων μέτρων ασφαλείας συγκρίνοντας τη συμπεριφορά του συστήματος και τις δυνατότητες ανίχνευσης πριν και μετά την εφαρμογή μηχανισμών ενίσχυσης που βασίζονται σε CIS. Τα αποτελέσματα παρέχουν πληροφορίες σχετικά με το πώς οι αυτοματοποιημένες διαμορφώσεις ασφαλείας μπορούν να βελτιώσουν την αμυντική ανθεκτικότητα και τις δυνατότητες ανίχνευσης έναντι τεχνικών αντιπαράθεσης. Τα ευρήματα καταδεικνύουν ότι ο συνδυασμός τυποποιημένων ελέγχων ασφαλείας με αυτοματοποιημένα εργαλεία red teaming παρέχει μια πρακτική και κλιμακούμενη προσέγγιση για την αξιολόγηση και τη βελτίωση των επιπέδων κυβερνοασφάλειας των οργανισμών. Η προτεινόμενη μεθοδολογία επισημαίνει την αξία του αυτοματισμού στην επικύρωση ασφάλειας και προσφέρει ένα πλαίσιο που μπορεί να υποστηρίξει τη συνεχή αξιολόγηση ασφάλειας και τις προληπτικές στρατηγικές άμυνας.The current thesis examines the automation of cybersecurity defense mechanisms and their evaluation through automated red teaming techniques. As cyber threats continue to increase in volume and complexity, organizations often lack the resources and expertise required to implement comprehensive security measures. Consequently, there is a growing need for automated and cost-effective approaches that can enhance system security and continuously assess the effectiveness of defensive controls. The objective of this research is to evaluate an automated methodology for system hardening and security assessment. The proposed approach integrates the implementation of CIS Controls and CIS Benchmarks with automated adversary emulation using the MITRE ATT&CK framework. In order to achieve this, the Caldera platform is utilized to simulate realistic cyberattack scenarios based on known Advanced Persistent Threat (APT) groups. Techniques associated with selected APT groups are mapped to Caldera abilities, enabling the automated execution of adversarial operations in a controlled laboratory environment. An experimental testbed was developed to deploy the security configurations and perform multiple attack simulations. The experiments evaluate the effectiveness of the applied security measures by comparing system behavior and detection capabilities before and after the implementation of CIS-based hardening mechanisms. The results provide insights into how automated security configurations can improve defensive resilience and detection capabilities against adversarial techniques. The findings demonstrate that combining standardized security controls with automated red teaming tools provides a practical and scalable approach for assessing and improving organizational cybersecurity posture. The proposed methodology highlights the value of automation in security validation and offers a framework that can support continuous security assessment and proactive defense strategies.