Automating system administrator tasks and compliance with the use of Generative AI

Abstract

Η ραγδαία εξέλιξη της Τεχνητής Νοημοσύνης και συγκεκριμένα των Large Language Models (LLMs) τα τελευταία χρόνια έχει δημιουργήσει νέες δυνατότητες για την αυτοματοποίηση σύνθετων και χρονοβόρων διαδικασιών στον τομέα της Πληροφορικής. Ένας από αυτόυς τους τομείς όπου η ανάγκη για αυτοματοποίηση είναι ιδιαίτερα σημαντική είναι η συμμόρφωση των πληροφοριακών συστημάτων σε πρότυπα ασφάλειας. Οι εργασίες αυτές απαιτούν σημαντική τεχνική γνώση και χρόνο, γεγονός που τις καθιστά δύσκολες στην πλήρη και συνεπή εφαρμογή τους σε σύγχρονα επιχειρηματικά περιβάλλοντα. Με γνώμονα αυτό το γεγονός, η παρούσα εργασία εξετάζει τη δυνατότητα αξιοποίησης των LLMs ως έναν μηχανισμό υποστήριξης των system administrators για την αυτοματοποίηση της διαδικασίας συμμόρφωσης με τα CIS Benchmarks, ένα από τα πιο δημοφιλή πρότυπα ασφάλειας στον χώρο της κυβερνοασφάλειας. Συγκεκριμένα, σχεδιάστηκε και υλοποιήθηκε ένα ολοκληρωμένο pipeline το οποίο αναλύει τα επίσημα CIS Benchmark αρχεία σε μορφή PDF, εξάγει τα remediations από αυτά τα αρχεία και αξιοποιεί τα LLMs για τη δημιουργία PowerShell scripts που εφαρμόζουν τις αντίστοιχες ρυθμίσεις ασφάλειας. Στη συνέχεια, τα παραγόμενα scripts εκτελούνται αυτόματα και η βελτίωση της συμμόρφωσης αξιολογείται ποσοτικά μέσω εργαλείων ελέγχου συμμόρφωσης. Μαζί με την τεχνική υλοποίηση, η παρούσα εργασία εστιάζει και στην συγκριτική αξιολόγηση των διαφορετικών state-of-the-art LLMs ως προς την αποτελεσματικότητά τους στην παραγωγή χρήσιμων remediation scripts. Τα πειράματα πραγματοποιήθηκαν σε τρία σύγχρονα λειτουργικά συστήματα Windows, τα οποία χρησιμοποιούνται ευρέως σε επιχειρηματικά περιβάλλοντα. Στόχος της εργασίας, δεν είναι η πλήρης αντικατάσταση του ρόλου του system administrator, αλλά η διερεύνηση του κατά πόσο τα LLMs μπορούν να λειτουργήσουν ως αξιόπιστα συμπληρωματικά εργαλεια, μειώνοντας τον χρόνο και την πολυπλοκότητα αυτών των διαδικασιών συμμόρφωσης.The rapid development of Artificial Intelligence and specifically Large Language Models (LLMs) in recent years has created new possibilities for the automation of complex and time-consuming processes in the field of Information Technology. One of these areas where the need for automation is particularly important is the compliance of information systems with security standards. These tasks require significant technical expertise and time, which makes them difficult to fully and consistently implement in modern business environments. With this in mind, this paper examines the possibility of utilizing LLMs as a support mechanism for system administrators to automate the compliance process for CIS Benchmarks, one of the most popular security standards in the field of cybersecurity. Specifically, a comprehensive pipeline was designed and implemented that analyzes the official CIS Benchmark files in PDF format, extracts the remediations from these files and utilizes the LLMs to create PowerShell scripts that apply the corresponding security settings. The generated scripts are then executed automatically and the improvement in compliance is quantitatively assessed through compliance audit tools. Along with the technical implementation, this work also focuses on the comparative evaluation of different state-of-the-art LLMs in terms of their effectiveness in producing useful remediation scripts. The experiments were performed on three modern Windows operating systems, which are widely used in business environments. The aim of this work is not to completely replace the role of the system administrator, but to investigate whether LLMs can function as reliable complementary tools, reducing the time and complexity of these compliance processes.