A semi-supervised anomaly detection and classification approach in computer vision

Abstract

This thesis proposes a hybrid approach for detecting, localizing and classifying anomaliesin video streams from a static camera. The framework we present that is based on thisidea uses a deep learning model for object detection and a dense optical flow method formotion monitoring. Both of these mechanism are running independently in order to detectanomalies and specify their type or description. A transformation step is also applied inthe video stream in order to convert each frame into smaller sized blocks that improve thecomputational efficiency and memory usage. Anomalous blocks are backtracked in theiroriginal frame and location of the present anomaly.The training process learns the normal behavioural parameters of the video stream that areused in the testing phase. The main idea is the novelty detection approach where anomalycan be defined as a previously unseen event. Under this assumption each mechanism usesa custom setup to detect an anomaly.We present in detail the environment we use for testing and examine the time of executionof the framework, which can also be used for real time applications.

Η διπλωµατιϰή πραγµατεύεται το αντιϰείµενο του εντοπισµού ϰαι ϰατηγο-ριοποίησης ανωµαλιών σε βίντεο παραγόµενα από στατιϰή ϰάµερα. Ο δοµιϰός µηχανισ-µός που παρουσιάζουµε είναι υβριδιϰός ϰαϑώς χρησιµοποιεί διαφορετιϰές επιµέρουςτεχνιϰές για να εξάγει τα δεδοµένα που χρειάζονται. Συγϰεϰριµένα, χρησιµοποιεί ένανµηχανισµό νευρωνιϰών διϰτύων βαϑειάς µάϑησης για αναγνώριση αντιϰειµένων ϰαιέναν µηχανισµό πυϰνής οπτιϰής ροής ιϰανό να αναγνωρίζει την ϰίνηση που µπορείνα υπάρχει σε ϰάϑε πλάνο του βίντεο. ΄Επειτα εφαρµόζουµε µια µετρατροπή επί τουϰάϑε πλάνου χωρίζοντας το σε επιµέρους µιϰρότερα ϰοµµάτια (blocks) διευϰολύνον-τας έτσι την αποτελεσµατιϰότητα των υπολογισµών. Σε περίπτωση που ϰάποιο από ταµιϰρότερα ϰοµµάτια (blocks) περιέχει ανωµαλία, αυτή µπορεί να αντιστοιχηϑείστην ϑέση από την οποία προήϑλε στο αρχιϰό πλάνο.Βασική ιδέα ϰατά την εϰπαίδευση του αλγορίϑµου µας είναι ότι σαν ανωµαλία ϑαϑεωρήσουµε πρωτοεµφανιζόµενες διαφοροποιήσεις οι οποίες δεν έχουν ϰαταγραφεί σεπρότερο χρονιϰό διάστηµα ϰατά τα βίντεο που έχει δει ήδη ο δοµιϰός µας µηχανισµός.Μπορούµε δηλαδή µε τα στοιχεία της ϰίνησης ϰαϑώς ϰαι των αντιϰειµένων που βρίσϰον-ται σε ϰάϑε πλάνο να σϰιαγραφήδουµε παραµέτρους που περιγράφουν την ϰανονιϰότητατων δεδοµένων. ΄Ετσι ϰατα την εϰτέλεση του µηχανισµού µας σε ϰαινούργια βίντεο,σηµαντιϰές διαϰυµάνσεις από την ϰαταγεγραµµένη ϰανονιϰότητα ϑα ϑεωρούνται σανανωµαλίες, ενώ ϑα µπορεί να προσδιοριστεί ϰαι η αιτία τους. Σαν αιτίες ή τύπους αν-ωµαλιών στη παρούσα εργασία ϑεωρούµε τα άγνωστα αντιϰείµενα, αϰανόνιστες ϑέσειςτων γνωστών αντιϰειµένων που παρατηρούνται στα πλάνα, αϰανόνιστες ταχύτητες ϰαιϰατευϑύνσεις που δεν έχουν παρατηρηϑεί ξανά. Κατ’ αυτόν τον τρόπο παίρνουµε µιαπεριγραφή για το πως προέϰυψε η ανωµαλία σε ϰάϑε σηµείο του βίντεο.Η αξιολόγηση δε του µηχανισµού που παρουσιάζουµε γίνεται επί των ανωµαλιών αυτώνϰαι όχι επί της περιγραφής ή του τύπου τους. Περαιτέρω λεπτοµέρειες γιατο περιβάλλον που χρησιµοποιούµε για αξιολόγηση αναλύονται, ϰαϑώς ο µηχανισµόςµπορεί να λειτουργήσει ϰαι για εντοπισµό ανωµαλιών σε πραγµατιϰό χρόνο.