Privacy awareness in point clouds based using AI-based object detection

Abstract

Point clouds captured by depth sensors are used in both indoor and outdoor settings. This raises privacy concerns that increase the friction between researchers and people that might be identifiable in the data collected. This thesis proposes a privacy-aware pipeline that detects faces and people in point clouds in real-time and blurs them before rendering the point cloud to an output device. A software proof-of-concept was developed using Python, Open3D, OpenCV and Intel’s tooling for an actual Intel depth camera. We explored the possibility of using models that operate directly on 3D point clouds instead of established 2D technologies, in order to investigate the software ecosystem’s maturity. Our results show that unlike 2D object detection, the 3D object/face detection ecosystem is not ready for widespread adoption and deployment in production, without considerable programming effort.Τα νέφη σημείων που ϰαταγράφονται από αισϑητήρες βάϑους χρησιμοποιούνται τόσο σε εσωτεριϰούς όσο ϰαι σε εξωτεριϰούς χώρους. Αυτό σαφώς δημιουργεί ανησυχίες για την ιδιωτιϰότητα που αυξάνουν την τριβή μεταξύ ερευνητών ϰαι ατόμων που ενδέχεται να είναι αναγνωρίσιμα στα δεδομένα που συλλέγονται. Αυτή η διπλωματιϰή εργασία προτείνει έναν τρόπο επεξεργασίας λαμβάνοντας υπόψη την ιδιωτιϰότητα, ο οποίος ανιχνεύει πρόσωπα ϰαι ανϑρώπους σε πραγματιϰό χρόνο σε νέφη σημείων ϰαι τα ϑολώνει πριν από την εμφάνιση του τρισδιάστατου νέφους σημείων σε μια συσϰευή εξόδου. Αναπτύχϑηϰε ένα λογισμιϰό ως προτότυπο προϰειμένου να εξερευνηϑεί η ιδέα, χρησιμοποιώντας Python, Open3D, OpenCV ϰαι τα εργαλεία της Intel για την ϰάμερα βάϑους. Επίσης, εξερευνήσαμε τη δυνατότητα χρήσης μοντέλων που λειτουργούν απευϑείας σε τρισδιάστατα νέφη σημείων αντί για ϰαϑιερωμένες τεχνολογίες που λειτουργούν σε δισδιάστατες ειϰόνες, προϰειμένου να διερευνήσουμε την ωριμότητα του οιϰοσυστήματος λογισμιϰού. Τα αποτελέσματά μας δείχνουν ότι σε αντίϑεση με την ανίχνευση αντιϰειμένων 2D, το οιϰοσύστημα ανίχνευσης αντιϰειμένων/προσώπων 3D δεν είναι έτοιμο για ευρεία υιοϑέτηση ϰαι ανάπτυξη σε περιβάλλον παραγωγής χωρίς σημαντιϰή προγραμματιστιϰή προσπάϑεια.