Hệ thống giám sát camera nhận diện khuôn mặt Báo cáo nghiên cứu Q2 – 2018 Người thực hiện: Triệu Minh Tiến Thời gian: 25/05 ~ 01/06 Giới thiệu Topic • Động cơ: Văn phịng VietnamLab Hà Nội có người lạ vào khơng có mặt, khơng đảm bảo mặt security (giấy tờ, trang thiết bị công ty) • Do đó: • • Cơng ty cần trang bị camera giám sát Nâng cao tính giám sát camera: • • Nhận diện người cơng ty Phát người lạ Các giai đoạn nghiên cứu • Giai đoạn 1: Lấy liệu hình ảnh camera • Giai đoạn 2: Huấn luyện model nhận diện nhân viên VietnamLab Hà Nội • Giai đoạn 3: Xây dựng hệ thống camera giám sát VietnamLab Hà Nội Các giai đoạn nghiên cứu • Giai đoạn 1: Lấy liệu hình ảnh camera • Giai đoạn 2: Huấn luyện model nhận diện nhân viên VietnamLab Hà Nội • Giai đoạn 3: Xây dựng hệ thống camera giám sát VietnamLab Hà Nội Giai đoạn 1: IP Camera • IP Camera – Internet Protocol Camera: camera cho phép truy cập trực tiếp thông qua kết nối mạng • Có loại IP Camera chính: • Tập trung (centralized): cần NVR • Phi tập trung (decentralized): khơng cần NVR Truy cập IP Camera • cách • Thơng qua Internet • Thơng qua LAN Truy cập thơng qua Internet • Truy cập từ đâu thơng qua ứng dụng smartphone • Hầu hết camera hỗ trợ cách • Nguyên lý hoạt động: P2P • • • • • • Mỗi camera cấp UID, có thiết lập username/password Ứng dụng smartphone (client) gửi request đến P2P server P2P server xác nhận UID username/password P2P server làm trung gian tạo kết nối trực tiếp IP camera client IP camera truyền liệu (hình ảnh, âm thanh) tới client Client gửi tín hiệu âm (và lệnh điều khiển với IP camera hỗ trợ PTZ) theo chiều ngược lại Truy cập thông qua LAN • IP camera kết nối với router cấp địa IP LAN • Một số loại camera hỗ trợ việc truy cập cài đặt thơng số qua địa IP • Để truy cập xem hình ảnh trực tiếp camera từ LAN camera phải hỗ trợ giao thức streaming sau: • • HLS (HTTP Live Streaming): Apple phát triển • • RTMP (Real time messaging protocol): Adobe phát triển RTSP (Real time streaming protocol): RealNetworks, Netscape and Columbia University phát triển WebRTC (Web Real time Communication): Google phát triển Thực tế nghiên cứu • Cần truy cập vào live streaming IP Camera để nhận diện khn mặt • Cách qua Internet: q phức tạp • Cách qua LAN: • Thử với camera: • • Tàu xuất Việt (siêu rẻ 400K): chất lượng hình ảnh tệ, trả hàng • Tàu xuất Nhật (SkyGenius): hỗ trợ giao thức RTMP, streaming URL cần nhiều tham số phức tạp, hết hạn theo session nên khó khăn việc xây dựng streaming server giai đoạn sau • USA xuất Việt (KBVision KX-H30WN): hỗ trợ giao thức RTSP, hỗ trợ chuẩn ONVIF nên bắt URL streaming dễ dàng thông qua phần mềm ONVIF Device Manager Nhật xách tay (Planex QR-220): hỗ trợ thiết lập camera khơng hỗ trợ streaming qua LAN • Chọn IP Camera KBVision KX-H30WN Các giai đoạn nghiên cứu • Giai đoạn 1: Lấy liệu hình ảnh camera • Giai đoạn 2: Huấn luyện model nhận diện nhân viên VietnamLab Hà Nội • Giai đoạn 3: Xây dựng hệ thống camera giám sát VietnamLab Hà Nội Histograms of Oriented Gradients - HOG • HOG: thể thay đổi sáng tối ảnh • Tại nét khn mặt có thay đổi sáng tối rõ rệt • HOG thể đường nét khn mặt • Sau huấn luyện với nhiều loại khuôn mặt, thu pattern khuôn mặt • So sánh pattern với vùng ảnh để phát mặt người Neural Network - Deep Learning • Neural Network: mơ mạng lưới neural người • Deep learning: • • • • Là Neural network “Deep”: nhiều layer (nhiều nút mạng) Đòi hỏi nhiều liệu huấn luyện Yêu cầu máy tính cấu hình cao Convolutional Neural Network - CNN • Neural Network phù hợp với xử lý ảnh • • • • • Convolution: trích xuất feature từ ảnh đầu vào • • • Phụ thuộc vào ma trận filter Cục khu vực ảnh Có tính chất tuyến tính Non Linearity (ReLU): Output = Max(Zero, Input) • Tạo tính chất phi tuyến tính cho phân loại Pooling: giảm kích thước feature,kiểm sốt overfitting Fully Connected: • • Tạo tính chất phi tuyến tính cho phân loại Sử dụng feature trích xuất từ layer trước để phân loại (Softmax) Tham khảo: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ MTCNN • • Multi-task Cascaded Convolutional Network bước, bước sử dụng mạng CNN riêng: P-Net, R-Net, ONet • • • P-Net: Proposal network, dự dốn vùng ảnh khn mặt (trong có nhiều vùng khơng phải khn mặt) R-Net: Refine network, sử dụng đầu P-Net để loại bỏ vùng khuôn mặt O-Net: Output network, sử dụng đầu R-Net để đưa kết cuối facial landmark (2 mắt + mũi + khóe miệng) Haar Cascade HOG MTCNN - Nhanh - Nhanh thứ nhì - Nhanh thứ ba - Chỉ hoạt động tốt với frontial face - Không hoạt động tốt mặt bị che lấp nhiều - Hoạt động tốt trường hợp mặt bị thiếu, che lấp nhiều - Dễ bị ánh sáng môi trường ảnh hưởng - Ít bị ảnh hưởng ánh sáng mơi trường ngồi - Ít bị ảnh hưởng ánh sáng mơi trường bên ngồi Bước 2: Xác định khn mặt phát • Phân biệt khuôn mặt người khác nào? Bích Phương ? Yua Ariga ? • Sử dụng Deep Learning • FaceNet Google giới thiệu năm 2015 cho kết tốt • • Labeled Faces in the Wild (LFW): 99.63% Youtube Faces DB: 95.12% Facenet • • • Vector gồm 128 feature cho khuôn mặt Độ khác nhau: khoảng cách Ơ-clít Huấn luyện • Triple loss • • • • (1) (2) Ảnh (1) Bích Phương làm mốc Ảnh (2) Bích Phương Ảnh (3) Yua Ariga Hiệu chỉnh parameter network cho • • • (3) Khoảng cách ảnh (1) ảnh (2) nhỏ Khoảng cách ảnh (1) ảnh (3) lớn Sau huấn luyện tập liệu lớn thu model có khả phân biệt ảnh người ảnh người khác (2) (2) (1) (3) (1) (3) OpenFace • Open source – sử dụng FaceNet • Homepage: https://cmusatyalab.github.io/openface/ • Github: https://github.com/cmusatyalab/openface DeepFace • Facebook giới thiệu năm 2014 Thực tế nghiên cứu • Bước 1: Thu thập ảnh chụp nhân viên VietnamLab Hà Nội • thành viên: QuyTC, TienTM, MinhNC, AnhNT3, AnhNT4 • Bước 2: Sử dụng model MTCNN để cắt mặt thành viên ảnh để tạo liệu huấn luyện • Bước 3: Sử dụng model FaceNet (với cấu trúc mạng neural Inception ResNet v1) huấn luyện với liệu CASIA-WebFace để tạo vector 128 feature cho ảnh khn mặt thành viên • Bước 4: Sử dụng liệu thành viên vector hóa để huấn luyện phân loại SVM với đầu xác suất khuôn mặt thành viên Các giai đoạn nghiên cứu • Giai đoạn 1: Lấy liệu hình ảnh camera • Giai đoạn 2: Huấn luyện model nhận diện nhân viên VietnamLab Hà Nội • Giai đoạn 3: Xây dựng hệ thống camera giám sát VietnamLab Hà Nội Giai đoạn 3: Xây dựng hệ thống • • Streaming server • • • nginx flask framework gunicorn Luồng hoạt động • • • • • • Truy cập vào RSTP url camera lấy giai đoạn Tách lấy frame video stream Cho frame qua MTCNN model để phát khuôn mặt người Cho khuôn mặt người phát qua FaceNet model để tạo vector 128 feature Cho vector qua phân loại SVM huấn luyện để tính xác suất mặt người thành viên • • Nếu xác suất thành viên lớn 0.6 nhận định thành viên Nếu khơng có thành viên có xác suất lớn 0.6 nhận định người lạ Trả frame sau phân tích cho trình duyệt hiển thị Demo • Một số nhận xét • Độ trễ so với thực tế cao tốn thời gian load model vào nhớ • Có thể khắc phục đa luồng • Thời gian phân tích frame mức chấp nhận với độ phân giải 720p • Độ xác chưa tốt tập liệu nhân viên VietnamLab Hà Nội chưa đủ lớn (mỗi người có khoảng 50 ảnh) Papers • • • Rapid Object Detection using a Boosted Cascade of Simple Features • Histograms of Oriented Gradients for Human Detection • • https://lear.inrialpes.fr/people/triggs/pubs/Dalal-cvpr05.pdf Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Neural Networks • • https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr-01.pdf https://arxiv.org/ftp/arxiv/papers/1604/1604.02878.pdf FaceNet: A Unified Embedding for Face Recognition and Clustering • https://arxiv.org/pdf/1503.03832.pdf DeepFace: Closing the Gap to Human-Level Performance in Face Verification • https://research.fb.com/wp-content/uploads/2016/11/deepface-closing-the-gap-to-human-levelperformance-in-face-verification.pdf ... 3: Xây dựng hệ thống camera giám sát VietnamLab Hà Nội Giai đoạn 2: Huấn luyện model nhận diện khn mặt nhân viên VietnamLab Hà Nội • Nhận diện khn mặt gồm bước chính: • Bước 1: Phát mặt người ảnh... hình ảnh camera • Giai đoạn 2: Huấn luyện model nhận diện nhân viên VietnamLab Hà Nội • Giai đoạn 3: Xây dựng hệ thống camera giám sát VietnamLab Hà Nội Giai đoạn 1: IP Camera • IP Camera – Internet... người lạ vào khơng có mặt, không đảm bảo mặt security (giấy tờ, trang thiết bị cơng ty) • Do đó: • • Cơng ty cần trang bị camera giám sát Nâng cao tính giám sát camera: • • Nhận diện người công ty