MÔN CS338 Đề tài me listen… Single Shot MultiBoxLetDetector Giảng viên hướng dẫn: Lê Minh Hưng Sinh viên thực hiện: • • • 18521075: Bùi Minh Lý 18521204: Nguyễn Huỳnh Nhi 18521070: Lê Công Lực Single Shot Detector Single Shot Detector  SSD cần đầu vào ảnh ground truth boxes tạo MultiBox sau qua lớp extract feature Single Shot Detector  Trên feature map, gồm tập hợp nhỏ gồm default boxes tương ứng với tỷ lệ (aspect ratio)  Mỗi default box (các boxes nét đứt hình) ta cần dự báo phân phối xác suất c=(c1,c2, …,cp) tương ứng với class Kiến trúc mạng Kiến trúc mạng   Sử dụng backbone VGG16 để tạo ra  feature map  Base Network tính từ input image -> khối Conv7  Những khối phía sau basenetwork để tiến hành nhận diện vật thể phần extra feature layer sơ đồ Kiến trúc mạng  Input Layer: Nhận input đầu vào ảnh có kích thước 300 x 300 x với SSD300 500 x 500 x với SSD500  Conv5_3 Layer: Chính kiến trúc VGG16 loại bỏ layers fully connected cuối Output layer Conv4_3 feature map có kích thước 38 x 38 x 512  Số lượng bounding box sản sinh là 38 x 38 x Kiến trúc mạng  Quá trình áp dụng classifier lên feature map tương tự với layer Conv7, Conv8_2, Conv_9, Conv10_2, Conv11_2  Conv7: 19×19×6 = 2166 boxes (6 boxes/cell)  Conv8_2: 10×10×6 = 600 boxes (6 boxes/cell)  Conv9_2: 5×5×6 = 150 boxes (6 boxes/cell)  Conv10_2: 3×3×4 = 36 boxes (4 boxes/cell)  Conv11_2: 1×1×4 = boxes (4 boxes/cell) Kiến trúc mạng  Tổng lại ta có 8732 box nhiều nhiều lần so với YOLO phải dự đốn 98 khung hình output  Đó lý thuật tốn có tốc độ chậm so với YOLO Hàm Loss 10 Hàm Loss  Hàm Loss MultiBox kết hợp thành phần ứng với chức SSD: • • Confidence Loss: tính tốn tỉ lệ rơi vào class mà bounding box tính tốn Sử dụng độ đo cross-entropy để đo Location Loss: Thành phần ước lượng sai lệch thực tế bounding box so với tập liệu mẫu L2-Norm sử dụng Hàm loss lấy ý tưởng Szegedy 11 Hàm Loss  Cơng thức tổng qt:    Trong đó:   • Hàm loss localization () tương tự với hàm loss lcslization Faster R-CNN • Confidence loss () softmax loss nhiều classes (c) 12 Quá trình huấn luyện 13 Quá trình huấn luyện  SSD nhận biết đối tượng cách, đối tượng có nhiều default box từ ground truth  Từ lấy tập aspect ratio class thực gom cụm để đưa object có hình dạng giống  Để giảm thiểu số lượng bounding box phải dự đốn đảm bảo độ xác 14 Đánh giá 15 Đánh giá  Mơ hình đào tạo SGD, Sử dụng Nvidia Titan X kiểm tra VOC2007, SSD đạt 59 FPS với mAP 74,3%, nhanh R-CNN FPS với mAP 73,2% YOLO 45 FPS với mAP 63,4% 16 Đánh giá  Đây tóm tắt hiệu suất tốc độ tính theo khung hình giây 17 Tài liệu     SSD: Single Shot MultiBox Detector - Wei liu cộng SSD: object detection single shot multibox detector for real time processing - jonathan hui SSD_keras github repository SSD caffe github repository - Weiliu 18 ... khung hình output  Đó lý thuật tốn có tốc độ chậm so với YOLO Hàm Loss 10 Hàm Loss  Hàm Loss MultiBox kết hợp thành phần ứng với chức SSD: • • Confidence Loss: tính toán tỉ lệ rơi vào class... Shot MultiBox Detector - Wei liu cộng SSD: object detection single shot multibox detector for real time processing - jonathan hui SSD_ keras github repository SSD caffe github repository - Weiliu... VOC2007, SSD đạt 59 FPS với mAP 74,3%, nhanh R-CNN FPS với mAP 73,2% YOLO 45 FPS với mAP 63,4% 16 Đánh giá  Đây tóm tắt hiệu suất tốc độ tính theo khung hình giây 17 Tài liệu     SSD: Single