TÓM TẮT Tên đề tài: ĐẾM SỐ LƯỢNG NGƯỜI TRONG ẢNH NHỜ PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT Nguyễn Quốc Huy Số thẻ SV: 106130165 Lớp: 13DT3 - Tìm hiểu Phát khn mặt tầm quan trọng đời sống người - Xây dựng sở liệu cho việc phát khn mặt người - Viết chương trình máy tính cho việc phát khn mặt - So sánh phương pháp với nêu kết luận Phát khuôn mặt người ảnh gồm nhiều người phông thay đổi, đánh khung khuôn mặt số lượng khuôn mặt phát  Dựa khuôn mặt đánh khung đưa vào thuật tốn phân loại  Hiện số lượng khn mặt có ảnh ĐẠI HỌC ĐÀ NẴNG CỘNG HỊA XÃ HƠI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc KHOA ………………………………………… NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Quốc Huy …… Số thẻ sinh viên: 106130165……… Lớp:13DT3…… Khoa: Điện Tử - Viễn Thông Ngành: Máy Tính…… Tên đề tài đồ án: ĐẾM SỐ LƯỢNG NGƯỜI TRONG ẢNH NHỜ PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT…………………………………………………………………………… Đề tài thuộc diện: ☐ Có ký kết thỏa thuận sở hữu trí tuệ kết thực Các số liệu liệu ban đầu: …………………………………… …………………………………………… …… …………………………………………………………………………………………… ………………………………….… ……………………… ……………………… Nội dung phần thuyết minh tính toán: … ……………………………………………………………………………………… … ……………………………………………………………………………………… … ……………………………………………………………………………………… … ……………………………………………………………………………………… … ……………………………………………………………………………………… Các vẽ, đồ thị ( ghi rõ loại kích thước vẽ ): … ……………………………………………………………………………………… … ……………………………………………………………………………………… … ……………………………………………………………………………………… … ……………………………………………………………………………………… Họ tên người hướng dẫn: TS Hồ Phước Tiến……………… …………………… Ngày giao nhiệm vụ đồ án: 25/9/2018 Ngày hoàn thành đồ án: 15/12/2018 Đà Nẵng, ngày tháng năm 201 Trưởng Bộ mơn …………………… Người hướng dẫn LỜI NĨI ĐẦU Cơng nghệ thơng tin ngày phát triển có vai trò quan trọng thiếu sống đại Con người ngày tạo cỗ máy thơng minh có khả tự nhận biết xử lí cơng việc cách tự động, phục vụ cho lợi ích người Trong năm gần đây, toán nhận nhiều quan tâm tốn nhiều công sức lĩnh vực cơng nghệ thơng tin, toán nhận dạng Tuy xuất chưa lâu quan tâm tính ứng dụng thực tế toán phức tạp Đề tài phát khn mặt đề tài hay phổ biến đời sống, lý em chọn đề tài phần lớn thiết bị điện tử dần phát triển theo xu hướng tự động hóa, thơng minh, hiểu ý người, chúng giao tiếp với người mà không cần thiết bị trung gian nào, thiết bị sử dụng thuật toán xử lý ảnh xử dụng ngày rộng rãi với nhiều mục đích khác Dùng cho hệ thống bảo mật khóa vân tay, giọng nói, thiết bị an ninh truy tìm tội phạm Những kiến thức kinh nghiệm em nhận từ trình thực đề tài giúp em tiếp cận nghiên cứu công nghệ khác trở thành kỹ sư Trong trình thực đồ án, em gặp nhiều khó khăn, nhiên với hướng dẫn tận tình Thầy Hồ Phước Tiến giúp em nhiều q trình giải khó khăn Em xin chân thành cảm ơn Thầy Hồ Phước Tiến hướng dẫn giúp đỡ em suốt trình thực đồ án Trong trình thực đồ án, dù em cố gắng nhiều khơng tránh khỏi thiếu sót Em mong nhận lời nhận xét, góp ý từ Thầy, Cơ để đồ án hoàn thiện LỜI CAM ĐOAN Em xin cam đoan nội dung đồ án “Phát khuôn mặt” chép đồ án cơng trình có từ trước Đà Nẵng, ngày 30 tháng 11 năm 2018 Sinh viên thực MỤC LỤC Trang Tóm tắt Nhiệm vụ đồ án Lời nói đầu cảm ơn i Lời cam đoan liêm học thuật ii Mục lục iii Danh sách bảng biểu, hình vẽ sơ đồ v Danh sách cụm từ viết tắt vi CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ BÀI TOÁN PHÁT HIỆN KHUÔN MẶT 18 1.1 GIỚI THIỆU CHƯƠNG 18 1.2 KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ TẦM QUAN TRỌNG CỦA HỆ THỐNG PHÁT HIỆN KHUÔN MẶT 18 1.3 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ KHÁI NIỆM VỀ PHÁT HIỆN KHUÔN MẶT 18 1.3.1 PHÁT HIỆN MẶT NGƯỜI TRONG ẢNH 18 1.4 CÁC BƯỚC XỬ LÝ CHÍNH TRONG Q TRÌNH PHÁT HIỆN KHN MẶT: 19 1.5 KẾT LUẬN CHƯƠNG 20 CHƯƠNG 2: PHƯƠNG PHÁP TRÍCH XUẤT ĐẶC TRƯNG 20 2.1 GIỚI THIỆU CHƯƠNG 20 2.2 HISTOGRAM OF ORIENTED GRADIENTS (HOG) 21 2.2.1 GIỚI THIỆU CHUNG VỀ HOG 21 2.2.2 CÁC BƯỚC THỰC HIỆN HOG 22 2.3 PHƯƠNG PHÁP DENSE SCALE INVARIANT FEATURE TRANSFORM (DENSE SIFT) 27 2.3.1 TỔNG QUAN 27 2.3.2 CÁC BƯỚC CHÍNH TRONG THUẬT TỐN SIFT 28 2.4 KẾT LUẬN CHƯƠNG 30 3.1 GIỚI THIỆU CHƯƠNG 31 3.2 MẠNG NƠ-RON NHÂN TẠO (ARTIFICIAL NEURAL NETWORK) [28] 31 3.2.1 GIỚI THIỆU CHUNG VỀ MẠNG NƠ-RON NHÂN TẠO: 31 3.2.2 CẤU TRÚC MẠNG NƠ-RON NHÂN TẠO 32 3.3 THUẬT TOÁN PHÂN BIỆT TUYẾN TÍNH LDA (LINEAR DISCRIMINANT ANALYSIS) [28] 33 3.4 PHƯƠNG PHÁP SUPPORT VECTOR MACHINE (SVM) 35 3.4.1 SVM PHÂN LOẠI NHỊ PHÂN TUYẾN TÍNH 36 3.4.2 SVM PHI TUYẾN 37 3.4.3 ƯU VÀ NHƯỢC ĐIỂM CỦA PHƯƠNG PHÁP SVM: 37 ƯU ĐIỂM CỦA SVM : 37 NHƯỢC ĐIỂM CỦA SVM : 38 3.5 KẾT LUẬN CHƯƠNG 38 CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ 39 4.1 GIỚI THIỆU CHƯƠNG 39 4.2 MỤC TIÊU VÀ QUÁ TRÌNH PHÁT HIỆN KHUÔN MẶT 39 4.3 XÂY DỰNG THUẬT TỐN PHÁT HIỆN KHN MẶT 40 4.3.1 LƯU ĐỒ THUẬT TỐN PHÁT HIỆN KHN MẶT ĐƠN GIẢN 40 4.3.2 TIỀN XỬ LÝ THÔNG QUA KHAI THÁC MÀU DA VÀ BIẾN ĐỔI HÌNH THÁI HỌC: 42 4.3.3 TRÍCH XUẤT THUỘC TÍNH BẰNG HOG VÀ DENSE SIFT 45 4.4 THỰC NGHIỆM VÀ KẾT QUẢ 47 4.4.1 CƠ SỞ DỮ LIỆU 47 4.4.2 THỰC NGHIỆM 47 4.4.2 CÁC CHỈ SỐ TIÊU CHÍ ĐỂ ĐÁNH GIÁ HIỆU SUẤT THUẬT TỐN: 48 4.4.3 KẾT QUẢ 48 4.5 KẾT LUẬN CHƯƠNG 51 TÀI LIỆU THAM KHẢO 52 PHỤ LỤC 56 CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ BÀI TOÁN PHÁT HIỆN KHUÔN MẶT 1.1 Giới thiệu chương Trong chương em trình bày tầm quan trọng hệ thống phát khn mặt đời sống người, khó khăn mà hệ thống gặp phải thực tế khái qt quy trình phát khn mặt em thực đồ án 1.2 Khái quát xử lý ảnh Tầm quan trọng hệ thống phát khuôn mặt Phát khuôn mặt cần thiết nhiều hệ thống đời sống người Chúng ta sử dụng phát khn mặt vấn đề an ninh nhận biết tên tuổi hành vi gây tội phạm để đề phòng, sử dụng phát khuôn mặt vấn đề quản lý nhân tổ chức, sử dụng phát khuôn mặt để bảo mật đồ dùng cá nhân máy tính, điện thoại, tơ hay văn phòng làm việc Vì việc phát khn mặt làm giảm thời gian đảm bảo tính an ninh bảo mật tốt Phát khn mặt ứng dụng vào phần mềm chụp ảnh hay quay video smartphone Nhận dạng khuôn mặt cần thiết cho ngày Chúng ta nhận dạng khn mặt vấn đề an ninh , nhận biết tên tuổi hành vi gây tội phạm Chúng ta sử dụng nhận dạng khn mặt vấn đề tổ chức nhân Ngồi sử dụng dùng để bảo mật diện thoại, máy tính , thiết bị điện tử, tơ , văn phòng làm việc Vì nhận dạng khn mặt giảm thời gian đảm bảo tính an ninh bảo mật tốt 1.3 Tổng quan xử lý ảnh khái niệm phát khuôn mặt 1.3.1 Phát mặt người ảnh Phát khn mặt thuật tốn tự động xác định định vị khuôn mặt người ảnh video Một khuôn mặt phát ảnh báo cáo 18 vị trí có kích thước hướng liên quan Một khuôn mặt phát hiện, tìm kiếm điểm mốc mắt mũi ( điểm đặc trưng khn mặt ) Hình 1.1 Phát đánh khung khuôn mặt người ảnh Việc phát mặt người ảnh gặp phải nhiều khó khăn như: - Trong ảnh khn mặt có kích thước khác nhau, hướng khn mặt đến camera máy ảnh khác người nhìn lên, nhìn xuống, nhìn nghiêng, nghiêng đầu, nghiêng nửa mặt… - Có khác đặc điểm khn mặt: người mặt dài, mặt ngắn, đeo kính, có nhiều râu… - Các nét mặt theo cảm xúc khác nhau: vui buồn, giận hờn, ngạc nhiên … - Mặt người bị che khuất - Khuôn mặt trẻ em, người trưởng thành người già - Người da đen người da trắng 1.4 Các bước xử lý q trình phát khn mặt: Q trình phát khn mặt bao gồm hai bước sau: trích thuộc tính nhận dạng Hai bước giới thiệu cách ngắn gọn sau Thông tin từ ảnh trắng đen gồm cường độ mức xám điểm ảnh không đưa trực tiếp vào phân loại mà qua trích xuất thuộc tính Những trích xuất thuộc tính có chức trích xuất thơng tin quan trọng ảnh, loại bỏ thơng tin khơng hữu ích đảm bảo cho phân loại phân biệt lớp liệu Chi tiết trích xuất thuộc tính em trình bày chương 2: phương pháp trích xuất đặc trưng Hog dense sift 19 4.4 Thực nghiệm kết 4.4.1 Cơ sở liệu Tập liệu huấn luyện em gồm 203 ảnh khuôn mặt 854 ảnh khuôn mặt Để đánh giá hiệu thuật toán cách khách quan ảnh dùng để kiểm tra em chọn gồm có 81 ảnh chứa khoảng 900 khn mặt Các ảnh kiểm tra bao gồm ảnh chụp bối cảnh, phong cường độ chiếu sáng khác Kích thước, màu da góc nghiêng khn mặt đa dạng Số lượng khuôn mặt đa dạng từ – khuôn mặt ảnh tới 40 – 50 khn mặt ảnh Bên cạnh đó, em sử dụng ảnh có khn mặt bị chồng chất bị che khuất Tất ảnh em thu thập từ mạng internet 4.4.2 Thực nghiệm Với ảnh tập ảnh liệu huấn luyện mơ tả vector thuộc tính cho ảnh Với liệu huấn luyện gồm có 203 ảnh khuôn mặt thu 203 vector đặc trưng cho khuôn mặt 203 vector tạo thành ma trận thể đặc trưng mặt người, vector đặc trưng gắn nhãn Tương tự với 854 ảnh huấn luyện khuôn mặt biểu diễn ma trận 854xN (N chiều dài vector đặc trưng) nhãn gắn cho vector Các vector sau đưa vào q trình huấn luyện thuật tốn SVM tuyến tính để xây dựng mơ hình SVM Mơ hình SVM dùng q trình phát khn mặt để xác định khung hình đưa vào có phải khuôn mặt hay không Để cải thiện độ xác tăng tốc độ thực thi thuật toán, kết hợp thêm phương pháp tách vùng màu Dải vùng màu da sử dụng thuật tốn 80