ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA BÙI HỮU ĐỨC ỨNG DỤNG THUẬT TỐN NHẬN DẠNG KHN MẶT PHỤC VỤ CÔNG VIỆC ĐIỂM DANH LỚP HỌC Ở TRƯỜNG THPT ĐỒNG HỚI Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS TRẦN THẾ VŨ Đà Nẵng - Năm 2018 LỜI CAM ĐOAN Tôi xin cam đoan : Những nội dung luận văn thực hướng dẫn trực tiếp thầy giáo TS Trần Thế Vũ Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, xin chịu hoàn toàn trách nhiệm Tác giả luận văn BÙI HỮU ĐỨC TRANG TÓM TẮT LUẬN VĂN ỨNG DỤNG THUẬT TỐN NHẬN DẠNG KHN MẶT PHỤC VỤ CƠNG VIỆC ĐIỂM DANH LỚP HỌC Ở TRƯỜNG THPT ĐỒNG HỚI Học viên: Bùi Hữu Đức Mã số: 8480101 - Khóa: K34.KMT.QB Chuyên ngành: Khoa học máy tính Trường Đại học Bách khoa – Đại học Đà Nẵng Tóm tắt: Hiện nay, có nhiều phương pháp tự động nhận dạng danh tính người sử dụng phân tích dấu vân tay, nhận dạng sinh trắc học thơng qua nhận diện trịng mắt hay nghiên cứu lĩnh vực thị giác máy tính phân tích dáng đi, nhận dạng khn mặt Trong luận văn trình bày cở sở lý thuyết xữ lý ảnh số kỹ thuật nhận dạng khuôn mặt đề xuất giải pháp thực nghiệm nhận dạng khn mặt để phục vụ cho tốn điểm danh lớp học Quá trình xử lý bao gồm bước: Bước 1: Xây dựng liệu Bước 2: Trích xuất đặc trưng Bước 3: Huấn luyện liệu đặc trưng thu mơ hình liệu phân lớp Bước 4: Tiến hành nhận dạng để đưa kết luận Từ khóa – Nhận dạng danh tính, thị giác máy tính, nhận dạng khn mặt, trích xuất đặc trưng APPLICATION OF FACIAL RECOGNITION ALGORITHM FOR CLASS ATTENDANCE AT DONG HOI HIGH SCHOOL Student: Bui Huu Duc Major: Computer Science Code: 8480101 Course: K34.KMT.QB Polytechnic University – Da Nang University Abstract: At present, there are many methods of automatic identification of users such as fingerprint analysis, biometric identification through iris recognition or studies in the field of computer vision such as gait analysis, facial recognition This thesis presents theoretical background on image processing and some facial recognition techniques and suggests a facial recognition solution to apply to class attendance problems The process consists of the following steps: Step 1: Building the data Step 2: Extracting the feature Step 3: Training the featured data and acquire the layered data model Step 4: Conducting the identification to make the conclusion Keywords - Identity recognition, computer vision, facial recognition, feature extraction MỤC LỤC TRANG BÌA LỜI CAM ĐOAN MỤC LỤC TRANG TÓM TẮT LUẬN VĂN DANH MỤC CAC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU 1 Lý chọn đề tài Mục đích ý nghĩa đề tài Các nghiên cứu liên quan đến đề tài Mục tiêu, nhiệm vụ nghiên cứu Phạm vi đề tài Phương pháp nghiên cứu CHƯƠNG TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Cơ xử lý ảnh 1.1.1 Tổng quan xử lý ảnh 1.1.2 Các thành phần hệ thống xử lý ảnh 1.1.3 Một số phép biến đổi ảnh 1.2 Một số phương pháp tiền xử lý ảnh 10 1.2.1 Phép tích chập 10 1.2.2 Kỹ thuật lọc ảnh thông dụng 11 1.2.3 Biến đổi hình thái học 12 1.3 Phương pháp phát biên 14 1.3.1 Tổng quan xử lý biên 14 1.3.2 Một số phương pháp phát biên 15 1.4 Phương pháp phân vùng ảnh 17 1.4.1 Tổng quan phân vùng ảnh 17 1.4.2 Phân vùng dựa vào ngưỡng 18 1.4.3 Phân vùng kỹ thuật Otsu 20 1.4.4 Phân vùng kỹ thuật k-means 22 CHƯƠNG MỘT SỐ KỸ THUẬT NHẬN DẠNG MẶT NGƯỜI 25 2.1 Trích xuất biểu diễn đặc trưng ảnh 25 2.2 Đặc trưng Haar-like ứng dụng phát mặt người 25 2.2.1 Mô tả đặc trưng Haar 25 2.2.2 Trích xuất đặc trưng Haar 26 2.3 Bộ mô tả đặc trưng HOG nhận dạng người 27 2.3.1 Mô tả đặc trưng HOG 27 2.3.2 Q trình trích rút đặc trưng HOG 28 2.4 Kỹ thuật học máy phát nhận dạng khuôn mặt 33 2.4.1 Kỹ thuật Boosting phát khuôn mặt 33 2.4.2 Kỹ thuật SVM nhận dạng khuôn mặt 35 2.5 Kỹ thuật trượt window nhận dạng 37 CHƯƠNG ĐỀ XUẤT GIẢI PHÁP VÀ THỰC NGHIỆM 40 3.1 Bài toán nhận dạng mặt người 40 3.2 Đề xuất mơ hình nhận dạng danh tính người qua khuôn mặt 40 3.3 Thực nghiệm số sở liệu 41 3.3.1 Thực nghiệm liệu Staffhome 41 3.3.2 Thực nghiệm liệu AT&T_faces 44 3.3.3 Thực nghiệm liệu tự tạo 45 3.4 Một số ví dụ minh họa thực nghiệm nhận dạng danh tính người 49 3.4.1 Nhận dạng tập liệu AT&T 49 3.4.2 Nhận dạng tập liệu Staffhome 51 3.4.3 Nhận dạng tập liệu tự tạo 52 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 55 TÀI LIỆU THAM KHẢO 56 Q ẾT Đ NH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) BẢN SAO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN SAO NHẬN XÉT CỦA CÁC PHẢN BIỆN DANH MỤC CÁC CHỮ VIẾT TẮT ANN Artificial Neural Network GPU Graphics Rrocessing Unit HOF Histograms of Optical Flow HOG Histograms of Oriented Gradients MLNN Multi Layer Neural Network NN Neural Network SVM Support Vetor Machines SIFT Scale invariant feature transform DANH MỤC CÁC BẢNG Bảng 3.1 Kết thực nghiệm liệu Staffhome 43 Bảng 3.2 Kết thực nghiệm liệu AT&T 45 Bảng 3.3 Thứ tự tên học sinh sử dụng thực nghiệm 46 Bảng 3.4 Số lượng mẫu khuôn mặt dùng cho huấn luyện đánh giá 47 Bảng 3.5 Kết thực nghiệm liệu AT&T 48 DANH MỤC CÁC HÌNH Hình 1.1 Sơ đồ tổng quát hệ thống xử lý ảnh Hình 1.2 Biến đổi ảnh (a) sơ đồ tổng quát (b) biến đổi ảnh Hough Hình 1.3 ược đồ ảnh đa mức xám Hình 1.4 Điều chỉnh độ sáng ảnh màu HSV Hình Cân lược đồ: (a) ảnh gốc, (b) ảnh sau cân Hình 1.6 ọc ảnh kỹ thuật tích chập 10 Hình ọc Gaussian 12 Hình Ví dụ phần tử cấu trúc đơn giản 13 Hình àm mỏng vùng phép toán co ảnh 13 Hình 1.1 àm đậm vùng phép toán giãn ảnh 14 Hình 1.11 Trích chọn cạnh phương pháp Sobel 15 Hình 1.12 Trích chọn cạnh phương pháp Prewitt 16 Hình 1.13 ết trích xuất cạnh dùng thuật toán Canny 17 Hình 1.14 Kết phân ngưỡng với giá trị ngưỡng Th=80 19 Hình 1.1 Xác định ngưỡng phân đoạn lược đồ ảnh 20 Hình 1.16 Phân đoạn ảnh Otsu 22 Hình 1.1 Minh họa phân cụm k-means 23 Hình 1.1 Phân đoạn ảnh k-means 24 Hình 2.1 Các mẫu đặc trưng Haar 26 Hình 2.2 Tính nhanh tổng giá trị pixel vùng chữ nhật 27 Hình 2.3 Q trình trích xuất đặc trưng HOG 28 Hình 2.4 Tính hướng độ lớn gradient 29 Hình Tính gradient ảnh 30 Hình 2.6 Chia hướng theo bin lược đồ hướng gradient 30 Hình Sơ đồ tổng quan trích rút đặc trưng HOG 32 Hình Đặc trưng HOG trích xuất từ khn mặt 33 Hình .Có vơ số đường thẳng phân chia tuyến tính, nhiên với đường phân chia H , có điểm bị phân loại nhầm 35 Hình 2.1 hông thể phân chia lớp liệu cách tuyến tính.Ánh xạ liệu khơng gian ban đầu vào không gian nhiều chiều 35 Hình 2.11 Việc phân tách liệu trở nên dễ dàng không gian 36 Hình 2.12.Các siêu phẳng phân chia tập mẫu thành hai lớp support vector SVM 36 Hình 2.13 Trượt window sử dụng ảnh nhiều mức tỷ lệ 37 Hình 2.14.Nhận dạng phương pháp trượt window nhiều mức tỷ lệ 38 Hình 2.1 Gom cụm nhận dạng đối tượng 39 Hình 3.1 Mơ hình tổng qt hệ thống nhận dạng danh tính người 41 Hình 3.2 Một số mẫu ảnh liệu staffhome 42 Hình 3.3 Ma trận chéo tỷ lệ nhận dạng người liệu Staffhome 43 Hình 3.4 Một số mẫu khuôn mặt người liệu ATT_faces 44 Hình Ma trận chéo tỷ lệ nhận dạng người liệu AT&T 45 Hình 3.6 Một số mẫu ảnh 30 học sinh liệu Student1 tự tạo 47 Hình Ma trận chéo tỷ lệ nhận dạng 30 học sinh nhóm đối tượng khác liệu ảnh tự chụp 49 Hình Minh họa nhận dạng tập liệu AT&T 50 Hình Minh họa nhận dạng tập liệu Staffhome 52 Hình 3.1 ết nhận dạng dùng mơ hình huấn luyện liệu tự tạo từ học sinh lớp 11A 54 MỞ ĐẦU Lý chọn đề tài Hiện nay, công tác quản lý trường THPT, việc dành thời gian cho việc giảng dạy giáo viên kiêm nhiệm nhiều công việc khác chủ nhiệm lớp Với khoảng thời gian đó, việc kiểm sốt tham gia lớp học học sinh điều khó khăn Một yếu tố định việc nâng cao chất lượng giáo dục học sinh tham gia lớp học thường xuyên Theo phương pháp quản lý truyền thống, giáo viên sử dụng sổ điểm danh để theo dõi tính chuyên cần học sinh trước tiết dạy Việc lãng phí khoảng thời gian đáng kể Hơn nữa, trở nên phức tạp nhiều giáo viên phải quản lí với lớp có nhiều học sinh Tham gia lớp học cách thường xuyên việc quan trọng bắt buộc tất lớp học nói riêng nhà trường nói chung đề kiểm tra tính chun cần học sinh Mỗi giáo viên có phương pháp riêng lĩnh vực Một số giáo viên sử dụng phương pháp thủ công cách sử dụng sổ điểm danh sử dụng phần mềm máy tính khác Tuy nhiên, việc sử dụng cơng nghệ cơng việc cịn hạn chế mẻ Hiện nay, có số phương pháp tự động sử dụng được: Ví dụ phân tích dấu vân tay hay nhận dạng sinh trắc học thơng qua nhận diện trịng mắt[18] Tuy nhiên phương pháp gây lãng phí thời gian học sinh phải xếp hàng để thực thao tác thiết bị quét hi nói đến trường học, hệ thống theo dõi giám sát trợ giúp tuyệt vời cho giáo viên phụ huynh học sinh Phụ huynh khơng thiếu thơng tin lớp trường học sử dụng hệ thống theo dõi chuyên môn Với hệ thống quản lý giám sát trực tiếp, thơng tin dễ dàng in mềm lưu trữ hệ thống cách xác an tồn Để giảm bớt áp lực cơng việc thời gian cho giáo viên công tác quản lý học sinh, chúng tơi chọn đề tài “Ứng dụng thuật tốn nhận dạng khuôn mặt phục vụ công việc điểm danh lớp học trường THPT Đồng Hới” Mục đích ý nghĩa đề tài - Mục đích Nghiên cứu lý thuyết, xây dựng chương trình thực nghiệm mô để nhận dạng khuôn mặt kiểm tra số học sinh tham gia lớp học Điều giúp nhà trường quản lý tính chuyên cần học sinh, tiết kiệm vật chất, thời gian giáo viên - Ý nghĩa khoa học thực tiễn đề tài Về khoa học: Tìm hiểu, nghiên cứu tài liệu công bố xử lý ảnh[14]; thành phần hệ thống xử lý ảnh[15,16,17]; Một số phép biến đổi hình ảnh[17]; Một số kỹ thuật nhận dạng mặt người[6,7,8,9,14]… 53 Mẫu ảnh học sinh Hoàng Thị Kiều Loan Mẫu ảnh học sinh Trần Thị Ngọc Uyên Mẫu ảnh học sinh Vũ Hoàng Anh Tuấn 54 (a) Một số mẫu ảnh cá nhân học sinh (b)Nhận dạng danh tính (a) Một số kết nhận dạng khơng xác định danh tính liệu học sinh nh 3.10 Kết nhận dạng dùng mô hình huấn luyện liệu tự tạo từ học sinh lớp 11A 55 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Kết luận Trên sở nghiên cứu vấn đề liên quan đến tốn tự động hóa phát khn mặt nhận dạng danh tính người sử dụng kỹ thuật xử lý ảnh trí tuệ nhân tạo, luận văn tập trung vào nghiên cứu đề xuất giải pháp sử dụng phương pháp trích xuất biểu diễn đặc trưng hình ảnh kỹ thuật HOG sử dụng kỹ thuật học máy SVM để huấn luyện mơ hình nhận dạng áp dụng xác định danh tính người qua ảnh khn mặt Giải pháp thực nghiệm số sở liệu hình ảnh khn mặt liệu AT&T phịng nghiên cứu khoa học máy tính trường Đại học Cambridge liệu Staffhome trường Đại học Western Australia Chúng thực chia tập liệu hình ảnh thành phần với tỷ lệ % dùng để huấn luyện máy nhận dạng SVM % cho đánh giá kiểm tra độ xác Các mơ hình nhận dạng tập liệu 42% % tương ứng với liệu Staffhome AT&T Bên cạnh đó, chúng tơi tiến hành tự chụp hình phịng học để nhận dạng danh tính học sinh tương ứng với tốn điểm danh học sinh lớp học Thông thường với tốn điểm danh, camera gắn phía trước lớp chụp điều kiện ánh sáng nhà (thiếu sáng), hình ảnh bị mờ đặc biệt Với giả thiết này, sử dụng camera máy ảnh điện thoại có chất lượng bình thường để chụp tạo mẫu liệu Mẫu ảnh thu thập 30 học sinh lớp 11A Mơ hình nhận dạng sau huấn luyện nhận dạng theo mẫu ảnh khn mặt học sinh điều kiện đạt độ xác 4% Kết nghiên cứu thu làm sở bước đầu để phát triển, ứng dụng toán nhận dạng danh tính người hệ thống giám sát đặc biệt toán tự động nhận dạng điểm danh học sinh lớp học Bên cạnh đó, q trình xây dựng chương trình, tơi tìm hiểu thư viện HOG, SVM, Face detection để sử dụng biễu diễn đặc trưng liệu hình ảnh phục vụ huấn luyện máy nhận dạng kiểm tra mẫu độc lập góc độ nghiên cứu tốn phát khn mặt nhận dạng danh tính qua khn mặt Kết nghiên cứu thực nghiệm tập liệu đánh giá tiêu chí thời gian tính tốn trích xuất đặc trưng, tốc độ nhận dạng độ xác ứng dụng thực tế cho toán nhận dạng định danh qua khuôn mặt, áp dụng cho toán tự động điểm danh học sinh toán giám sát dân 4.2 Hướng phát triển Các kết nghiên cứu đạt tiền đề phát triển xây dựng chương trình hồn chỉnh để áp dụng thực tế toán tự động điểm danh học sinh lớp học Ngoài ra, kết nghiên cứu phát triển đề tài theo hướng tăng tốc độ tính tốn tăng số lượng danh tính người ứng dụng toán giám sát an ninh kiểm soát trật tự an ninh dân 56 TÀI LIỆU THAM KHẢO Tiếng Anh [1] Irwin Sobel, An Isotropic 3 Image Gradient Operator 2014 [2] Nick Efford, Chapter 11: Morphological image processing in textbook: Digital image processing: a practical introduction using java Addison-Wesley Longman Publishing Co., Inc., 2000 [3] J Canny, "A Computational Approach to Edge Detection," IEEE Trans Pattern Anal Mach Intell., vol 8, no 6, pp 679-698, 1986 [4] Ramesh Jain, Rangachar Kasturi, and Brian G Schunck, Machine vision McGrawHill, Inc., 1995, p 549 [5] Nobuyuki Otsu, "A threshold selection method from gray-level histograms," IEEE transactions on systems, man, and cybernetics, vol 9, no 1, pp 62-66, 1979 [6] Heba Ahmed Elnemr, Nourhan Mohamed Zayed, and Mahmoud Abdelmoneim Fakhreldein, "Feature extraction techniques: fundamental concepts and survey," Handbook of Research on Emerging Perspectives in Intelligent Pattern Recognition, Analysis, and Image Processing, p 264, 2015 [7] Paul Viola and Michael Jones, "Rapid object detection using a boosted cascade of simple features," in Computer Vision and Pattern Recognition, 2001 CVPR 2001 Proceedings of the 2001 IEEE Computer Society Conference on, 2001, vol 1, pp I-I: IEEE [8] Navneet Dalal and Bill Triggs, "Histograms of oriented gradients for human detection," in Computer Vision and Pattern Recognition, 2005 CVPR 2005 IEEE Computer Society Conference on, 2005, vol 1, pp 886-893: IEEE [9] Van-Dung Hoang, My-Ha Le, and Kang-Hyun Jo, "Hybrid cascade boosting machine using variant scale blocks based HOG features for pedestrian detection," Neurocomputing, vol 135, pp 357-366, 2014 [10] Yoav Freund, Robert Schapire, and Naoki Abe, "A short introduction to boosting," Journal-Japanese Society For Artificial Intelligence, vol 14, no 771780, p 1612, 1999 [11] Ajmal Mian, "Illumination invariant recognition and 3D reconstruction of faces using desktop optics," Optics express, vol 19, no 8, pp 7491-7506, 2011 [12] Ajmal S Mian, "Shade face: multiple image-based 3D face recognition," in Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on, 2009, pp 1833-1839: IEEE [13] Ferdinando Samaria and Andy Harter, "Face Recognition Using Hidden Markov Models," Cambridge University, Cambridge University, 1994 [18] IJAEMS-MAR-2017-30-Attendance Monitoring System of Students Based on Biometric 57 Tiếng Việt [14] Nguyễn Thị Phong and Hoàng Văn Dũng, "Ngiên cứu kỹ thuật nhận dạng áp dụng hệ thống giám sát an ninh," Trường ĐHSP ỹ thuật TPHCM Hồ Chí Minh, Trường ĐHSP ỹ thuật TPHCM Hồ Chí Minh, 2017 [15] ương Mạnh Bá and Nguyễn Thanh Thủy, Nhập môn xử lý ảnh số Nhà xuất khoa học kỹ thuật, 2006 [16] Đỗ Năng Toàn, Xử lý ảnh (Học viện bưu viên thơng) Học viện bưu viên thơng, 2006 [17] Hồng Văn Dũng, Nhận dạng xử lý ảnh (Nhà xuất khoa học kỹ thuật) Nhà xuất khoa học kỹ thuật, 2018 ... giảm bớt áp lực công việc thời gian cho giáo viên công tác quản lý học sinh, chọn đề tài ? ?Ứng dụng thuật tốn nhận dạng khn mặt phục vụ công việc điểm danh lớp học trường THPT Đồng Hới? ?? Mục đích... KHUÔN MẶT PHỤC VỤ CÔNG VIỆC ĐIỂM DANH LỚP HỌC Ở TRƯỜNG THPT ĐỒNG HỚI Học viên: Bùi Hữu Đức Mã số: 8480101 - Khóa: K34.KMT.QB Chuyên ngành: Khoa học máy tính Trường Đại học Bách khoa – Đại học Đà... trình nhận diện khn mặt danh tính học sinh lớp học phục vụ cho tốn điểm danh lớp học Về thực tiễn: Mơ thành cơng phương pháp nhận dạng hình ảnh để ứng dụng vào việc quản lý học sinh nhà trường