ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  NGUYỄN QUANG HUY NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN HƯỚNG MẶT NGƯỜI TRONG ẢNH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  NGUYỄN QUANG HUY NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN HƯỚNG MẶT NGƯỜI TRONG ẢNH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Đỗ Năng Toàn Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 LỜI CẢM ƠN Trước tiên, em xin bày tỏ lòng biết ơn sâu sắc tới Thầy giáo, người hướng dẫn khoa học PGS.TS. Đỗ Năng Toàn (Viện Công nghệ thông tin - Viện Khoa học và Công nghệ Việt Nam). Thầy đã giúp đỡ em rất nhiều trong quá trình định hướng nghiên cứu, tìm hiểu, xây dựng và phát triển bài toán để em có thể hoàn thành luận văn chuyên đề: "Nghiên cứu một số kỹ thuật phát hiện hướng mặt người trong ảnh". Em chân thành biết ơn các Thầy giáo công tác tại Viện Công nghệ thông tin - Viện Khoa học và Công nghệ Việt Nam, trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên, đã truyền đạt, trang bị kiến thức để em có thể tìm hiểu, nghiên cứu và thực hiện được đề tài luận văn. Em chân thành cảm ơn Thư viện trường Đại học Công nghệ thông tin và Truyền thông, Trung tâm học liệu - Đại học Thái Nguyên đã hết sức tạo điều kiện, phương tiện cho chúng em tìm hiểu, tham khảo, tra cứu tư liệu nhằm phục vụ cho công việc viết luận văn tốt nghiệp. Cuối cùng, em xin bày tỏ lòng biết ơn đến đồng nghiệp, Khoa Công nghệ thông tin, Ban giám hiệu trường Cao đẳng nghề Việt - Đức Vĩnh Phúc đã tạo điều kiện để em hoàn thành khóa học này. Thái Nguyên, tháng 8 năm 2012 Học viên Nguyễn Quang Huy Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 LỜI CAM ĐOAN Luận văn "Nghiên cứu một số kỹ thuật phát hiện hướng mặt người trong ảnh" là công trình nghiên cứu của bản thân tôi dưới sự hướng dẫn trực tiếp của PGS.TS. Đỗ Năng Toàn - Viện Công nghệ thông tin, Viện Khoa học và Công nghệ Việt Nam. Các số liệu trong luận văn đã được công bố trong các tài liệu mà tôi tham khảo, liệt kê trong phần tài liệu tham khảo cuối tập luận văn. Luận văn này không trùng hợp về mặt hình thức cũng như nội dung với bất kỳ một luận văn nào. Nếu trái với các điều trên, tôi xin hoàn toàn chịu trách nhiệm. Thái Nguyên, tháng 8 năm 2012 Học viên Nguyễn Quang Huy Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 MỤC LỤC Lời cảm ơn i Lời cam đoan ii Mục lục iii Danh mục các ký hiệu, các chữ viết tắt iv Danh mục các hình vẽ v PHẦN MỞ ĐẦU 1 CHƢƠNG 1: KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ NHẬN DẠNG MẶT NGƢỜI 4 1.1. Khái quát về xử lý ảnh 4 1.1.1. Ảnh số 4 1.1.2. Biểu diễn ảnh số 5 1.1.2.1. Mô hình Raster 5 1.1.2.1. Mô hình Vector 6 1.1.3. Xử lý ảnh số 7 1.1.4. Thu thập ảnh số 8 1.1.5. Nắn chỉnh biến dạng ảnh số 8 1.1.6. Nén ảnh 9 1.1.7. Trích chọn đặc điểm 10 1.1.8. Nhận dạng ảnh 11 1.2. Nhận dạng mặt người và những khó khăn của nhận dạng khuôn mặt 12 1.2.1. Nhận dạng mặt người 12 1.2.2. Các ứng dụng liên quan đến nhận dạng mặt người 12 1.2.3. Những khó khăn và thách thức của nhận dạng khuôn mặt 13 1.2.4. Các hướng tiếp cận liên quan đến nhận dạng khuôn mặt 14 1.3. Bài toán phát hiện hướng mặt người trong ảnh 16 1.3.1. Giới thiệu tổng quát bài toán 16 1.3.2. Mô hình mặt người trong không gian 3D 17 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN HƢỚNG MẶT NGƢỜI TRONG ẢNH 19 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 2.1. Phát hiện hướng mặt người trong ảnh dựa trên tâm mắt 19 2.1.1. Tách mặt người trong ảnh 19 2.1.1.1. Sử dụng ngưỡng màu 19 2.1.1.2. Phương pháp trừ ảnh với nền không đổi 20 2.1.2. Chuẩn hóa ảnh 21 2.1.3. Cắt và xoay chuẩn ảnh 21 2.1.3.1. Xác định tâm mắt 21 2.1.3.2. Xoay ảnh và tắt khung mặt 23 2.1.3.3. Chuẩn sáng ảnh 24 2.2. Phát hiện hướng mặt người trong ảnh dựa theo các đặc trưng Haar 25 2.2.1. Nhận dạng đối tượng dựa theo các đặc trưng Haar 25 2.2.1.1. Giới thiệu khái quát 25 2.2.1.2. Đặc trưng Haar (Haar Like Feature) 26 2.2.1.3. Huấn luyện các bộ nhận dạng Haar 31 2.2.1.4. Chuỗi các bộ nhận dạng Haar 33 2.2.1.5. Bộ nhận dạng Haar riêng lẻ 35 2.2.1.6. Kiến trúc hệ thống 36 2.2.2. Xác định mắt, mũi, miệng và vùng bao quanh khuôn mặt 37 2.2.3. Tính toán góc quay theo 3 chiều 38 2.2.3.1. Xác định góc quay theo hướng  38 2.2.3.2. Xác định góc quay theo hướng  39 2.2.3.3. Xác định góc quay theo hướng  40 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM 42 3.1. Bài toán phát hiện hướng mặt người trong ảnh 42 3.2. Tư thế khuôn mặt người 42 3.3. Các tư thế khác nhau của khuôn mặt 43 3.4. Chương trình thử nghiệm 57 3.5. Một số trường hợp đặc biệt 50 PHẦN KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 55 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT SAT: Summed Area Table Bảng tổng hợp vùng RSAT: Rotated Summed Area Table Bảng tổng hợp vùng quay CART: Classification And Regression Tree Cây nhận dạng và hồi quy HCI: Human Computer Interaction Tương tác người máy TP: True Positive Phát hiện đúng FP: False Positive Phát hiện sai HCC: Haar Cascade Classifier Bộ nhận dạng theo tầng Haar NB: Neighbour Láng giềng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 DANH MỤC CÁC HÌNH VẼ Hình 1.1: Quá trình hiển thị, chỉnh sửa và lưu trữ ảnh thông qua DIB Hình 1.2: Sự chuyển đổi giữa các mô hình biểu diễn ảnh Hình 1.3: Hệ tọa độ 3D trên khuôn mặt và các góc quay tương ứng Hình 2.1: Phương pháp trừ ảnh với nền không đổi Hình 2.2: Sơ đồ thực hiện xác định tâm mắt Hình 2.3: Xác định góc nghiêng dựa theo tâm mắt Hình 2.4: Cân bằng mức xám cho hình ảnh Hình 2.5: Bốn đặc trưng Haar - Like cơ bản Hình 2.6: Các đặc trưng mở rộng của các đặc trưng Haar-Like cơ sở Hình 2.7: Cách tính Integral Image của ảnh Hình 2.8: Cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh Hình 2.9: Cách tính tổng điểm ảnh của vùng D với đặc trưng xoay 45 o Hình 2.10: Một vài nguyên mẫu được sử dụng trong xác định vùng mắt Hình 2.11: Dựng thẳng, xoay các hình chữ nhật trong cửa sổ phát hiện Hình 2.12: Một số mẫu dương dùng trong việc xác định khuôn mặt Hình 2.13: Một số mẫu âm dùng trong việc xác định khuôn mặt Hình 2.14: Chuỗi các nhận dạng theo tầng Hình 2.15: Kết quả sau khi phát hiện các đặc điểm Hình 3.1: Khuôn mặt chuẩn và các tư thế thay đổi Hình 3.2: Tư thế khuôn mặt khi hướng sang trái Hình 3.3: Tư thế khuôn mặt khi hướng sang phải Hình 3.4: Tư thế khuôn mặt khi hướng lên trên Hình 3.5: Tư thế khuôn mặt khi hướng xuống dưới Hình 3.6: Tư thế khuôn mặt khi hướng lên trên sang trái Hình 3.7: Tư thế khuôn mặt khi hướng lên trên sang phải Hình 3.8: Tư thế khuôn mặt khi hướng xuống dưới sang trái Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 7 Hình 3.9: Tư thế khuôn mặt khi hướng xuống dưới sang phải Hình 3.10: Giao diện chính của chương trình Hình 3.11: Chương trình nhận dạng các thành phần trên khuôn mặt Hình 3.12: Chương trình nhận dạng nhiều khuôn mặt Hình 3.13: Sự xuất hiện của mắt kính trên khuôn mặt Hình 3.14: Sự xuất hiện của chiếc mũ trên khuôn mặt Hình 3.15: Sự xuất hiện của cả kính và mũ trên khuôn mặt Hình 3.16: Khuôn mặt không được nhận dạng bởi góc quay quá lớn Hình 3.17: Khuôn mặt không được nhận dạng do tư thế che khuất Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 8 PHẦN MỞ ĐẦU Hiện nay, cùng với sự phát triển của xã hội, vấn đề an ninh bảo mật đang được yêu cầu khắt khe tại mọi quốc gia trên thế giới. Các hệ thống nhận dạng con người được ra đời với độ tin cậy ngày càng cao. Một trong các bài toán nhận dạng con người rất được quan tâm hiện nay là nhận dạng khuôn mặt. Vì nhận dạng khuôn mặt là cách mà con người sử dụng để phân biệt nhau. Bên cạnh đó, việc thu thập xử lý thông tin qua ảnh để nhận biết đối tượng đang được quan tâm và ứng dụng rộng rãi. Với phương pháp này chúng ta có thể thu nhận được nhiều thông tin từ đối tượng mà không cần tác động nhiều đến đối tượng nghiên cứu. Sự phát triển của khoa học máy tính tạo môi trường thuận lợi cho bài toán nhận dạng mặt người từ ảnh số. Các hệ thống nhận dạng offline đã ra đời và có độ tin cậy cao, tuy nhiên các hệ thống nhận dạng online lại chưa đáp ứng được nhiều. Hơn một thập kỷ qua có rất nhiều công trình nghiên cứu về bài toán xác định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu như ngày hôm nay. Các nghiên cứu đi từ bài toán đơn giản, mỗi ảnh chỉ có một khuôn mặt người nhìn thẳng vào thiết bị thu hình và đầu ở tư thế thẳng đứng trong ảnh đen trắng. Cho đến ngày hôm nay bài toán mở rộng cho ảnh màu, có nhiều khuôn mặt trong cùng một ảnh, có nhiều tư thế, góc nghiêng thay đổi trong ảnh. Không những vậy, bài toán còn mở rộng cả phạm vi, từ môi trường xung quanh khá đơn giản (trong phòng thí nghiệm) cho đến môi trường xung quanh rất phức tạp (như trong tự nhiên) nhằm đáp ứng nhu cầu thật sự và rất nhiều của con người. Trong thực tế các hệ thống nhận dạng mặt người chỉ có thể nhận dạng và nhận dạng chính xác nếu các bức ảnh chứa khuôn mặt ở tư thế thẳng đứng, vuông góc với trục ống kính của máy ảnh. Tuy nhiên có rất nhiều ảnh đầu vào Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn [...]... trên khuôn mặt và các góc quay tương ứng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 26 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN HƢỚNG MẶT NGƢỜI TRONG ẢNH 2.1 Phát hiện hƣớng mặt ngƣời trong ảnh dựa trên tâm mắt 2.1.1 Tách mặt ngƣời trong ảnh Tìm và tách mặt người ra khỏi ảnh số là một bài toán gắn liền với hệ thống nhận dạng mặt người tự động Hiện nay có một số phương pháp... lý ảnh và nhận dạng mặt ngƣời Giớí thiệu khái quát bài toán phát hiện hướng mặt người trong ảnh Tình hình nghiên cứu trong và ngoài nước về lĩnh vực nhận dạng nói chung trong đó nổi bật là nhận dạng khuôn mặt Chƣơng 2: Một số kỹ thuật phát hiện hƣớng mặt ngƣời trong ảnh Thu thập và tiền xử lý dữ liệu hình ảnh phục vụ cho việc thử nghiệm Trình bày các giải pháp kỹ thuật, thuật toán nhằm xác định, phát. .. (Pose) của khuôn mặt trong ảnh Đa số các bài toán nhận dạng khuôn mặt chỉ có thể thực hiện được hoặc đạt kết quả chính xác nếu các bức ảnh chứa khuôn mặt ở tư thế thẳng đứng, vuông góc với trục ống kính của máy ảnh Bài toán phát hiện hướng khuôn mặt người trong ảnh sẽ góp phần không nhỏ vào quá trình nhận dạng mặt người Sử dụng kết quả của bài toán phát hiện hướng khuôn mặt người trong ảnh vào giai đoạn... nhận dạng khuôn mặt 1.2.1 Nhận dạng mặt ngƣời Hệ thống nhận dạng mặt người là một hệ thống nhận vào là một ảnh hoặc một đoạn video (một chuỗi các ảnh) Qua xử lý tính toán hệ thống xác định được vị trí mặt người trong ảnh (nếu có) và xác định là người nào trong số những người hệ thống đã được biết (qua quá trình học) hoặc là người lạ Xác định khuôn mặt người (Face Detection) là một kỹ thuật máy tính... đào tạo trước để xác định đánh giá tư thế của đầu người trong ảnh Các bước xây dựng bộ nhận dạng, lựa chọn đặc trưng dữ liệu đầu vào, tính toán xác định tư thế của đầu người sẽ được trình bày trong các chương của luận văn Từ những phân tích trên, tôi đã lựa chọn đề tài "Nghiên cứu một số kỹ thuật phát hiện hướng mặt người trong ảnh" là hướng nghiên cứu chính cho luận văn của mình Ngoài phần mở đầu,... người máy Thông qua các biểu hiện khuôn mặt để điều khiển các chức năng của hệ thống Ví dụ như thông qua hướng của khuôn mặt để điểu khiển hướng của xe lăn trợ giúp người tàn tật Cùng trong một bức ảnh có thể có nhiều khuôn mặt ở những tư thế khác nhau Sử dụng bài toán phát hiện hướng khuôn mặt nhằm xác định chính xác hướng của từng khuôn mặt trong ảnh Qua đó kết hợp với quá trình tiền xử lý hình ảnh. .. tiền xử lý hình ảnh, những bức ảnh chứa khuôn mặt người ở các tư thế khác nhau sẽ được qui chuẩn làm cơ sở đầu vào cho các hệ thống nhận dạng Với kết quả nghiên cứu của luận văn, bài toán nhận dạng mặt người có thể áp dụng để nhận dạng khuôn mặt ở nhiều góc nghiêng khác nhau Không chỉ áp dụng cho các bước tiền xử lý hình ảnh trong nhận dạng khuôn mặt, phát hiện hướng mặt người trong ảnh còn được áp... thước của các khuôn mặt người trong các ảnh bất kỳ (ảnh kỹ thuật số) Kỹ thuật này nhận biết các đặc trưng của khuôn mặt và bỏ qua những thứ khác như: tòa nhà, cây cối, cơ thể,… 1.2.2 Các ứng dụng liên quan đến nhận dạng mặt ngƣời Bài toán nhận dạng mặt người có thể áp dụng rộng rãi trong nhiều ứng dụng tư thế khác nhau Đó chính là lý do mà bài toán này hấp dẫn rất nhiều nhóm nghiên cứu trong thời gian... dụng để phát hiện khuôn mặt Mục tiêu của hướng tiếp cận này là các thuật toán đi tìm các đặc trưng mô tả cấu trúc khuôn mặt người mà các đặc trưng này sẽ không thay đổi khi các yếu tố khác thay đổi Hướng tiếp cận dựa trên đối sánh mẫu: Trong hướng tiếp cận này một mẫu khuôn mặt chuẩn được định nghĩa bằng tay trước hoặc được tham số hóa bằng một hàm số Mẫu này được sử dụng để phát hiện khuôn mặt bằng... dụng trong cuộc sống Xử lý ảnh và đồ họa đóng một vai trò quan trọng trong tương tác người máy Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một . nhiều trong quá trình định hướng nghiên cứu, tìm hiểu, xây dựng và phát triển bài toán để em có thể hoàn thành luận văn chuyên đề: " ;Nghiên cứu một số kỹ thuật phát hiện hướng mặt người trong. khuôn mặt 14 1.3. Bài toán phát hiện hướng mặt người trong ảnh 16 1.3.1. Giới thiệu tổng quát bài toán 16 1.3.2. Mô hình mặt người trong không gian 3D 17 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN. NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN HƯỚNG MẶT NGƯỜI TRONG ẢNH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN