Đang tải... (xem toàn văn)
Tiểu luận môn Nhận dạng Tìm hiểu phương pháp trích chọn đặc trưng cho khuôn mặt áp dụng PCA và ứng dụng xác thực thẩm định khuôn mặt Hơn một thập kỷ qua, có rất nhiều công trình nghiên cứu về bài toán xác định khuôn mặt người từ ảnh đen trắng, ảnh xám, đến ảnh màu như ngày nay.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. Trường đại học Bách Khoa Hà Nội Viện công nghệ thông tin và truyền thông Đề tài môn nhận dạng: Tìm hiểu phương pháp trích chọn đặc trưng cho khuôn mặt áp dụng PCA và ứng dụng xác thực thẩm định khuôn mặt. Giảng viên hướng dẫn: Học viên : Lê Xuân Bách. Đặng Văn Huy. Trương Quang Thịnh. Hà Nội 14-12-2012 1 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. Bảng phân công công việc. Công việc Người thực hiện. Tìm hiểu các đặc khuôn mặt. Đặng Văn Huy Tìm hiểu phương pháp trích chọn đặc trưng-PCA Trương Quang Thịnh. Ứng dụng thẩm định khuôn mặt Lê Xuân Bách 2 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. Phụ lục. 3 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. 1 Mở đầu. Hơn một thập kỷ qua, có rất nhiều công trình nghiên cứu về bài toán xác định khuôn mặt người từ ảnh đen trắng, ảnh xám, đến ảnh màu như ngày nay. Các nghiên cứu đi từ bài toán đơn giản là ảnh chỉ chứa một khuôn mặt người nhìn thẳng vào thiết bị thu hình và đầu ở tư thế thẳng đứng, cho đến ảnh màu với nhiều khuôn mặt người trong cùng ảnh, khuôn mặt có quay một góc nhỏ, hay bị che khuất một phần, và với ảnh nền của ảnh phức tạp (ảnh chụp ngoài thiên nhiên) nhằm đáp ứng nhu cầu thật sự cần thiết của con người. Bài toán xác định khuôn mặt người (Face detection) là một kỹ thuật máy tính để xác định các vị trí và các kích thước của khuôn mặt trong ảnh bất kỳ (ảnh kỹ thuật số). Kỹ thuật này nhận biết các đặt trưng khuôn mặt và bỏ qua những thứ khác như: toàn nhà, cây cối, cơ thể Một số ứng dụng của bài toán xác định khuôn mặt là: hệ thống tương tác giữa người và máy (điều kiển máy tính qua các cử động của khuôn mặt), hệ thống nhận dạng người (giúp cho các cơ quan an ninh quản lý con người), hệ thống quan sát theo dõi, hệ thống quản lý việc ra vào cho các cơ quan và công ty, hệ thống kiểm tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm xúc trên khuôn mặt, và hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số 4 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. 2 Các đặc trưng khuôn mặt. 2.1 Đặc trưng của khuôn mặt và độ đo giữa các đặc trưng. Các đặc trưng của khuôn mặt được chia thành hai nhóm: o Các đặc trưng của các phần tử của khuôn mặt. o Các đặc trưng tổng thể của khuôn mặt. Ngoài ra còn có thể xác định các đặc trưng khuôn mặt theo mô hình khuôn mặt(thường áp dụng trong các ứng dụng 2D,3D). Ta sẽ tìm hiểu một số đặc tưng sau: 2.1.1 Đặc trưng màu sắc. Một bức ảnh được phân tích dựa trên các lược đồ màu. Một số lược đồ màu được sử dụng như: lược đồ màu RGB, lược đồ màu HSI, lược đồ HSI cải tiến. Trong đó, lược đồ màu RGB được sử dụng phổ biến nhất. Trong đó N là số lượng điểm ảnh. Lược đồ màu này được tính bằng cách rời rạc hóa từng màu trong ảnh, sau đó đếm số điểm ảnh của mỗi màu. Khi mà số lượng màu là có hạng, để thuận tiện hơn, người ta thường chuyển đổi ba kênh màu thành một biến giá trị duy nhất. Một cách khác để tính lược đồ màu của ảnh RGB là ta phân ra làm 3 lượt đồ riêng biệt ,,. Khi đó, mỗi lược đồ được tính bằng cách đếm kênh màu tương ứng trong mỗi điểm ảnh. Độ đo: Một số độ đo tương đồng được sử dụng như: Đ ộ đo khoảng cách Ơclit, độ đo Jensen-Shannon divergence (JSD). Gọi h(I) và h(M) tương ứng là 2 lượt đồ màu của hai ảnh I và ảnh M. Khi đó các loại độ đo màu được định nghĩa là một số nguyên (hoặc số thực) theo các loại độ đo tương ứng như sau: 5 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. o Khoảng cách Ơclit: Đây là khoảng cách Ơclit thông thường giữa các K bin. . Hoặc . o Độ đo Jensen-Shannon divergence (JSD): Trong đó : H và H’ là 2 biểu đồ màu được so sánh, Hm là bin thứ m của biểu đồ H. 2.1.2 Đặc trưng kết cấu. Hiện tại, vẫn chưa có một định nghĩa chính thức cụ thể về kết cấu. Kết cấu là một đối tượng dùng để phân hoạch ảnh ra thành những vùng quan tâm để phân lớp những vùng đó. Kết cấu cung cấp thông tin về sự sắp xếp về mặt không gian của màu sắc và cường độ một ảnh. Kết cấu được đặc trưng bởi sự phân bổ không gian của những mức cường độ trong một khu vực láng giềng với nhau. Kết cấu gồm các kết cấu gốc hay nhiều kết cấu gộp lại đôi khi gọi là texel. Một số phương pháp dùng để trích xuất các đặc trưng kết cấu như[18]: o Kim tự tháp "có thể lái được" (the steerable pyramid) o Biến đổi đường viền (the cotourlet transform) o Biến đổi sóng Gabor (The Gabor Wavelet transform) o Biểu diễn ma trận đồng hiện (co-occurrence matrix) o Hệ thống bộ lọc định hướng phức tạp (The complex directional fillter bank) Độ đo: Để đo độ tương đồng theo kết cấu giữa các ảnh, người ta thường sử dụng độ đo Ơclit. Kết cấu được trích xuất từ các bức ảnh sẽ được biểu diễn thành các vector nhiềuchiều và khoảng cách Ơclit được dùng để đo độ tương đồng giữa các đặc trưng của ảnh truy vấn với đặc trưng của ảnh trong cơ sở dữ liệu. 6 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. 2.1.3 Đặc trưng hình dạng. Màu sắc và kết cấu là những thuộc tính có khái niệm toàn cục trong một ảnh. Trong khi đó, hình dạng không phải là một thuộc tính của ảnh. Nói tới hình dạng không phải là nhắc đến hình dạng của một ảnh. Thay vì vậy, hình dạng có khuynh hướng chỉ đến một khu vực đặc biệt trong ảnh, hay hình dạng chỉ là biên của một đối tượng nào đó trong ảnh. Hình dạng là một cấp cao hơn so với màu sắc và kết cấu. Nó đòi hỏi sự phân biệt giữa các vùng để tiến hành xử lý về độ đo của hình dạng. Các hệ thống tìm kiếm ảnh theo nội dung thường khai thác hai nhóm biểu diễn hình dạng sau : o Biểu diễn hình dạng theo đường biên (cotour-based descriptor) : Biểu diễn các đường biên bao bên ngoài. o Biểu diễn theo vùng (region-based descriptor): Biểu diễn một vùng toàn vẹn. Độ đo: Độ đo về hình dạng rất nhiều trong phạm vi lý thuyết của bộ môn xử lý ảnh. Chúng trải rộng từ những độ đo toàn cục dạng thô với sự trợ giúp của việc nhận dạng đối tượng, cho tới những độ đo chi tiết tự động tìm kiếm những hình dạng đặc biệt. Lược đồ hình dạng là một ví dụ của độ đo đơn giản. Kỹ thuật dùng đường biên hiệu quả hơn phương pháp trước, chúng tìm kiếm những hình dạng đối tượng gần giống với đường biên nhất. Phương pháp vẽ phác họa là phương pháp có nhiều đặc trưng rõ ràng hơn, không chỉ tìm kiếm những đường biên đối tượng đơn, mà còn đối với tập những đối tượng đã được phân đoạn trong một ảnh mà người dùng vẽ hay cung cấp. 2.1.4 Đặc trưng cục bộ bất biến. Người ta thường chia đặc trưng cụ bộ thành 2 loại là những điểm trích xuất được từ điểm "nhô ra" (salient points) của ảnh và đặc trưng SIFT được trích chọn từ các điểm hấp dẫn Haris (interest points). Trong phần này, chúng tôi sẽ trình bày chi tiết về việc trích chọn các đặc trưng cục bộ bất biến (Scale Invariant Feature Transform SIFT)của ảnh. Phần này trình bày phương pháp trích rút các đặc trưng cục bộ bất biến SIFT của ảnh. Các đặc trưng này bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đôi khi là thay đổi điểm nhìn và thêm nhiễu ảnh hay thay đổi cường độ chiếu sáng của ảnh. Phương pháp được lựa chọn có tên là Scale-Invariant Feature Transform (SIFT) và đặc trưng trích rút đựợc gọi là đặc trưng SIFT (SIFT Feature). Các đặc trưng SIFT 7 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. này được trích rút ra từ các điểm hấp dẫn cục bộ (Local Interest Point). Điểm hấp dẫn (Interest Point (Keypoint)): Là vị trí (điểm ảnh) "hấp dẫn" trên ảnh. "Hấp dẫn" ở đây có nghĩa là điểm đó có thể có các đặc trưng bất biến với việc quay ảnh, co giãn ảnh hay thay đổi cường độ chiếu sáng của ảnh. Phương pháp trích rút các đặc trưng bất biến SIFT được tiếp cận theo phương pháp thác lọc, theo đó phương pháp được thực hiện lần lượt theo các bước sau: Phát hiện các điểm cực trị Scale-Space (Scale-Space extrema detection): Bước đầu tiên này tiến hành tìm kiếm các điểm hấp dẫn trên tất cả các tỉ lệ và vị trí của ảnh. Nó sử dụng hàm different-of-Gaussian để xác định tất cả các điểm hấp dẫn tiềm năng mà bất biến với quy mô và hướng của ảnh. Định vị các điểm hấp dẫn (keypoint localization): Một hàm kiểm tra sẽ được đưa ra để quyết định xem các điểm hấp dẫn tiềm năng có được lựa chọn hay không? Xác định hướng cho các điểm hấp dẫn (Orientation assignment): Xác định hướng cho các điểm hấp dẫn được chọn Mô tả các điểm hấp dẫn (Keypoint descriptor): Các điểm hấp dẫn sau khi được xác định hướng sẽ được mô tả dưới dạng các vector đặc trưng nhiều chiều. Độ đo tương đồng cho đặc trưng cục bộ bất biến:Một số độ đo tương đồng cho ảnh sử dụng đặc trưng SIFT: o Độ đo Cosin: o Khoảng cách góc: o Độ đo Euclide: o Độ đo Jensen-Shannon divergence : 8 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. 2.2 Lựa chọn đặc trưng Sau khi trích chọn được các đặc trưng nội dung của ảnh, tập các đặc trưng có thể được tối ưu hóa bằng các phương pháp lựa chọn đặc trưng để tăng chất lượng và hiệu quả khi sử dụng các tập đặc trưng. Một cách tổng quát, lựa chọn đặc trưng là phương pháp giảm thiểu các đặc trưng nhằm chọn ra một tập con các đặc trưng phù hợp trong học máy để xây dựng mô hình học tốt nhất. Mục đích của lựa chọn đặc trưng là tìm ra không gian con các đặc trưng tối ưu sao cho các tập ảnh “thích hợp” và “không thích hợp” được tách biệt nhất. Có nhiều phương pháp lựa chọn đặc trưng được đề xuất như: phương pháp tăng khuyếch đại (boosting manner) kết hợp với nền tảng Real Adaboost của Wei Jian và Guihua Er. Mingjing đưa ra tiêu chí lựa chọn các đặc trưng là: Mô hình tương phản đặc trưng được tổng quát hóa (Generalized Feature Contrast Model) dựa trên mô hình tương phản đặc trưng (Feature Contrast Model). Một số phương pháp cổ điển khác như phương pháp dựa vào phân phối (distribution based). Phương pháp dựa vào phân tích biệt thức (Discriminant analysis DA) ví dụ như Phân tích đa biệt thức (Mutiple Discriminant analysis MDA)), phân tích biệt thức không đối xứng (biased Discriminant analysis BDA). Phương pháp tối đa khoảng cách tối thiểu đối xứng trong không gian con (symmetric maximized minimal distance in subspace SMMS). Hai mô hình phổ biến cho lựa chọn đặc trưng là: Mô hình Filter và mô hình Wrapper. o Mô hình Filter: đánh giá mỗi phần tử bằng một vài tiêu chuẩn hay độ đo nào đó, rồi chọn ra tập con các thuộc tính được đánh giá cao nhất. o Mô hình Wrapper: Sử dụng một thuật toán tìm kiếm để đánh giá tập con các thuộc tính coi như là một nhóm hơn là một phần tử riêng lẻ. Cốt lõi của mô hình Wrapper là một thuật toán học máy cụ thể. Nó đánh giá độ tốt của những tập con đặc trưng tùy theo độ chính xác học của tập con, điều này xác định thông qua một tiêu chí nào đó 9 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan. 3 Phương pháp trích chọn đặc trưng. Sau khi phát hiện được khuôn mặt trong ảnh đầu vào ta cần phải biểu diễn ảnh khuôn mặt thành một véc tơ đặc trưng, tuy nhiên vì kích thước ảnh khuôn mặt quá lớn nếu biểu diễn véc tơ là các pixel của ảnh khuôn mặt thì có thể làm cho quá trình huấn luyện và nhận dạng rất chậm, và xảy ra trường hợp quá khớp vì vậy bài toán đặt ra là cần phải có phương pháp để biểu diễn ảnh khuôn mặt thành véc tơ đặc trưng mà vẫn giữ lại được những thành phần quan trọng của ảnh. Có nhiều phương pháp đã được nghiên cứu để giải quết bài toán này, điển hình là một số phương pháp sau: Sử dụng các đơn vị vận động trên khuôn mặt (Action units – AU), sử dụng PCA, AAM kết hợp tương quan điểm, sử dụng các phương pháp học,… Mỗi phương pháp đều có ưu và nhược điểm riêng. Đối với các phương pháp sử dụng PCA kết hợp mạng nơron, cần một tập dữ liệu chuẩn để huấn luyện. Việc xây dựng các tập huấn luyện này cũng tương đối khó khăn và tốn kém vì cần nhiều người làm mẫu, những người này phải có khả năng diễn đạt cảm xúc tốt, ngoài ra còn cần sự đánh giá của các chuyên gia tâm lý. Hiện nay có một số tập huấn luyện chuẩn thường được dùng như JAFFE (Japanese Female Facial Expression) hay Cohn-kanade. Chúng ta sẽ tìm hiểu phương pháp phân tích thành phần chính PCA. 3.1 Phương pháp phân tích thành phần chính PCA. 3.1.1 Đặc điểm. PCA là 1 phương pháp để nhận dạng các mẫu trong dữ liệu và biểu diễn dữ liệu bằng cách làm nổi bật sự giống và khác nhau. Khi các mẫu trong dữ liệu rất khó nhận ra trong không gian nhiều chiều thì PCA là một công cụ mạnh để phân tích chúng. Các bước cơ bản trong PCA: o Bước1: Lấy dữ liệu o Bước2: Trừ trung bình mẫu. o Với mỗi chiều dữ liệu giả sử ở chiều x, ta đều có 1 trung bình mẫu, công việc trong bước này là trừ tất cả giá trị trong chiều x cho trung 10 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh. [...]... chính mà khóa luận đã đạt được có thể được tổng kết như sau: Tìm hiểu được các đặc trưng của khuôn mặt và cách thức sử dụng các đặc trưng của khuôn mặt Giới thiệu chi tiết về phương pháp trích chọn đặc trưng (PCA) , sử dụng để trích chọn các thành phần chính của ảnh, khuôn mặt Là phương pháp tiền đề cho hệ thống nhận dạng Tìm hiểu, thấy được một ứng trong thực tế của việc nhận dạng là thực hiện các... việc bị nhận sai làm toàn bộ là rất thấp Do đó các bức ảnh khuôn mặt có sai số nhận dạng >0.2 sẽ được bỏ qua không cần thiết cho quá trình nhận dạng 5 Kết luận Qua thời gian nghiên cứu về các phương pháp nhận dạng cảm xúc khuôn mặt, đặc biệt là qua quá trình thực hiện khóa luận tốt nghiệp, em đã tìm hiểu được một số thuật toán học và áp dụng các thuật toán này cho bài toán phân lớp để nhận dạng cảm... các nhân viên, và ảnh thẻ của các nhân viên đó 4.2 Hệ thống xác thực thẩm định khuôn mặt 16 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh Đề tài tiểu luận môn nhận dạng Giảng viên: PSG.TS Nguyễn Thị Hoàng Lan 4.3 Quá trình học Phân tích các thành phần chính Áp dụng quá trình phân tích các đặc trưng chính (PCA) để phân tích đặc trưng của ảnh Với mỗi ảnh đầu vào ta xác định khuôn mặt 4.3.1 Mỗi... PCA (đã miêu tả ở trên) để trích chọn các đặc trưng của ảnh khuôn mặt người được phát hiện trên các frame ảnh của video Sau đó ta sẽ thực hiện quá trình học, huấn luyện với các tập ảnh đã trích chọn đặc trưng từ các video, ảnh mẫu mà doanh nghiệp cung cấp Và thực hiện xác định khuôn mặt với các ảnh từ các video quan sát Học, huấn luyện Thực hiện học, huấn luyện theo phương pháp học không giám sát Lý... toán PCA áp dụng cho các vector một chiều nên ta thực hiện phép biến đổi: Ta coi mỗi bức ảnh là 1 vector NxN và quy về vector x1, và áp dụng phương pháp PCA để xác định các đặc trưng của ảnh.Với mỗi bức ảnh ta coi đó là 1 vector 17 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh Bây giờ ta đã có một tập các bức ảnh S={,,… } Ta sẽ thực hiện phân tích các thành phần chính như thuật toán PCA. .. điểm của PCA: PCA phân loại theo chiều phân bố lớn nhất của tập vector Tuy nhiên, chiều phân bố lớn nhất không phải lúc nào cũng mang lại hiệu quả tốt nhất cho bài toán nhận dạng Đây là nhược điểm cơ bản của PCA PCA rất nhạy với nhiễu 15 Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh Đề tài tiểu luận môn nhận dạng Giảng viên: PSG.TS Nguyễn Thị Hoàng Lan 4 Ứng dụng thẩm định khuôn mặt 4.1... NxN và quy về vector x1, và áp dụng phương pháp PCA để xác định các đặc trưng của ảnh.Với mỗi bức ảnh ta coi đó là 1 vector Giả sử ta có một tập các bức ảnh S={,,… } Ta thực hiện các bước như sau: o o o Tính ảnh trung bình : Tính sai lệch của các ảnh đầu vào so với trung bình: Tính ma trận hiệp phương sai: ; A={} Vì ma trận C có kích thước lớn (NxN) nên để tìm vector riêng tìm vector riêng và trị... của phương pháp PCA: Tìm được các đặc tính tiêu biểu của đối tượng cần nhận dạng mà không cần phải xác định các thành phần và mối quan hệ giữa các thành phần đó Thuật toán có thể thức hiện tốt với các ảnh có độ phân giải cao, do PCA sẽ thu gọn ảnh thành một ảnh có kích thước nhỏ hơn PCA có thể kết hợp với các phương pháp khác như mạng Noron, Support Vector Machine … để mang lại hiệu quả nhận dạng. .. khi xác định được ảnh thuộc vào nhóm nào thì tính lại ảnh đại diện cho nhóm đó theo công thức trung bình Trong đó M là số ảnh trong nhóm j, T(i) là ảnh trong nhóm j Dừng lặp sau khi các ảnh đã được xác định nhóm của ảnh Các ảnh ở quá trình học đều là các ảnh khuôn mặt người, và đã được xử lý qua thuật toán PCA để trích chọn đặc trưng Kết thúc quá trình học ta xác định được K phân nhóm ảnh cho. .. hiệp phương sai của nhóm thứ k, là vector trung bình của nhóm k Và có thể coi xác suất các lớp cân bằng: (**) Từ (*) và (**) ta tính được , từ đó ta sử dụng lý thuyết ra quyết định để xác định ảnh thuộc nhóm nào 4.5 Đánh giá hệ thống Hệ thống kế thừa thư viện OpenCV để thực hiện xác định khuôn mặt trên mỗi bức ảnh thu được từ camera và sử dụng hàm phân tích thành phần chính của OpenCV để trích rút đặc