ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC MÁY HỌC VÀ ỨNG DỤNG PHÂN LỚP CẢM XÚC MẶT NGƯỜI BẰNG MẠNG NƠ-RON NHÂN TẠO GV hướng dẫn: PGS. TS. Vũ Thanh Nguyên HV thực hiện: Phan Thị Trinh MSHV: CH1301067 Thành phố Hồ Chí Minh - 2014 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng MỤC LỤC Trang Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 2 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng DANH MỤC CÁC BẢNG BIỂU Trang Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 3 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Trang Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 4 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng 1 CHƯƠNG 1 TỔNG QUAN 1.1. Giới thiệu Nhận dạng mặt người được ứng dụng trong rất nhiều lĩnh vực như bảo mật, chứng thực cá nhân, giao tiếp Internet và giải trí máy tính. Mặc dù nhận dạng mặt người tự động đã được nghiên cứu rất sớm từ những năm 1960, bài toán này vẫn còn nhiều vấn đề chưa được giải quyết. Những năm gần đây đã có những tiến bộ đang kể trong lĩnh vực này nhờ sự cải tiến trong kỹ thuật phân tích và lấy mẫu khuôn mặt. Các hệ thống đã được phát triển để dò tìm và nhận dạng khuôn mặt, nhưng tính đáng tin cậy trong nhận dạng khuôn mặt vẫn còn là một thách thức lớn đối với cá nhà nghiên cứu về nhận dạng mẫu và thị giác máy tính. Càng ngày càng có nhiều sự quan tâm đến nhận dạng mặt người vì một số lý do sau: tăng cường an ninh ở nơi công cộng, sự cần thiết chứng thực nhận dạng trong thế giới số, sự cần thiết về các kỹ thuật phân tích và mô hình khuôn mặt trong giải trí máy tính và quản lý dữ liệu đa phương tiên. Những tiến bộ gần đây trong phân tích mặt tự động, nhận dạng mẫu và máy học giúp chúng ta có thể phát triển một hệ thống nhận dạng mặt tự động nhằm vào các ứng dụng trên. Biểu cảm khuôn mặt là những thay đổi trong phản ứng với trạng thái cảm xúc bên trong của một người, hoặc khi giao tiếp trong xã hội. Con người giao tiếp với nhau không chỉ bằng ngôn ngữ lời nói mà còn bằng ngôn ngữ cử chỉ và cảm xúc biểu lộ trên khuôn mặt.Theo Mehrabian, trong giao tiếp cảm xúc thì 55% thông điệp sẽ được chuyển tải qua biểu cảm khuôn mặt, trong khi đó chỉ có 7% qua ngôn ngữ nói và 38% qua ngôn ngữ cử chỉ. Phân tích cảm xúc khuôn mặt là đề tài nghiên cứu về khoa học hành vi của Darwin đã được nghiên cứu từ năm 1872. Năm 1978, M. Suwa, N. Sugie, và K. Fujimoratrình bày một thử nghiệm về phân tích tự động biểu lộ khuôn mặt bằng Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 5 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng cách theo dõi hoạt động của 20 điểm xác định trên một chuỗi ảnh. Sau đó, có nhiều sự phát triển được thực hiện để xây dựng các hệ thống máy tính giúp chúng ta hiểu và sử dụng hệ thống giao tiếp tự nhiên giữa người và máy. P. Eckman cho rằng con người có sáu trạng thái cảm xúc cơ bản là: vui (joy), ngạc nhiên (surprise), ghê tởm (disgust), buồn (sadness), giận dữ (anger)và sợ hãi (fear). Ngoài ra có thể thêm vào một cảm xúc nữa là bình thường (neutral). Phân tích cảm xúc mặt người là một trong những ứng dụng của nhận dạng mặt người. Từ những phân tích đó, ta sẽ nhận dạng được cảm xúc khuôn mặt. Trước đây, robot được lập trình và hoạt động cứng nhắc theo chương trình sẵn có chỉ giao tiếp được với con người qua bàn phím, chuột, màn hình, robot chỉ được xem như một cái máy. Tuy nhiên, với sức mạnh của các bộ vi xử lý ngày nay, đã cho phép robot giao tiếp với con người theo một cách mới, đó là hình ảnh (thị giác) và âm thanh. Trong tương lai, robot có thể “nhìn thấy” con người xung quanh nó và giao tiếp lại một cách rất “người” như thể hiện cảm xúc, điệu bộ, … Do đó, nhiều dự án ở nước ngoài đã được nghiên cứu nhằm điểu khiển robot có tính cách người hơn (humanoid robot), nghĩa là robot có thể hiểu được cảm xúc và cử chỉ của con người. Để thực hiện ý tưởng đó, đòi hỏi chúng ta phải tạo cho robot một hệ thống tự động nhận biết cảm xúc mặt người. Ngoài ra, việc ứng dụng nhận dạng trạng thái con người trong điều tra tội phạm cũng là vấn đề đáng được quan tâm. Hệ thống có thể tự động nhận dạng mặt người trong một dòng video thực và tiếp tục nhận dạng những cảm xúc của mặt người trong thời gian thực. Nói cách khác, hệ thống tự động kiểm tra mặt người và nhận dạng ra các cảm xúc mặt người: bình thường (neutral), buồn (sadness), vui (joy), giận dữ (angry), ngạc nhiên (surprise), sợ hãi (fear), ghê tởm (disgust). 1.2. Bài toán nhận dạng biểu lộ cảm xúc khuôn mặt và những khó khăn 1.2.1. Bài toán nhận dạng biểu lộ cảm xúc khuôn mặt Bài toán nhận dạng cảm xúc khuôn mặt yêu cầu như sau: Nhập (Input): một bức ảnh hoặc một chuỗi các ảnh. Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 6 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng Xuất (Output): Cảm xúc của người có trong ảnh: bình thường (neutral), buồn (sadness), vui (joy), giận dữ (angry), ngạc nhiên (surprise), sợ hãi (fear), ghê tởm (disgust). Hình 1.1. Ví dụ nhận diện cảm xúc mặt người 1.2.2. Những khó khăn của nhận dạng cảm xúc khuôn mặt Bài toán nhận dạng cảm xúc mặt người dù đã được nghiên cứu từ những năm 70, nhưng kết quả đạt được vẫn còn hạn chế vì gặp rất nhiều khó khăn như: a. Điều kiện chiếu sáng: Ảnh được chụp trong các điều kiện chiếu sáng khác nhau sẽ gây khó khăn trong việc phân tích đặc trưng của ảnh. b. Khuôn mặt có thêm nhiều thành phần khác: Các thành phần này có thể là râu mép, râu hàm, mắt kính, Các thành phần này có thể làm cho việc giải quyết bài toán gặp rất nhiều khó khăn. c. Tư thế chụp ảnh: khuôn mặt có thể được chụp ở nhiều góc độ khác nhau như: chụp thẳng, xoay trái 45 0 hoặc 90 0 , xoay phải 45 0 hoặc 90 0 , mặt nhìn xuống, mặt nhìn lên, Với các tư thế chụp ảnh khác nhau sẽ làm cho việc phân tích các thành phần như mắt, mũi, miệng có thể bị lệch, bị che khuất. 1.3. Tổng quan hệ thống nhận dạng cảm xúc khuôn mặt Phương pháp tổng quát để phân tích tự động biểu lộ khuôn mặt (AFEA: automatic facial expression analysis) thông thường gồm ba bước xử lý: định vị khuôn mặt, rút trích và biểu diễn dữ liệu đặc trưng, phân lớp cảm xúc khuôn mặt. Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 7 OutputInput Phân lớp cảm xúc khuôn mặt Vui Định vị gương mặt Rút trích và biểu diễn lại dữ liệu về khuôn mặtPhân lớp biểu lộ khuôn mặt Dò 'm gương mặtƯớc lượng tư thế đầuDựa vào đặc điểmDựa vào diện mạo Dựa vào khung Dựa vào chuỗi Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng Hình 1.2. Cấu trúc cơ bản của hệ thống phân tích biểu lộ khuôn mặt Bước 1: Định vị khuôn mặt Định vị khuôn mặt là một pha xử lý để tự động tìm thấy những vùng có mặt người từ một ảnh hoặc một chuỗi các ảnh liên tiếp. Nó có thể là một công cụ dò tìm những khuôn mặt trong mỗi khung hình hoặc dò tìm khuôn mặt trong khuôn mặt đầu tiên sau đó theo dõi khuôn mặtnày trong các khung hình còn lại của video. Bước 2: Rút trích đặc trưng và biểu diễn lại dữ liệu về khuôn mặt Khuôn mặt được định vị ở bước 1, bước tiếp theo rút trích và biểu diễn lại những thay đổi của khuôn mặt gây ra bởi biểu lộ của khuôn mặt. Có 2 cách tiếp cận: phương pháp dựa vào các đặc điểm hình học và phương pháp dựa vào diện mạo của cả khuôn mặt. - Phương pháp dựa vào đặc điểm hình học (Geometric feature-based methods): dựa vào hình dạng và vị trí các thành phần cấu tạo nên khuôn mặt(miệng, mắt, lông mày, mũi, trán, gò má), những thành phần này và những điểm đặc trưng của khuôn mặt sẽ được rút trích và xây dựng nên một vector đặc trưng biểu diễn cho khuôn mặt. Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 8 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng - Phương pháp dựa vào diện mạo của cả khuôn mặt (Appearance-base methods): với phương pháp này thì các phương pháp lọc ảnh như là Gabor wavelets được áp dụng trên toàn bộ mặt hoặc trên từng vùng của mặt để rút ra các vector đặc trưng. Bước 3:Phân lớp biểu lộ khuôn mặt Dựa vào những đặc trưng ở bước 2, hệ thống sẽ thực hiện việc phân lớp biểu lộ khuôn mặt : các phương pháp phân lớp thường được sử dụng ở bước này như :mạng Nơ-ron, eigenface, Support Vector Machine (SVM), phân lớp Bayes, mô hình Markov ẩn (HMM),…. 1.4. Các ứng dụng Bài toán nhận dạng cảm xúc mặt người có thể áp dụng rộng rãi trong nhiều lĩnh vực khác nhau. Các ứng dụng của nhận dạng cảm xúc mặt người như sau: - Hệ thống giao tiếp thông qua cảm xúc: Thông qua một số ký hiệu nháy mắt, những người bị bại liệt có thể biểu lộ được những gì họ muốn, cái nhìn của mắt để điều khiển những hành động mong muốn trên màn hình máy tính (thay cho chuột và bàn phím) - Hệ thống phát hiện nói dối thông qua những biểu lộ của khuôn mặt: Một nghiên cứu mới thực hiện tại phòng thí nghiệm tâm lý pháp lý Stenphen Porter tại đại học Dalhousie đã cho thấy khuôn mặt sẽ tiết lộ cảm xúc thực sự của người nói dối - Chế tạo robot: Thông qua đôi mày, mắt, mí mắt, hàm, các chuyên gia robot tại Viện công nghệ Massachusetts của Mỹ vừa chế tạo một robot có tên là Nexi, có khả năng biểu lộ cảm xúc trên khuôn mặt giống như con người - Hệ thống nhận dạng tội phạm: Giúp cơ quan an ninh quản lý tốt con người. Công việc nhận dạng có thể ở trong môi trường bình thường cũng như trong bóng tối. - Hệ thống quan sát, theo dõi và bảo vệ: Thông qua những biểu lộ trên khuôn mặt, máy có thể phát hiện ra đâu là con người và theo dõi họ có vi phạm gì Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 9 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng không? Ví dụ xâm phạm khu vực không được vào, hay phát hiện tài xế taxi ngủ gật, mất tập trung hay không? Và hổ trợ thông báo khi cần thiết. - Hệ thống điều khiển vào ra: văn phòng, công ty, trụ sở, máy tính, Palm,…. Cho phép nhân viên được ra vào nơi cần thiết hay mỗi người sẽ đăng nhập máy tính cá nhân của mình mà không cần nhớ tên đăng nhập cũng như mật khẩu mà chỉ cần xác định thông qua khuôn mặt. - Hệ thống phân loại trong lưu trữ hình ảnh trong điện thoại di động: Thông qua bài toán xác định khuôn mặt người và trích đặc trưng, rồi dựa vào đặc điểm trên khuôn mặt để sắp xếp lưu trữ, giúp người sử dụng dễ dàng truy tìm khi cần thiết. Ngoài ra, nó còn được ứng dụng để điều trị tâm lý, tâm thần, thần kinh, đánh giá sự đau đớn, môi trường thông minh và giao tiếp người- máy(HCL- Human- Computer- Interface). Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 10 [...]... CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 14 Giảng viên hướng dẫn: PGS TS VŨ THANH NGUYÊN Máy học và ứng dụng Vectơ V sẽ được sử dụng để làm đầu vào cho mô hình mạng nơ-ron mà tôi xây dựng được trình bày ở chương 3 Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 15 Giảng viên hướng dẫn: PGS TS VŨ THANH NGUYÊN Máy học và ứng dụng 2) CHƯƠNG3 PHÂN LỚP CẢM XÚC BẰNG MẠNG NƠ-RON... NGUYÊN Máy học và ứng dụng 3.2 Huấn luyện mạng nơ-ron 3.2.1 Phương pháp học Mạng nơ-ron nhân tạo phỏng theo việc xử lý thông tin của bộ não người, do vậy đặc trưng cơ bản của mạng là có khả năng học, khả năng tái tạo các hình ảnh và dữ liệu khi đã học Trong trạng thái học thông tin được lan truyền theo hai chiều nhiều lần để học các trọng số Có 3 kiểu học chính, mỗi kiểu học tương ứng với một nhiệm vụ học. .. bằng cách trừ bớt đi 1 lượng bằng tích của đạo hàm riêng và tốc độ học: wi = wi − µ ∂E ∂wi Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT (3.41) Trang 34 Giảng viên hướng dẫn: PGS TS VŨ THANH NGUYÊN Máy học và ứng dụng 3.3 Phân lớp cảm xúc khuôn mặt bằng mạng nơ-ron đa lớp với thuật giải lan truyền ngược dựa trên rút trích các đặc trưng củakhuôn mặt 3.3.1 Cấu trúc mạng nơ-ron. .. đa lớp Ta kí hiệu mạng nơ-ron p dụng để phân lớp 7 trạng thái cảm xúc cơ bản là ANN_FEA Các thông số của ANN_FEA như sau: - Số nơ-ron lớp Input: 200-300 Số lớp ẩn: 1 Số nút lớp ẩn: 5-25 Số nơ-ron lớp output: 7 (tương ứng với 7 trạng thái cảm xúc) Giá trị output: 1 nếu thuộc về lớp đó; 0 nếu không thuộc về lớp đó Công việc: - Huấn luyện với tập huấn luyện Phân lớp với tập ảnh kiểm thử Số nút lớp ẩn và. .. thu nhận được nhờ quá trình học Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 16 Giảng viên hướng dẫn: PGS TS VŨ THANH NGUYÊN Máy học và ứng dụng 2 Tính năng có được nhờ kiến trúc mạng và tính chât kết nối Các loại mô phỏng này có tên chung là mạng nơ-ron nhân tạo hay gọn hơn mạng nơ-ron và viết tắt là ANN hoặc gọn hơn là NN Trong ứng dụng chúng thường được tích hợp... sử dụng mạng nơ-ron nhiều tầng MLP 3.2.2.2 Thuật toán học của mạng nơ-ron nhiều lớp Huấn luyện mạng nơ-ron nhiều lớp sử dụng thuật toán Lan truyền ngược gồm hai quá trình: Quá trình truyền tuyến tính và quá trình truyền ngược: Quá trình truyền tuyến tính: Dữ liệu từ lớp nhập qua lớp ẩn và đến lớp xuất để:  Thay đổi giá trị của trọng số liên kết W của các nơ-ron trong mạng biểu diễn được dữ liệu học. .. thần kinh và các kết nối thần kinh của bộ não con người, trong mạng nơ-ron nhân tạo cũng có các thành phần có vài trò tương tự là các nơ-ron nhân tạo cùng các kết nối.Một nơ-ron nhân tạo là một đơn vị tính toán hay xử lý thông tin cơ sở cho hoạt động của một mạng nơ-ron Ở đây, chúng ta xác định ba thành phần cơ bản của một mô hình nơ-ron: Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa... TRƯNG 3.1 Mạng Nơ-ron 3.1.1 Giới thiệu chung Mạng nơ-ron (Nơ-ron Networks) trong một vài năm trở lại đây đã được nhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau, như tài chính, y tế, địa chất và vật lý Thật vậy, bất cứ ở đâu có vấn đề về dự báo, phân loại và điều khiển, mạng nơ-ron đều có thể ứng dụng được Sự thành công nhanh chóng của mạng nơ-ron có thể là do một số nhân tố... neuron trong mức đầu ra của mạng tạo nên đáp ứng toàn cục của mạng đối với các vector đầu vào được cung cấp bởi các nút nguồn của mức đầu vào Đồ thị trong hình sau là một mạng 5-3-2 tức là 5 nút nguồn, 3 neuron ẩn và 2 neuron đầu ra Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 26 Giảng viên hướng dẫn: PGS TS VŨ THANH NGUYÊN Máy học và ứng dụng Mạng neuron trong hình dưới... thẳng thì những mạng nơ-ron quy hồi có ít nhất một phản hồi từ những nơron xử lý sau quay trở lại các nơ-ron xử lý trước đó Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 27 Giảng viên hướng dẫn: PGS TS VŨ THANH NGUYÊN Máy học và ứng dụng Hình 3.9 Mạng hồi quy không có nơ-ron ẩn và không có vòng lặp tự phản hồi Hình 3.10 Mạng hồi quy có các nơ-ron ẩn Sự có mặt của các . ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN MÔN HỌC MÁY HỌC VÀ ỨNG DỤNG PHÂN LỚP CẢM XÚC MẶT NGƯỜI BẰNG MẠNG NƠ-RON NHÂN TẠO GV hướng dẫn:. Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 15 Giảng viên hướng dẫn: PGS. TS. VŨ THANH NGUYÊN Máy học và ứng dụng 2) CHƯƠNG3 PHÂN LỚP CẢM XÚC BẰNG MẠNG NƠ-RON. vị khuôn mặt, rút trích và biểu diễn dữ liệu đặc trưng, phân lớp cảm xúc khuôn mặt. Học viên thực hiện: PHAN THỊ TRINH – CH1301067, Lớp Cao học khóa 8, ĐHCNTT Trang 7 OutputInput Phân lớp cảm xúc khuôn