NGƠ THỊ DUN NGHIÊN CỨU MƠ HÌNH NHÂN VẬT ẢO BIỂU CẢM TRÊN KHN MẶT BA CHIỀU NĨI TIẾNG VI T LUẬN ÁN TIẾ SĨ KHOA H C MÁY TÍNH HÀ N I – 2015 NGÔ THỊ DUYÊN NGHIÊN CỨU MƠ HÌNH NHÂN VẬT ẢO BIỂU CẢM TRÊN KHN MẶT BA CHIỀU NÓI TIẾNG VI T Chuyên ngành: Khoa học máy tính Mã số: 62.48.01.01 LUẬN ÁN TIẾ SĨ KHOA H C MÁY TÍNH ỚNG DẪN KHOA H C PGS.TS Bùi Thế Duy GS.TS Masato Akagi HÀ N I – 2015 LỜI CẢM ƠN Luận án thực Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, hướng dẫn PGS.TS Bùi Thế Duy GS.TS Masato Akagi Tôi xin gửi lời cảm ơn chân thành sâu sắc tới PGS TS Bùi Thế Duy – Bộ Khoa học Công nghệ GS TS Masato Akagi – Viện Khoa học Công nghệ tiên tiến Nhật Bản (JAIST), người thầy tâm huyết tận tình hướng dẫn, động viên khích lệ, dành nhiều thời gian quí báu để định hướng cho tơi q trình tham gia khóa học hồn thiện luận án Tôi xin gửi lời cảm ơn chân thành tới lãnh đạo trường Đại học Công nghệ, lãnh đạo Khoa Công nghệ thông tin, cảm ơn đồng nghiệp tạo điều kiện thuận lợi cho q trình làm luận án Tơi xin gửi lời cảm ơn chân thành tới bạn đồng nghiệp phòng thí nghiệm Tương tác Người máy, Trường Đại học Cơng nghệ, Đại học Quốc gia Hà Nội, người bên tơi động viên, góp ý, chỉnh sửa q trình viết luận án Cuối cùng, tơi xin gửi lời cảm ơn sâu sắc tới gia đình bạn bè, người ủng hộ hỗ trợ mặt để yên tâm học tập, nghiên cứu, hoàn thành luận án i LỜI CAM ĐOAN Tôi xin cam đoan: Bản luận án tốt nghiệp cơng trình nghiên cứu thực cá nhân Các kết viết chung với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết nêu luận án trung thực chưa cơng bố hình thức trước trình, bảo vệ cơng nhận “Hội Đồng đánh giá luận án tốt nghiệp Tiến sĩ Công nghệ Thông Tin” Một lần nữa, xin khẳng định trung thực lời cam kết Tác giả: ii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vi DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ viii TĨM TẮT LUẬN ÁN 1 Giới thiệu 1.1 Đặt vấn đề 1.2 Bài toán cách giải 1.3 Cấu trúc luận án Cảm xúc thể cảm xúc cho nhân vật ảo 2.1 Nghiên cứu tâm lý học cảm xúc 10 2.2 Mối quan hệ cảm xúc kênh biểu cảm 14 2.2.1 Cảm xúc cử động khuôn mặt 15 2.2.2 Cảm xúc giọng nói 21 2.3 Cung cấp cảm xúc cho nhân vật ảo 24 2.4 Kết chương 25 iii Mơ hình thể cảm xúc khuôn mặt 27 3.1 Giới thiệu 27 3.2 Những nghiên cứu liên quan 29 3.3 Mơ hình tạo biểu cảm khn mặt thể trạng thái cảm xúc liên tục 35 3.3.1 Mơ hình đề xuất thứ 35 3.3.2 Mơ hình đề xuất thứ hai 38 3.4 Thực nghiệm đánh giá 50 3.5 Kết chương 61 Mơ hình thể cảm xúc giọng nói tiếng Việt 63 4.1 Giới thiệu 63 4.2 Những nghiên cứu liên quan 64 4.2.1 Các phương pháp tổng hợp tiếng nói có cảm xúc 64 4.2.2 Đặc trưng âm liên quan đến tiếng nói có cảm xúc 66 4.3 Trích đặc trưng âm liên quan tới tiếng nói tiếng Việt có cảm xúc 69 4.3.1 Cơ sở liệu 69 4.3.2 Giai đoạn trích đặc trưng âm 71 4.4 Tổng hợp tiếng nói tiếng Việt có cảm xúc 76 4.4.1 Xây dựng luật biến đổi tiếng nói tiếng Việt khơng cảm xúc thành tiếng nói có cảm xúc 76 4.4.2 Tiến trình tổng hợp tiếng nói có cảm xúc 78 4.5 Thực nghiệm đánh giá 80 4.6 Kết chương 86 Xây dựng khn mặt ba chiều nói tiếng Việt cho nhân vật ảo 87 5.1 Giới thiệu 87 5.2 Những nghiên cứu liên quan 88 5.3 Kiến trúc hệ thống 92 iv 5.3.1 Mô đun Tạo biểu cảm giọng điệu 94 5.3.2 Mô đun Tạo biểu cảm khuôn mặt 94 5.3.3 Mô đun Tổng hợp 95 5.4 Thực nghiệm đánh giá 97 5.5 Kết chương 101 KẾT LUẬN 103 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN 104 TÀI LIỆU THAM KHẢO 106 PHỤ LỤC 121 PHỤ LỤC 127 PHỤ LỤC 129 v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VIẾT TẮT: EFE (Emotional Facial Expression): Biểu cảm khuôn mặt thể cảm xúc ES (Emotional State): Trạng thái cảm xúc ESV (Emotional State Vector): Véc tơ trạng thái cảm xúc FMCV (Facial Muscle Contraction Level): Véc tơ mức co mặt FACS (Facial Action Coding System): Hệ mã hóa cử động khn mặt AU (Action Unit): Đơn vị cử động 3D (Three Dimensions) Ba chiều THUẬT NGỮ: Nhân vật ảo: Nhân vật hoạt hình ứng dụng giải trí, giáo dục, thương mại Embodied agent: Nhân vật ảo thể hình dáng người động vật Biểu cảm khn mặt: Một trạng thái khuôn mặt thể cảm xúc vi DANH MỤC CÁC BẢNG 3.1 Mơ tả sáu cảm xúc 42 3.2 Mơ tả đặc trưng khn mặt điển hình cho AU 44 3.3 Tóm tắt kết đánh giá tính thuyết phục nhân vật ảo việc tạo biểu cảm khuôn mặt 58 4.1 Kết nhận dạng sở liệu tiếng nói có cảm xúc 70 4.2 Biến đổi trung bình tham số âm bốn trạng thái cảm xúc so với trạng thái không cảm xúc 74 4.3 Biến đổi trung bình tham số âm bốn trạng thái cảm xúc so với trạng thái không cảm xúc mức âm tiết 75 4.4 Tóm tắt kết đánh giá tính thuyết phục nhân vật ảo việc tạo biểu cảm giọng điệu 84 5.1 Hệ mã hóa cử động khn mặt (FACS) 121 vii DANH MỤC CÁC HÌNH VẼ 1.1 Hai vợ chồng nhà “chằn tinh” Shrek 1.2 Mơ hình cung cấp cảm xúc cho nhân vật ảo 2.1 Quan điểm Ekman quan hệ cảm xúc biểu cảm 17 3.1 (a): Hàm thành viên cho cường độ cảm xúc (b): Hàm thành viên cho mức co [18] 34 3.2 Ví dụ minh họa chế mơ hình đề xuất thứ chuyển cường độ cảm xúc thành mức co 36 3.3 Mơ hình thứ chuyển trạng thái cảm xúc liên tục thành biểu cảm khuôn mặt 37 3.4 Hoạt động mô đun Lựa chọn chế độ biểu cảm mơ hình đề xuất thứ 38 3.5 Sơ đồ khối hệ thống phân tích cử động khuôn mặt thể cảm xúc 40 3.6 (a):Phát khuôn mặt (b): Các điểm đặc trưng khuôn mặt 41 3.7 Đánh số thứ tự điểm đặc trưng khuôn mặt 43 3.8 (a): Mẫu theo thời gian biểu cảm khuôn mặt thể cảm xúc vui cảm xúc buồn (b): Mẫu theo thời gian biểu cảm khuôn mặt thể cảm xúc sợ, giận, ngạc nhiên, khinh bỉ 45 3.9 Mẫu thực nghiệm mẫu so khớp theo thời gian AU25 người với cảm xúc ngạc nhiên 47 3.10 Mô hình thứ hai chuyển trạng thái cảm xúc liên tục thành biểu cảm khuôn mặt 48 3.11 Hoạt động mô đun Lựa chọn chế độ biểu cảm mơ hình đề xuất thứ hai 49 viii ... nhiều kênh biểu cảm khác Luận án chọn hai kênh biểu cảm khuôn mặt tiếng nói để giải tốn thể cảm xúc cho nhân vật ảo nói tiếng Việt Với kênh khuôn mặt, nghiên cứu biểu cảm khuôn mặt cho cảm xúc phổ... biến đổi tiếng nói tiếng Việt khơng cảm xúc thành tiếng nói có cảm xúc sử dụng tạo biểu cảm giọng nói cho nhân vật ảo nói tiếng Việt • Thứ ba, luận án xây dựng khn mặt ba chiều có khả thể cảm xúc... Nội dung luận án nghiên cứu tốn xây dựng khn mặt ba chiều nói tiếng Việt cho nhân vật ảo Cụ thể, luận án tập trung nghiên cứu số kỹ thuật thể cảm xúc cho nhân vật ảo nói tiếng Việt 1.2 Bài tốn