Header Page of 145 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐỖ PHÚC HẢO NGHIÊN CỨU PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG ẢNH XÂY DỰNG HỆ THỐNG PHỤC VỤ ĐIỂM DANH VÀ ĐÁNH GIÁ THÁI ĐỘ HỌC TẬP CỦA SINH VIÊN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 Khóa: K30 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2017 Footer Page of 145 Header Page of 145 Công trình hoàn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS PHẠM MINH TUẤN Phản biện 1: TS TRƯƠNG NGỌC CHÂU Phản biện 2: PGS.TS LÊ MẠNH THẠNH Luận văn bảo vệ Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ Kỹ thuật họp Đại học Đà Nẵng vào ngày 08/01/2017 Có thể tìm luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng trường Đại học Bách khoa - Thư viện khoa Công nghệ Thông tin, Trường Đại Học Bách khoa, ĐHĐN Footer Page of 145 Header Page of 145 MỞ ĐẦU Lý chọn đề tài Hiện nay, nhà nước trọng việc đổi “Căn toàn diện giáo dục”, cụ thể phương pháp giảng dạy quản lý giáo dục đào tạo, nên việc nghiên cứu ứng dụng kỹ thuật công nghệ thông tin giảng dạy học tập vấn đề thiết Đã có nhiều mô hình giảng dạy học tập kết hợp với e-learning, học trực tuyến đưa nhằm tăng chất lượng giáo dục Tuy nhiên, việc giảng dạy lớp học mô hình truyền thống thiếu Một vấn đề cấp thiết đưa việc nắm bắt tình hình học tập sinh viên lớp học trường đại học Thông thường, lớp học trường đại học thường có số lượng sinh viên tương đối lớn Giáo viên khó nắm bắt lực tình hình học tập sinh viên học phần đảm nhiệm Việc điểm danh buổi học giúp ích phần cho nhận biết sinh viên có học đặn hay không Tuy nhiên để nắm bắt sinh viên có thực tham gia vào giảng hay không việc khó khăn Ví dụ như, có sinh viên lúc tới lớp đặn làm việc riêng không tham gia nghe giảng tham gia hoạt động làm việc nhóm lớp học Nếu vào việc học chuyên cần sinh viên hoàn toàn đáp ứng việc tham gia vào giảng hoàn toàn không Nhiệm vụ giáo viên cần nhắc nhở tư vấn để sinh viên tham gia giảng cách tốt Chính vậy, hệ thống tự động nhận dạng khuôn mặt phân tích thái độ học tập sinh viên điều cần thiết Hiện nay, có nhiều phương pháp trích chọn đặc trưng Principal Component Analysis (PCA) [1], Multiple Discriminant Analysis (MDA) [2] kỹ thuật quan trọng lĩnh vực nghiên cứu học máy Đặc điểm trích chọn đặc trưng biến đổi liệu từ không gian phân lớp phức tạp sang không gian phân lớp dễ dàng Việc trích chọn đặc trưng trước vận dụng thuật toán học máy vào tăng kết phân lớp liệu lên nhiều Phương pháp Principal Component Regression (PCR) [3] tìm kiếm siêu mặt phẳng xấp xỉ mà liệu phân bố Vấn đề trường hợp liệu không phân bổ siêu mặt phẳng mà phân bổ siêu mặt cầu trường hợp đối tượng quay, phương pháp trích chọn đặc trưng PCR phân lớp với kết cao được Cho nên, đề tài tập trung vào nghiên cứu phương pháp trích chọn đặc trưng bẳng cách tìm kiếm Footer Page of 145 Header Page of 145 xấp xỉ siêu mặt cầu siêu mặt phẳng mà vừa khớp với tập liệu không gian Comformal Geometric Algebra (CGA) [4] Vì lý trên, đề xuất chọn đề tài luận văn cao học: “Nghiên cứu phương pháp trích chọn đặc trưng ảnh xây dựng hệ thống phục vụ điểm danh đánh giá thái độ học tập sinh viên” Ý nghĩa đề tài 2.1 Ý nghĩa khoa học Nghiên cứu sâu phương pháp trích xuất đặc trưng nhằm tăng hiệu cho toán nhận dạng, phân lớp liệu Kết mở kỹ thuật trích chọn đặc trưng cho nghiên cứu sau Ý nghĩa thực tiễn Đề xuất giải pháp góp phần tăng hiệu việc quản lý đào tạo sinh viên, nhằm nâng cao chất lượng sinh viên môi trường đại học Hỗ trợ giáo viên thay đổi phương pháp giảng dạy phù hợp nhắc nhở sinh viên lớp học phần 2.2 Mục tiêu nhiệm vụ 3.1 Mục tiêu Hỗ trợ cho giáo viên đánh giá sinh viên nâng cao chất lượng dạy học: - Tự động hóa việc điểm danh sinh viên lớp học Tự động đánh giá thái độ học tập sinh viên, từ đề xuất cho giáo viên thay đổi phương pháp giảng dạy nhắc nhở sinh viên học tập Mục tiêu đề tài nghiên cứu phương pháp trích chọn đặc trưng ảnh để nâng cao kết nhận dạng đánh giá thái độ học tập sinh viên lớp học phần cụ thể Để thoải mãn mục tiêu cần đạt chi tiết mục tiêu cụ thể sau: 3.2 - Ứng dụng đại số Clifford (Clifford Algebra) nhằm trích chọn đặc tính bất biến hình học nhận dạng đối tượng Xây dựng hệ thống phục vụ điểm danh đánh giá thái độ học tập sinh viên Nhiệm vụ Nghiên cứu phương pháp tiền xử lý ảnh & kỹ thuật xử lý liệu ma trận vector Footer Page of 145 Header Page of 145 - Nghiên cứu tổng quan không gian CGA [4] - Nghiên cứu trích chọn đặc trưng hình học - Các kỹ thuật biến đổi không gian - Ước lượng phân bổ liệu Đối tượng phạm vi nghiên cứu Trong khuôn khổ luận văn thuộc loại nghiên cứu xây dựng ứng dụng, nghiên cứu vấn đề sau: - Nghiên cứu phương pháp trích chọn đặc trưng hình học - Xây dựng kỹ thuật tiền xử lý ảnh & kỹ thuật tính toán vector ma trận Phương pháp nghiên cứu 5.1 Phương pháp lý thuyết - Tổng quan không gian CGA [4] - Nghiên cứu phương pháp trích chọn đặc trưng hình học - Nghiên cứu kỹ thuật biến đổi không gian - Xây dựng ước lượng phân bổ liệu 5.2 Phương pháp thực nghiệm - Xây dựng hệ thống web Java - Xây dựng phương pháp tiền xử lý liệu ảnh - Xây dựng công thức tính toán giá trị riêng vector riêng không gian CGA, kết hợp với kỹ thuật PCR để trích chọn đặc trưng, nhằm phân lớp liệu toán - Xây dựng toán phân lớp liệu dựa kỹ thuật bình phương tối thiểu để tính toán đặc trưng để định phân lớp - Xây dựng phương thức để tính toán liệu vector ma trận - Kiểm tra, thử nghiệm, nhận xét đánh giá kết Footer Page of 145 Header Page of 145 CHƯƠNG I: TỔNG QUAN NGHIÊN CỨU 1.1 NHẬN DẠNG MẶT NGƯỜI 1.1.1 Khái niệm nhận dạng mặt người 1.1.2 Các bước xây dựng hệ thống nhận dạng 1.2 HỌC MÁY 1.2.1 Khái niệm 1.2.2 Các phương pháp học máy 1.2.2.1 Học không giám sát 1.2.2.2 Học có giám sát 1.2.2.3 Học bán giám sát 1.2.2.4 Học tăng cường 1.2.3 Các mô hình học máy 1.2.4 Ứng dụng học máy 1.2.5 Thách thức hệ thống nhận dạng Hệ thống nhận dạng khuôn mặt [19] ứng dụng máy tính tự động xác định nhận dạng người từ hình ảnh kỹ thuật số khung hình video từ nguồn video Một cách để thực điều so sánh đặc điểm khuôn mặt chọn trước từ hình ảnh sở liệu khuôn mặt Hệ thống thường sử dụng hệ thống an ninh so sánh với dạng sinh trắc học khác hệ thống nhận dạng vân tay, hay tròng mắt Một vài thuật toán nhận dạng khuôn mặt xác định đặc điểm khuôn mặt cách trích xuất ranh giới, đặc điểm từ hình ảnh khuôn mặt đối tượng Ví dụ, thuật toán phân tích vị trí tương đối, kích thước hình dạng mắt, mũi , gò má cằm Những tính sau sử dụng để tìm kiếm hình ảnh khác với tính phù hợp Các thuật toán bình thường hóa sưu tập hình ảnh khuôn mặt sau nén liệu khuôn mặt, lưu liệu hình ảnh hữu ích cho việc nhận dạng khuôn mặt Các thuật toán nhận dạng chủ yếu chia thành hướng hình học, nhìn vào tính phân biệt, trắc quang (đo sáng) sử dụng phương pháp thống kê để “chưng cất” hình ảnh thành giá trị so sánh giá trị với mẫu để loại bỏ độ chênh lệch Các thuật toán nhận dạng phổ biến bao gồm Principal Component Analysis (Phép phân tích thành phần chính) sử dụng khuôn mặt riêng, Linear Footer Page of 145 Header Page of 145 Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph Matching sử dụng thuật toán Fisherface, mô hình Markov ẩn, Multilinear Subspace Learning (Luyện nhớ không gian đa tuyến) sử dụng đại diện căng, theo dõi liên kết động thần kinh Các điều kiện khác mà nhận dạng khuôn mặt không làm việc tốt bao gồm thiếu ánh sáng, đeo kính mát, tóc dài, đối tượng khác mà phần khuôn mặt bị che, hình ảnh độ phân giải thấp Một bất lợi nghiêm trọng nhiều hệ thống hiệu biểu khuôn mặt khác Ngay nụ cười lớn, làm cho hệ thống giảm tính hiệu Ví dụ: Canada cho phép biểu lộ nét mặt trung tính ảnh chụp hộ chiếu Nhận dạng khuôn mặt hoàn hảo khó khăn để thực điều kiện định Ralph Gross, nhà nghiên cứu Viện Mellon Robotics Carnegie, mô tả trở ngại liên quan đến góc nhìn khuôn mặt: "Nhận dạng khuôn mặt thực tốt phía mặt trước phía chênh lệch 20 độ, sau bạn phía góc khuất, có vấn đề Trong luận văn này, sử dụng phương pháp trích xuất đặc trưng phương pháp phân tích thành hồi quy thành phần (PCR[3]) để trích xuất đặc trưng, nhằm phân loại đối tượng với Các phương pháp truyền thống khó để phát đối tượng quay góc độ khác phân lớn sử dụng phương pháp học máy giám sát Điều không hợp với thực tế, chẳng hạn việc điểm danh sinh viên, liệu thay đổi theo thời gian, sử dụng phương pháp học tăng cường (tức vừa có giám sát, vừa không giám sát) Trong kết luận văn này, sử dụng kiến thức Đại số hình học bảo giác kết hợp với phương pháp trích xuất đặc trưng nhằm để nhận dạng tốt Bởi theo tảng toán Đại số hình học bảo giác cho rằng, hình ảnh góc quay khác đối tượng cụ thể phân bổ siêu mặt phẳng siêu mặt cấu định, từ nên việc phân loại nhận dạng đối tượng đạt hiệu tỉ lệ cao 1.3 KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG 1.3.1 Phân tích thành phần (PCA) PCA [1] phương pháp quan trọng việc trích xuất đặc trưng sử dụng rộng rãi lĩnh vực học máy Cho tập liệu dạng vector sau: 𝑋 = {𝒙𝑖 | 𝒙𝑖 ∈ 𝑹𝑑 }𝑛𝑖=1 (1) Footer Page of 145 Header Page of 145 Ở xi vector thứ i không gian d-chiều PCA kỹ thuật biến đổi tuyến tính để đẩy liệu vào hệ tọa độ Phép biến đổi tuyến tính định nghĩa tích vô hướng vector x vector đơn vị trọng số 𝒘 ∈ 𝑹𝑑 , ‖𝒘‖ = Và vấn đề tìm vector trọng số hiệp phương sai phép biến đổi tuyến tính 𝒘T 𝒙 lớn Có thể toán học hóa vấn đề sau: 𝑛 ∑(𝒘T 𝒙𝒊 − 𝒘T 𝜇)2 , 𝑠 𝑡 ‖𝒘‖2 = max 𝒘 𝑛 (2) 𝑖=1 Ở 𝑛 𝝁 = ∑ 𝒙𝑖 𝑛 (3) 𝑖=1 𝝁 trung bình tất vector tập liệu X Để giải tối ưu vấn đề này, luận văn giới thiệu hệ số Lagrange 𝜆 ≥ cho hàm Lagrange sau: 𝑛 𝐿(𝒘, 𝜆) = ∑(𝒘T 𝒙𝒊 − 𝒘T 𝝁)2 − 𝜆(‖𝒘‖2 − 1) 𝑛 (4) 𝑖=1 Sau đó, tính đạo hàm 𝐿(𝒘, 𝜆) với việc w tiến đến giá trị công thức sau: 𝑛 ∑(𝒙𝒊 − 𝝁)(𝒙𝒊 − 𝝁)T 𝒘 = 𝜆𝒘 n (5) 𝑖=1 Cho nên việc tối ưu vấn đề giải việc phân hủy eigen sau: 𝐶𝒘 = 𝜆𝒘, (6) Ở 𝑛 𝐶 = ∑(𝑥𝑖 − 𝜇)(𝑥𝑖 − 𝜇)T 𝑛 (7) 𝑖=1 C ma trận phương sai tập liệu X Cuối cùng, PCA sử dụng giảm số chiều liệu sử dụng k vector riêng (eigenvectors) Những vector tương ứng với giá trị riêng (eigenvalues) lớn Điều có nghĩa tập liệu gốc xấp xỉ liệu có số chiều tổng quan liệu gốc PCA sử dụng phương pháp trích chọn đặc trưng Đặc trưng 𝑓(𝑥) trích xuất từ vector x sử dụng k eigenvector sau: Footer Page of 145 Header Page of 145 𝑓𝑃𝐶𝐴 (𝒙) = ((𝒙 − 𝝁)T 𝒘𝟏 , … , (𝒙 − 𝝁)T 𝒘𝑘 )T 𝒘𝒊 vector riêng (eigenvector) thứ i, ≤ 𝑖 ≤ 𝑘 1.3.2 Phương pháp hồi quy thành phần (PCR) (8) PCR phương pháp phân tích hồi quy sử dụng PCA Đầu tiên, PCR tìm vector trọng số w theo hàm lỗi sau: 𝑛 𝐸 = ∑(𝒘T 𝒙𝒊 − 𝒘T 𝝁)2 𝑛 (9) 𝑖=1 E nhỏ Ở 𝒙𝑖 𝝁 vector thứ i vector trung bình tập liệu 𝑋 = {𝑥𝑖 | 𝑥𝑖 𝜖 𝑅𝑑 }𝑛𝑖=1 Việc tính toán để tìm vector trọng số w tương tự PCA, PCR sử dụng giá trị riêng (eigenvalues) nhỏ Sau đó, PCR biến đổi liệu x cách xóa l vector riêng (eigenvector) Phép biến đổi sau: 𝑓𝑃𝐶𝑅 (𝒙) = ((𝒙 − 𝝁)T 𝒘𝒍+𝟏 , … , (𝒙 − 𝝁)𝒘𝒎 )T (10) 𝑚 = min{𝑛 − 1, 𝑑 } mức độ tự tập liệu X Luận văn mô tả phương pháp phân lớ dựa PCR sau Đưa vào tập liệu: 𝑇 = {(𝒙𝑖 , 𝒚𝑖 )|𝒙𝒊 ∈ 𝑅𝑑 , 𝒚𝒊 ∈ 𝐶 = {1, … , 𝑐}}𝑛𝑖=1 (11) 𝒙𝒊 𝒚𝒊 vector thứ i nhãn tập liệu huấn luyện C tập nhãn tương ứng Đầu tiên, tính toán tất vector riêng (eigenvectors) cho tập hợp 𝑋𝑗 = {𝒙𝒊 ∈ 𝑅𝑑 |𝒚𝒊 = 𝑗; 𝑗 ∈ 𝐶 = {1, , 𝑐}} tìm phép biến đổi tương ứng với 𝑓𝑃𝐶𝑅;𝑗 (𝒙) Sau đó, vector x định nghĩa phân lớp đơn giản sau: 𝑗̂ = 𝑎𝑟𝑔 min‖𝑓𝑃𝐶𝑅;𝑗 (𝒙)‖ 𝒘 (12) Bởi đặc trưng PCR giả sử liệu phân bổ siêu mặt phẳng, ứng dụng vào trường hợp liệu phân bổ siêu mặt phẳng đối tượng quay Phương pháp trích xuất đặc trưng sử dụng PCR biểu diễn tốt liệu phân bổ siêu mặt phẳng, với liệu biểu diễn đối tượng quay phương pháp biểu diễn không tốt Trong luận này, sử dụng phương pháp nhận dạng đối tượng quay, luận văn đề xuất sử dụng kết hợp PCR CGA nhằm trích xuất liệu phân bổ Footer Page of 145 Header Page 10 of 145 siêu mặt cầu đối tượng quay Phương pháp đề xuất kết hợp PCR CGA trình bày chi tiết chương Footer Page 10 of 145 Header Page 13 of 145 Quá trình điều chỉnh kết tiến hành sau: Sau có kết tổng hợp phân tích hình ảnh ứng với buổi học, khoản thời gian định sinh viên quyền truy cập vào hệ thống để kiểm tra xem kết nhận dạng thân xác hay chưa Nếu sai sót xảy sinh viên quyền điều chỉnh lại nhận dạng thân Thông tin sinh viên sửa chửa hệ thống ghi nhận Sau sinh viên xác nhận thông tin nhận dạng thân, giảng viên truy cập vào hệ thống để kiểm tra nhận dạng sinh viên Nếu có sai sót, giảng viên chỉnh sửa nhận dạng tất sinh viên lớp Thông tin giảng viên ghi nhận hệ thống xem kết cuối Chi tiết trình: Quá trình chia thành hai giai đoạn cho sinh viên giáo viên Với giai đoạn thứ nhất, hình ảnh thu hiển thị cho sinh viên, sinh viên xem xét hình ảnh điều chỉnh sai sót Giai đoạn thứ hai, sau hết thời gian quy định hình ảnh kết điều chỉnh sinh viên tổng hợp hiển thị cho giảng viên Giảng viên tiến hành kiểm tra kết để tránh tình trạng sinh viên thực không xác Sinh viên vào học phần kiểm tra kết nhận dạng thân Nếu kết nhận dạng xác, sinh viên bấm vào nút xác nhận Nếu kết sai, tức nhận dạng sinh viên không xác sinh viên có học không nhận dạng kết quả, sinh viên bấm vào tùy chỉnh điều chỉnh lại vị trí ảnh lớp học, sau sinh viên bấm xác nhận Sau bấm xác nhận sinh viên điều chỉnh xác nhận chưa hết thời gian dành cho sinh viên, nhiên sinh viên xác nhận tối đa lần với ảnh Giảng viên vào học phần mà giảng dạy tiến hành kiểm tra kết điểm danh sinh viên Nếu nhận thấy kết tổng hợp nhờ nhận dạng xác nhận sinh viên xác, giảng viên bấm vào nút xác nhận Đối với sinh viên điểm danh sai giảng viên chỉnh sửa thông tin điểm danh sinh viên cách lựa chọn vào chỉnh sửa thông tin Ở có danh sách sinh viên học lớp, giảng viên lựa chọn sinh viên có vị trí sai chọn lại vị trí xác sinh viên Sau chỉnh sửa thông tin giảng viên bấm xác nhận để hoàn thành 2.1.3.3 Footer Page 13 of 145 Quá trình đánh giá thái độ sinh viên Header Page 14 of 145 Sau hệ thống nhận dạng đối tượng khuôn mặt sinh viên, sau đó, hệ thống cho phép xác định góc quay sinh viên, dựa vào phương pháp so khớp liệu so với tập liệu ban đầu Ở hình ảnh nhận dạng, có nhiều hình ảnh khuôn mặt nhiều sinnh viên, hệ thống xác định khuôn mặt quay theo hướng góc nào? Từ đó, xác định sinh viên có góc quay ngược với tập sinh viên lại, xác định sinh viên không ý giảng có ý tập trung giảng không? Việc xác định góc quay đối tượng tương đối phụ thuộc vào độ xác trình nhận dạng đối tượng Như trình bày, độ xác trình nhận dạng phụ thuộc vào tập liệu huấn luyện sau lần nhận dạng hệ thống Điều cho thấy việc quan việc nhận dạng đối tượng, đặc biệt đối tượng quay tập danh sách sinh viên lớp học phần 2.2 PHƯƠNG PHÁP ĐỀ XUẤT 2.2.1 Đại số hình học bảo giác (CGA) Đại số hình học bảo giác (CGA) [4] phần GA[4] GA định nghĩa không gian cách định nghĩa 𝑝 + 𝑞 vector sở vuông góc 𝒪 = {𝒆1 , … , 𝒆𝑝 , 𝒆𝑝+1 , … , 𝒆𝑝+𝑞 }, 𝒆2𝑖 = +1, ∀𝑖 ∈ {1, … , 𝑝} 𝒆2𝑖 = −1, ∀𝑖 ∈ {𝑝 + 1, … , 𝑞} Ở đây, ta ký hiệu không gian định nghĩa 𝒪 𝒢p, q Như không gian thực m chiều ℛ 𝑚 biểu diễn 𝒢m,0 GA Không gian CGA mở rộng từ không gian thực ℛ 𝑚 với việc thêm vector sở Do đó, không gian CGA xác định m + vector sở {𝒆1 , … , 𝒆𝑚 , 𝒆+ , 𝒆− }, 𝒆+ 𝒆− định nghĩa sau: 𝒆2+ = 𝒆+ ∙ 𝒆+ = 1, 𝒆2− = 𝒆− ∙ 𝒆− = −1, 𝒆+ ∙ 𝒆− = 𝒆+ ∙ 𝒆𝑖 = 𝒆− ∙ 𝒆𝑖 = 0, ∀𝑖 {1, … , 𝑚} ( 13 ) Do đó, không gian CGA được ký hiệu 𝒢𝑚+1,1 Ta định nghĩa thêm vector sở sau: 𝒆0 = (𝒆− − 𝒆+ ), 𝒆∞ = (𝒆− + 𝒆+ ) Từ (13) (14) ta có 𝒆0 𝒆0 = 𝒆∞ 𝒆∞ = 0, 𝒆0 𝒆∞ = 𝒆∞ 𝒆0 = −1, Footer Page 14 of 145 (14) Header Page 15 of 145 𝒆0 𝒆𝑖 = 𝒆∞ 𝒆𝑖 = 0, ∀𝑖 ∈ {1, … , 𝑚} (15) 𝑚 Theo đề xuất Hestenes [7], vector thực 𝒙 = ∑𝑚 𝑖 𝒙𝑖 𝒆𝑖 ∈ ℛ biểu diễn điểm 𝑃 ∈ 𝒢𝑚+1,1 không gian CGA sau: 𝑃 = 𝒙 + ‖𝒙‖2 𝒆∞ + 𝒆0 (16) Một hình cầu biểu diễn vector bảo giác (conformal vector) không gian CGA: 1 2 S = 𝑃 − 𝑟 𝒆∞ = 𝒙 + {‖𝒙‖2 − 𝑟 }𝒆∞ + 𝒆0 , (17) Ở S biểu diễn mặt cầu có tâm 𝒙, bán kính 𝑟 không gian thực ℛ 𝑚 Khi nội tích (inner product) 𝑆 ∙ 𝑄 = 0, Q điểm nằm mặt cầu 𝑆 Từ (16) (17), ta nhận thấy điểm hình cầu với bán kính 𝑟 = không gian CGA 𝒢𝑚+1,1 Một vector bảo giác 𝑆 𝒢𝑛+1,1 viết dạng tổng quát: 𝑆 = 𝒔 + 𝑠∞ 𝒆∞ + 𝑠0 𝒆0 (18) 𝑚 𝒔 = ∑𝑚 𝑖 𝑠𝑖 𝒆𝑖 vector không gian thực ℛ 𝑠∞ 𝑣à 𝑠0 tham số vector sở 𝒆∞ 𝑣à 𝒆0 Trong luận văn này, sử dụng tích vô hướng điểm P với vector bảo giác S làm khoảng cách chúng Từ công thức (15), (16) (18), ta tính khoảng cách sau: 𝑑 (𝑃, 𝑆) = = (𝒙 + = 𝒙 𝒔 − 𝑠∞ − ‖𝒙‖2 𝒆∞ + 𝒆0 ) (𝒔 + 𝑠∞ 𝒆∞ + 𝑠0 𝒆0 ) ‖𝒙‖2 𝑠0 (19) Khi d(P,S) = 0, ta có 𝒙 𝒔 − 𝑠∞ − ⟺ { Footer Page 15 of 145 ‖𝒙‖2 𝑠0 = 𝒙 𝒔 − 𝑠∞ = ‖𝒙 − 𝑠0 𝒔‖ = (𝑠0 = ) ‖𝒔‖2 −2𝑠0 𝑠∞ 𝑠02 (𝑠0 ≠ 0) (20) Header Page 16 of 145 Theo (20) d(P,S) = điểm P nằm siêu mặt phẳng (s0 = 0) nằm siêu mặt cầu (s0 ≠ 0) thể vector bảo giác S không gian CGA Ở đây, sử dụng đặc trưng để đề xuất phương pháp hồi quy 2.2.2 Phương pháp trích chọn đặc trưng dựa Đại số hình học bảo giác (CGA) Trong giải pháp đề xuất này, liệu đối tượng quay biểu diễn siêu mặt cầu, việc sử dụng tí phương pháp trích chọn đặc trưng PCR có kết thấp, phương pháp PCR trích chọn đặc trưng tốt tập liệu phân bổ chủ yếu siêu mặt phẳng Nên phần này, đưa phương pháp đề xuất kết hợp kỹ thuật PCR với Đại số hình học bảo giác để trích chọn đặc trưng đối tượng quay có phân bổ liệu chủ yếu siêu mặt cầu Điều cho kết nhận dạng đối tượng cao so với việc sử dụng kỹ thuật PCR tí Trong phần này, đề xuất phương pháp phân loại sử dụng CGA, đưa vào tập huấn luyện 𝑇 = {(𝒙𝒊 , 𝒚𝒊 )| 𝒙𝒊 ∈ 𝑅𝑑 , 𝒚𝒊 ∈ 𝐶 = {1, … , 𝑐}}𝑛𝑖=1 (21) Khi yi nhãn vector xi không gian Rd Ta tách rời tập huấn luyện thành c tập con, tập định nghĩa sau: 𝑋𝑗 = {𝒙𝒊 ∈ 𝑅𝑑 |𝒚𝒊 = 𝑗; 𝑗 ∈ {1, … , 𝑐}} (22) Đầu tiên, phương pháp đề xuất biến đổi d-chiều vector tập thành điểm không gian CGA Từ công thức (16), trình bày lại theo tập sau: 𝑃𝑗 = {𝑃𝑖 = 𝒙𝒊 + ‖𝒙‖2 𝒆∞ + 𝒆0 ∈ 𝒢𝑑+1,1 | 𝒚𝒊 = 𝑗; 𝑗 ∈ 𝐶 = {1, … , 𝑐}} (23) Sau đó, định nghĩa hàm lỗi Ej cho tập thứ j sau: 𝐸𝑗 = ∑ 𝑑 (𝑃𝑖 , 𝑆𝑗 ) 𝑦𝑖 =𝑗 = ∑ ( 𝒙𝑖 𝑠𝑗 − 𝑠∞𝑗 − 𝑦𝑖 =𝑗 (24) ‖𝒙𝑖 ‖2 𝑠0𝑗 )2 Từ công thức (20) thấy bề mặt siêu mặt phẳng siêu mặt cầu không thay đổi nhân thêm hệ số Điều có nghĩa tối thiểu Footer Page 16 of 145 Header Page 17 of 145 hóa hàm lỗi Ej, giá trị sj giới hạn ‖𝑠𝑗 ‖ = Trong trường hợp này, toán trở thành tìm cực tiểu hàm sau: 𝑚𝑖𝑛 ∑ ( 𝒙𝑖 𝒔𝒋 − 𝑠∞𝑗 − ‖𝒙𝑖 ‖2 𝑠0𝑗 )2 (25) 𝑦𝑖 =𝑗 Với điều kiện là: ‖𝑠𝑗 ‖ = (26) Kết tối ưu để giải vấn đề đề xuất Pham[8] Vấn đề tối ưu giải việc phân hủy eigen sau: 𝑨𝑗 𝒔𝒋 = 𝜆𝑗 𝒔𝒋 (27) Aj ma trận phương sai tập huấn luyện thứ j không gian CGA 𝑛 𝑨𝑗 = ∑ 𝑦𝑖 =𝑗 𝒇𝒋 (𝒙𝒊 )𝒇T (𝒙𝒊 ) Hàm fj(x) định nghĩa sau: 𝒇𝑗 (𝒙) = 𝒙 − 𝒇∞𝑗 − ‖𝒙‖2 𝒇𝟎𝒋 ∈ 𝑹𝑑 − ∑4𝑗 ∑𝑦𝑖 =𝑗(𝒙𝒊 ) + ∑2𝑗 ∑𝑦𝑖 =𝑗(‖𝒙𝒊 ‖2 𝒙𝒊 ) 𝒇∞ = (∑2𝑗 )2 − 𝑛𝑗 ∑4𝑗 ∑2𝑗 ∑𝑦𝑖=𝑗(𝒙𝒊 ) − 𝑛𝑗 ∑𝑦𝑖=𝑗(‖𝒙𝒊 ‖2 𝒙𝒊 ) 𝒇0 = (∑2𝑗 )2 − 𝑛𝑗 ∑4𝑗 (28) (29) (30) (31) Trong tổng bình phương ∑2𝑗 = ∑𝑦𝑖 =𝑗(‖𝒙𝑖 ‖2 ) tổng mũ bốn ∑4𝑗 = ∑𝑦𝑖 =𝑗(‖𝒙𝒊 ‖4 ) 𝑛𝑗 = ∑𝑦𝑖 =𝑗 số phần từ vector tập Xj Một eigen vetor sj vector eigen bảo giác tập Xj định nghĩa siêu mặt cầu (-mặt phẳng) 𝑆𝑗 = 𝒔𝒋 + 𝑠∞𝑗 𝒆∞ + 𝑠0𝑗 𝒆0 giá trị riêng 𝜆𝑗 phương sai Một vector riêng (eigen vector) vector bảo giác riêng định nghĩa siêu hình cầu 𝑆 = 𝒔 + 𝑠∞ 𝒆∞ + 𝑠0 𝒆0 giá trị riêng phương sai với khoảng cách bình phương khoảng cách Pk S Các ước tính siêu mặt cầu siêu mặt phẳng khớp với tập liệu giá trị riêng 𝛾 Bởi có d giá trị riêng liệu gốc biểu diễn không gian d chiều, tìm d phương án cho vector bảo giác Sj1, …, Sjd cho tập Xj Footer Page 17 of 145 Header Page 18 of 145 Phép biến đổi phương pháp đề xuất xóa bỏ l vecotr riêng (eigenvector), với 𝑃 = 𝒙 + ‖𝒙‖2 𝒆∞ + 𝒆0 ∈ 𝒢𝑛+1,1 , 𝒇𝑪𝑮𝑨;𝒋 (𝒙) = (𝑃 𝑆𝑗,𝑙+1 , … , 𝑃 𝑆𝑗,𝑚𝑗 )𝐓 (32) Ở 𝑚 = min{𝑛 − 1, 𝑑 } mức độ tự tập Xj Sau đó, vector x định nghĩa phân lớp đơn giản sau: 𝑗̂ = 𝑎𝑟𝑔 min‖𝒇𝐶𝐺𝐴;𝑗 (𝒙)‖ 𝒘 (33) Trong trình thực nghiệm, sử dụng công thức (33) để phân lớp đối tượng, đồng thời sử dụng hai phương pháp PCR PCR-CGA (phương pháp kết hợp PCR CGA) để thực nghiệm so sánh kết với dựa vào tập liệu khác (sử dụng tập đối tượng thực nghiệm ảnh quay 3D [20] thực nghiệm ảnh khuôn mặt 2D [10]) Trong trình để nhận dạng đối tượng, chuyển liệu ảnh màu sang ảnh màu xám, từ có ma trận pixel ảnh Sau đó, xây dựng vector đặc trưng ảnh từ ma trận ảnh ban đầu Với vector đặc trưng ảnh, sử dụng công thức (12) phương pháp PCR sử dụng công thực (33) phương pháp PCR-CGA để nhận dạng đối tượng Dữ liệu ảnh đưa vào chuẩn hóa kích thướt tương tự nhau, cho phép lấy pixel xám ảnh Với phương pháp sử dụng có độ xác tập ảnh ban đầu Một vài kết thực nghiệm biểu diễn chi tiết phần chương 3, kết thực nghiệm thực nghiệm với tập liệu 3D tập liệu 2D Chi tiết cụ thể trình thực nghiệm biểu diễn chương Footer Page 18 of 145 Header Page 19 of 145 CHƯƠNG III: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 MÔI TRƯỜNG THỰC NGHIỆM 3.1.1 Dữ liệu sử dụng 3.1.1.1 Dữ liệu quay 3D 3.1.1.2 Dữ liệu khuôn mặt 2D 3.1.2 Môi trường triển khai 3.2 CÁC GIAI ĐOẠN THỰC NGHIỆM 3.2.1 So sánh kết PCR phương pháp PCR-CGA 3.2.1.1 Thực nghiệm với tập liệu 3D Trong thực nghiệm này, luận văn sử dụng đối tượng, đối tượng gồm có 72 hình ảnh, tập liệu (tập huyện luyện tập test) gồm có 36 hình ảnh đối tượng Đầu tiên, tập trung vào phân bổ liệu sau sử dụng phương pháp biến đổi PCR phương pháp PCR-CGA Xem xét kết phân bố liệu tập liệu sử dụng phương pháp PCR (hình 3.5) phân bổ tập liệu dựa CGA (hình 3.6) - - Ta thấy, có khác biệt lớn, phương pháp PCR liệu object other phân bổ trộn lẫn gần với Object1, việc phát đối tượng bị nhầm lẫn với Còn với phương pháp dựa CGA, liệu object other phân bố xa gần hoàn toán với Object1, nên việc phân loại đối tượng tốt hiệu Tiếp theo, sử dụng toàn thành phần phân tích để thực phương pháp trích xuất đặc trưng Trong luận văn này, định nghĩa hàm để đánh giá dựa khoảng cách trung bình Mahalanobis [22] sau: 𝑐 𝑀𝑘 (𝑥) = ∑ √ 𝑐 𝑖=1 ∑ 𝑥 𝜖 𝑋𝑗,𝑡𝑒𝑠𝑡 | 𝑗 ≠𝑖 𝑓𝑖𝑘2 (𝑥) 𝜆𝑘 ‖𝑋𝑗,𝑡𝑒𝑠𝑡 ‖ (34) Trong đó, Xtest Xj, test tập test tập gồm đối tượng thứ j fik(x) thành phần thứ k x trích xuất phương pháp đề xuất dựa tập huấn luyện Xi, train Giá trị Mk(x) biểu diễn giá trị phân lớp thành phần phần thứ k Footer Page 19 of 145 Header Page 20 of 145 Hình 3.5: Dữ liệu phân bổ PCR Giá trị khoảng cách trung bình theo khoảng cách (24) cho liệu gốc hai phương pháp PCR phương pháp đề xuất PCR-CGA biểu diễn hình 3.7 Do có vài đối tượng góc quay khác giống nhau, nên việc phân bổ liệu chưa rõ ràng tỉ lệ nhận dạng phương pháp chưa đạt tỉ lệ tốt Footer Page 20 of 145 Header Page 21 of 145 Hình 3.6: Dữ liệu phân bổ CGA-PCR Hình 3.7: Khoảng cách Mahalanobis liệu theo thành phần k Hình 3.8 biểu diễn giá trị trung bình độ lệch chuẩn phân lớp tập test sử dụng phương pháp trích xuất đặc trưng PCA phương pháp trích xuất đặc trưng Footer Page 21 of 145 Header Page 22 of 145 CGA Bởi giá trị trung bình khoảng cách liệu gốc biểu diễn tương ứng thành phần giá trị eigenvalues lớn nhỏ, kết trình phân lớp sử dụng giá trị eigen lớn không tốt Kết tốt sử dụng PCA 0.125 CGA 0.49 Ở hình 3.9, biểu diễn trung bình độ lệch chuẩn giá trị xác tập test sử dụng PCR sử dụng kết hợp PCR-CGA Kết cao 0.90 cao nhiều so với phương pháp PCR (0.75) Hình 3.8: Trung bình độ lệch chuẩn độ xác phân lớp sử dụng PCA CGA-PCA Kết phương pháp này, accepted hội nghị wcci2016[9] đăng tải lên IEEE[21] Footer Page 22 of 145 Header Page 23 of 145 Hình 3.9: Trung bình độ lệch chuẩn độ xác phân lớp sử dụng PCR CGA-PCR 3.2.1.2 Thực nghiệm với tập liệu 2D Trong thực nghiệm này, luận văn sử dụng tập liệu robotics[10] Dữ liệu hình ảnh nhiều đối tượng, đối tượng gồm tập hình ảnh góc quay khác nhau, đối tượng có 74 hình chụp tương ứng với nhiều góc quay Kích thước hình 128x128, hình quay khác 50, đó, sử dụng 37 hình dùng để huấn luyện mô hình 37 hình lại để kiểm thử mô hình Tôi sử dụng hai phương pháp trích chọn đặc trưng PCR phương pháp PCR-CGA để phân lớp nhận dạng đối tượng, kết biểu diễn ma trận phân bổ kết hình 3.10 hình 3.11 Footer Page 23 of 145 Header Page 24 of 145 Hình 3.10: Ma trận kết sử dụng PCR Hình 3.11: Ma trận kết sử dụng CGA-PCR Từ kết phân bố hình 3.10 hình 3.11, thấy kết việc nhận dạng sử dụng đại số hình học bảo giác cao nhiều so với phương pháp trích chọn đặc trưng thông thường sử dụng PCR tý Ứng dụng phương pháp đề xuất để xây dựng hệ thống nhận dạng đối tượng quay tăng kết tỷ lệ nhận dạng lên nhiều Kết trung bình trình nhận dạng đối tượng 2D 0.50 phương pháp trích chọn đặc trưng PCR Còn phương pháp sử dụng kết hợp PCR-CGA cao (0.70) 3.2.2 Kết xây dựng hệ thống 3.2.2.1 Giới thiệu chương trình 3.2.2.2 Giao diện chương trình 3.2.2.2.1 Đăng nhập Footer Page 24 of 145 Header Page 25 of 145 3.2.2.2.2 Lấy Token Key từ Server Box 3.2.2.2.3 Tạo file cho hệ thống xác nhận token 3.2.2.2.4 Thông tin tài khoản giáo viên 3.2.2.2.5 Thông tin tài khoản sinh viên 3.2.2.2.6 Thông tin học phần sinh viên 3.2.2.2.7 Giao diện giáo viên 3.2.2.2.8 Giao diện upload giáo viên 3.2.2.2.9 Giao diện danh sách hình ảnh sinh viên học phần 3.2.2.2.10 Giao diện xác nhận hình sinh viên 3.2.2.2.11 Giao diện giáo viên sau sinh viên xác nhận 3.2.2.2.12 Dữ liệu lưu Box server 3.2.2.2.13 Luồng chi tiết giao diện hệ thống 3.2.2.2.14 Giao diện giáo viên dùng để đánh giá thái độ sinh viên 3.2.2.3 Kết thực nghiệm ảnh thực tế 3.3 ĐÁNH GIÁ 3.3.1 Về lý thuyết Đã trình bày đầy đủ học máy kỹ thuật để xây dựng mô hình học máy Khái quát hóa đầy đủ hệ thống nhận dạng đối tượng Tìm hiểu phương pháp trích chọn đặc trưng PCA, đồng thời sử dụng kết hợp với kỹ thuật PCR để trích chọn đặc trưng tốt cách loại bỏ đặc trưng không tốt Thao tác với đối tượng vector, tính toán làm việc với vector ma trận ảnh đối tượng sử dụng kỹ thuật cắt xây dựng tập ảnh huấn luyện từ liệu ảnh local Đã bước đầu tìm hiểu CGA kết hợp với phương pháp trích chọn đặc trưng PCR nhằm xây dựng vector đặc trưng tốt cho việc nhận dạng đối tượng quay góc khác 3.3.2 Về cài đặt Sử dụng thành thạo ngôn ngữ lập trình java xây dựng hệ thống web sử dụng code (jsp servlet), đồng thời sử dụng thành thạo Api Box server Vận dụng lý thuyết tảng CGA để xây dựng mô hình nhận dạng đối tượng dựa việc rút trích lựa chọn đặc trưng cho đối tượng 3.3.3 Về thực nghiệm Footer Page 25 of 145 Header Page 26 of 145 So sánh kết nhận dạng dựa vào phương pháp tí trích chọn đặc trưng vector (PCR) sử dụng phương pháp đề xuất (bằng cách kết hợp PCR với tảng lý thuyết CGA) Kết nhận dạng phương pháp đề xuất (kết hợp PCR với CGA) có tỷ lệ nhận dạng cao trình bày chi tiết phần (3.2) Hệ thống cho phép nhận dạng đối tượng nhiều góc độ khác với tỷ lệ xác ngày cải thiện, nhờ vào phương pháp học tăng cường, điều có nghĩa liệu tập huấn luyện ngày bổ sung, nên kết nhận dạng cải thiện rõ ràng sau tập huấn luyện nhiều đầy đủ Hệ thống đánh giá thái độ học tập dựa vào góc nhìn sinh viên ảnh Từ đó, xác định trọng tâm lớp học, đồng thời xác định rõ sinh viên không tập trung học Như trình bày chi tiết phần thái độ học tập sinh viên, kết đánh giá góc nhìn sinh viên dựa nhiều vào thu thập liệu nên chưa cao Giả sử với góc nhìn xác định kết thu nhờ việc đánh giá vị trí trung tâm vị trí đứng giảng viên mang lại kết tương đối 3.4 KẾT LUẬN 3.4.1 Đã làm Bước đầu xây dựng mô hình huấn luyện để nhận dạng đối tượng cách sử dụng kỹ thuật phân tích liệu PCR kỹ thuật đề xuất PCR-CGA Xây dựng hệ thống đánh giá thái độ sinh viên dựa vào góc nhìn sinh viên ảnh Kết trình phụ thuộc nhiều vào trình thu thập phát góc quay hình khuôn mặt hình lớp học Nghiên cứu lý thuyết CGA nhận dạng đối tượng quay chuyển động 3D không gian, xuất báo liên quan đến mảng kiến thức (đã accepted) [9, 23] 3.4.2 Các vấn đề cần cải thiện Hiện tại, chưa có phương pháp phát đối tượng khuôn mặt với nhiều góc quay đủ tốt, nên trình thực nghiệm, luận văn sử dụng với tập ảnh biết trước tọa độ khuôn mặt đâu hình lớn Vấn đề vấn đối tượng khuôn mặt hình ảnh quay nhiều góc độ cần nghiên cứu phát triển 3.4.3 Hướng phát triển Footer Page 26 of 145 Header Page 27 of 145 Thuật toán để phát khuôn mặt hay dùng OpenCV, kế thừa từ thuật toán Violajones [2001], với thuật toán ảnh quay kết phát khuôn mặt thấp, nghiên cứu kết hợp để xây dựng mô hình phát khuôn mặt quay cải thiện tốt Footer Page 27 of 145 ... danh sinh viên Nếu nhận thấy kết tổng hợp nhờ nhận dạng xác nhận sinh viên xác, giảng viên bấm vào nút xác nhận Đối với sinh viên điểm danh sai giảng viên chỉnh sửa thông tin điểm danh sinh viên. .. cho giáo viên đánh giá sinh viên nâng cao chất lượng dạy học: - Tự động hóa việc điểm danh sinh viên lớp học Tự động đánh giá thái độ học tập sinh viên, từ đề xuất cho giáo viên thay đổi phương. .. xác, sinh viên bấm vào nút xác nhận Nếu kết sai, tức nhận dạng sinh viên không xác sinh viên có học không nhận dạng kết quả, sinh viên bấm vào tùy chỉnh điều chỉnh lại vị trí ảnh lớp học, sau sinh