ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Ma Thị Châu NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHÔI PHỤC MẶT NGƯỜI BA CHIỀU TỪ SỌ Chuyên ngành: Khoa học máy tính Mã số: 62 48 01 01 TÓM TẮT LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN Hà Nội, năm 2013 Công trình hoàn thành Người hướng dẫn khoa học: PGS TS Bùi Thế Duy GS TS Tae Wan Kim Phản biện 1: PGS TS Dương Anh Đức Trường Đại học Công nghệ thông tin, ĐHQG TP HCM Phản biện 2: PGS TS Hồ Cẩm Hà Trường Đại học Sư phạm Hà Nội Phản biện 3: GS TS Vũ Đức Thi Viện Công nghệ thông tin, Viện Hàn lâm KH&CN VN Luận án bảo vệ trước Hội đồng cấp Đại học Quốc gia chấm luận án tiến sĩ họp vào hồi ngày tháng năm Có thể tìm luận án tại: - Thư viện Quốc gia Việt Nam - Trung tâm thông tin – thư viện, Đại học Quốc gia Hà Nội MỞ ĐẦU Luận án nghiên cứu dựng khuôn mặt ba chiều từ hộp sọ dựa độ dày mô mềm Cách tiếp cận tận dụng hỗ trợ máy tính việc thống kê đo đạc thông tin liên quan độ dày mô mềm, số đo sọ Trong luận án, đề xuất ba thuật toán liên quan đến dựng khuôn mặt ba chiều từ hộp sọ sau: Thứ nhất, đề xuất dựng thuật toán dựng mô hình ba chiều sọ từ ảnh hai chiều điều chỉnh lỗi trượt phát sinh để tăng độ xác mô hình ba chiều sọ kết Thứ hai, đề xuất thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Trong kết hợp biến đổi mô hình ba chiều khuôn mặt mẫu mạng hàm bán kính sở (Radial Basis Function – RBF), ước lượng độ dày mô mềm từ số đo sọ nội suy thêm độ dày mô mềm Cuối cùng, đề xuất thuật toán trích chọn đặc trưng cạnh góc tự động mô hình ba chiều sọ Thuật toán kết hợp phân đoạn liệu mô hình ba chiều sọ phép nhân chập CHƯƠNG TỔNG QUAN 1.1 Bài toán cách giải Bài toán dựng khuôn mặt ba chiều từ hộp sọ có đầu vào hộp sọ; đầu mô hình ba chiều khuôn mặt phù hợp với hộp sọ Hộp sọ mô thành mô hình ba chiều sọ Sau đó, dựng khuôn mặt dựa giải phẫu dựa độ dày mô mềm Phương pháp dựa giải phẫu yêu cầu hiểu biết giải phẫu sinh học khuôn mặt Với phương pháp thứ hai, thông tin độ dày mô mềm phải cung cấp Trong luận án, nghiên cứu dựng lại mô hình ba chiều khuôn mặt từ hộp sọ dựa độ dày mô mềm với trợ giúp máy tính Chúng định nghĩa Hộp sọ hộp sọ thật khai quật Mô hình ba chiều sọ mô hình ba chiều bề mặt hộp sọ dạng lưới đa giác Mô hình ba chiều khuôn mặt mô hình ba chiều bề mặt khuôn mặt dạng lưới đa giác Bài toán dựng mô hình ba chiều khuôn mặt từ hộp sọ dựa vào thông tin mô mềm giải sau (Hình 1.1): Hộp sọ số hóa thành mô hình ba chiều sọ Trên mô hình này, người ta xác định số mốc mà biết độ dày mô mềm Tại mốc, gắn lên kim có độ dài độ dày mô mềm Cuối cùng, dùng khuôn mặt mẫu biến đổi, chạm vào kim tạo diện mạo khuôn mặt Trong nghiên cứu trước, liệu sọ số hóa dạng quét Việc quét sọ không dễ dàng chi phí việc bảo đảm trường Dữ liệu mô mềm tính trung bình từ CSDL mô mềm nhóm người với số lượng hạn chế Do vậy, khuôn mặt kết chưa xác Độ xác mốc mô hình ba chiều sọ phụ thuộc vào kinh nghiệm chủ quan người đánh dấu Hình 1.1 Qui trình tái tạo khuôn mặt ba chiều từ hộp sọ Trong luận án này, đưa ba thuật toán góp phần giải vấn đề Thứ nhất, đề xuất thuật toán dựng mô hình ba chiều sọ từ ảnh sử dụng giải pháp điều chỉnh đặc trưng ba chiều nhằm khắc phục lỗi trượt mô hình ba chiều sọ dựng lại Thứ hai, để nâng cao độ xác khuôn mặt dựng lại, đưa thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Thuật toán kết hợp việc xác định độ dày mô mềm từ số đo sọ, mô mềm nội suy biến đổi mô hình ba chiều khuôn mặt mẫu dùng mạng RBF Thứ ba, để hạn chế lỗi chủ quan tăng số lượng điểm đặc trưng, đưa thuật toán trích chọn đặc trưng tự động mô hình ba chiều sọ 1.2 Cấu trúc luận án Phần lại luận án tổ chức sau Chương trình bày cách tiếp cận khác khôi phục mặt người từ hộp sọ Sau trình bày dạng mô hình hóa bề mặt khuôn mặt ba chiều sọ số hóa Trong chương 3, đề xuất thuật toán dựng lại mô hình ba chiều sọ từ ảnh dùng giải pháp điều chỉnh điểm đặc trưng ba chiều để nâng cao độ xác kết Chúng phân tích sai số phát sinh chụp ảnh quanh sọ Từ đó, giải pháp tăng cường độ xác mô hình ba chiều sọ việc điều chỉnh điểm đặc trưng đưa Trong chương 4, đề xuất thuật toán kết hợp dùng độ dày mô mềm tính từ số đo sọ, mô mềm nội suy biến đổi mô hình ba chiều khuôn mặt mẫu mạng hàm bán kính sở để hạn chế sai số mô hình ba chiều khuôn mặt kết Những vị trí nội suy thêm mô mềm vị trí có độ dày mô mềm chưa tính toán từ số đo hộp sọ chưa thống kê đo đạc Trong chương 5, đưa thuật toán trích chọn đặc trưng dạng điểm cạnh điểm góc mô hình ba chiều sọ Để trích chọn đặc trưng cạnh góc, kết hợp kỹ thuật phân đoạn liệu phép nhân chập để tăng hiệu thuật toán Trong chương 6, nêu kết nghiên cứu bàn luận CHƯƠNG KIẾN THỨC CƠ BẢN VỀ DỰNG KHUÔN MẶT TỪ HỘP SỌ Trong chương này, trình bày vấn đề liên quan đến dựng mô hình ba chiều khuôn mặt từ hộp sọ Chúng trình bày cách tiếp cận khác khôi phục mặt người từ hộp sọ Sau trình bày dạng mô hình hóa bề mặt khuôn mặt ba chiều sọ số hóa 2.1 Các cách tiếp cận dựng khuôn mặt từ hộp sọ 2.1.1 Dựng thủ công khuôn mặt từ hộp sọ Dựng thủ công khuôn mặt từ hộp sọ thực sau Người ta nặn sọ thạch cao đất sét Các chốt gỗ cắt với độ dài độ dày mô mềm số mốc nhân trắc gắn lên sọ Sau đó, đắp thạch cao đất sét lên sọ cho khớp với chốt 2.1.2 Dựng khuôn mặt từ hộp sọvới trợ giúp máy tính Người ta dùng ảnh hai chiều video khuôn mặt lên hộp sọ để xác định xem khuôn mặt hộp sọ có phải người hay không Trong trường hợp có có hộp sọ, người ta xây dựng mô hình ba chiều sọ Sau đó, tiến hành phục dựng mô hình ba chiều khuôn mặt theo hai phương pháp: giải phẫu dựa độ dày mô mềm Với phương pháp thứ nhất, mô hình ba chiều sọ bao phủ lớp cơ, tuyến lớp sụn, cuối lớp da tạo nên hình dáng khuôn mặt Với phương pháp thứ hai, xác định số mốc mô hình ba chiều sọ xác định độ dày mô mềm Dùng mô hình ba chiều khuôn mặt mẫu biến đổi cho khớp với mô hình ba chiều sọ dựa độ dày mô mềm 2.2 Biểu diễn mô hình ba chiều khuôn mặt sọ Để mô hình hóa bề mặt khuôn mặt người ta dùng lưới đa giác bề mặt tham số 2.2.1 Mô hình hóa bề mặt khuôn mặt lưới đa giác Xấp xỉ bề mặt khuôn mặt lưới đa giác có nhiều ưu điểm Xử lý bề mặt đa giacs cắt xén khung nhìn, xác định bề mặt ẩn, tô màu, tạo bóng dễ dàng thực thuật toán đồ họa máy tính hiệu 2.2.2 Mô hình hóa bề mặt khuôn mặt bề mặt tham số Xấp xỉ bề mặt khuôn mặt bề mặt tham số cần điểm liệu trơn nhẵn so với biểu diễn đa giác Tuy nhiên thuật toán loại bỏ mặt ẩn không hiệu Hơn chi phí tính toán cho thuật toán bề mặt tham số cao Trong nghiên cứu mình, dùng lưới tam giác để biểu diễn mô hình ba chiểu sọ khuôn mặt Ngoài ưu điểm lưới đa giác nêu trên, biểu diễn lưới đa giác dễ dàng mô tả vùng bề mặt không giống Ví dụ, vùng miệng, vùng mắt phức tạp hơn, dùng nhiều tam giác hơn, vùng má ta giảm số lượng tam giác CHƯƠNG DỰNG MÔ HÌNH BA CHIỀU CỦA SỌ TỪ ẢNH Thông thường để có liệu số hóa ba chiều hộp sọ, người ta dùng máy quét ba chiều Tuy nhiên, máy quét ba chiều có chi phí cao không thuận tiện để mang trường Trong chương này, đề xuất thuật toán dựng mô hình ba chiều sọ từ ảnh, sử dụng giải pháp điều chỉnh đặc trưng sọ ba chiều khắc phục ảnh hưởng lỗi trượt để nâng cao độ xác kết Chúng phân tích, đánh giá lỗi trượt xuất trích chọn đặc trưng, từ đó, đưa giải pháp hạn chế ảnh hưởng lỗi lên mô hình ba chiều sọ Các đặc trưng hai chiều trích chọn ảnh sọ Lỗi trượt xác định dựa đặc trưng cách thức chụp ảnh Dữ liệu ảnh thu nhận sau Cố định hộp sọ mặt phẳng P xoay Đặt máy quay cố định, xoay mặt phẳng P theo góc quay α, chụp ảnh hộp sọ thu ảnh sọ góc nhìn khác Thay đổi vị trí bảng ca-rô, chụp ảnh bảng ca-rô vị trí máy quay 3.1 Thuật toán mô hình ba chiều sọ từ ảnh Để dựng mô hình hộp sọ ba chiều dùng ảnh, đề xuất thuật toán Dựng_Sọ_Ba_Chiều (Hình 3.6) sau Đầu vào: Ảnh sọ, ảnh bảng ca-rô mô hình ba chiều sọ mẫu Đầu ra: Mô hình ba chiều sọ Tính ma trận hiệu chỉnh K chứa tham số máy quay từ ảnh chụp bảng ca-rô Trích chọn đối sánh đặc trưng hai chiều {(x-x’)}trên cặp ảnh liên tiếp Sau đó, tính lỗi trượt ε đối sánh cặp điểm đặc trưng Hình 3.6 Dựng sọ ba chiều Dùng cặp điểm đặc trưng đối sánh {(x-x’)} tính bước (2) góc nhìn máy quay tham số máy quay (ma trận K) tính bước (1) để tính tọa độ ba chiều {X} tương ứng cặp điểm {(x-x’)} giảm từ 13% đến 36% sau tiến hành điều chỉnh điểm đặc trưng ba chiều so với trước điều chỉnh 3.3 Kết luận chương Chúng đưa thuật toán dựng mô hình ba chiều sọ từ ảnh hai chiều Trong đó, tiến hành đánh giá lỗi trượt trích chọn đặc trưng tự động ảnh đầu vào, đánh giá ảnh hưởng lỗi trượt Từ đó, đưa giải pháp hạn chế ảnh hưởng nhằm nâng cao độ xác mô hình ba chiều sọ đầu Thuật toán mở rộng từ việc dựng mô hình ba chiều khuôn mặt từ ảnh Phương pháp dựng mô hình ba chiều sọ từ ảnh khả thi chi phí không đáng kể so với việc dùng liệu sọ quét ba chiều 11 Bảng 3.1 Lỗi trung bình lớn đặc trưng sọ trước vào sau điều chỉnh Hình 3.20 Đặc trưng ba chiều trước sau điều chỉnh 12 CHƯƠNG DỰNG MÔ HÌNH BA CHIỀU KHUÔN MẶT TỪ MÔ HÌNH BA CHIỀU CỦA SỌ Trong hệ thống dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ dựa vào mô mềm trước đây, độ dày mô mềm ước lượng trung bình sở liệu độ dày mô mềm nhóm người Số lượng mô mềm hạn chế phụ thuộc sở liệu Khuôn mặt dựng lại mang dấu ấn nhóm người chưa xác Trong chương này, đưa thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Thuật toán kết hợp việc xác định độ dày mô mềm từ số đo sọ, nội suy độ dày mô mềm biến đổi mô hình ba chiều khuôn mặt mẫu dùng mạng RBF nhằm nâng cao độ xác kết 4.1 Thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Chúng giải thành hai toán sau: Trước hết công thức tính độ dày mô mềm dựa số đo sọ người Việt Sau đó, áp dụng thuật toán Dựng_Khuôn_Mặt_Ba_Chiều_Từ_Hộp_Sọ (Hình 4.6) dùng công thức tính độ dày mô mềm tính sau Đầu vào: Mô hình ba chiều sọ, mô hình ba chiều khuôn mặt mẫu công thức tính độ dày mô mềm Đầu ra: Mô hình ba chiều khuôn mặt Trích chọn điểm mốc đo sọ mô hình ba chiều sọ 13 Từ số đo sọ đo bước công thức tính độ dày mô mềm tính độ dày mô mềm điểm mốc mô hình ba chiều sọ chọn bước Hình 4.6 Dựng khuôn mặt ba chiều từ sọ Nội suy thêm độ dày mô mềm Xác định đặc trưng mô hình ba chiều khuôn mặt mẫu tương ứng với vị trí điểm mốc mô hình ba chiều sọ Biến đổi mô hình ba chiều khuôn mặt mẫu huấn luyện mạng RBF cho điểm đặc trưng mô hình ba chiều khuôn mặt 14 mẫu xác định bước khớp với mô hình ba chiều sọ dựa độ dày mô mềm tính bước 4.1.1 Ước lượng độ dày mô mềm Thay tính giá trị trung bình liệu thống kê tiến hành huấn luyện tập liệu mô mềm liệu số đo sọ để tìm mối liên hệ số đo sọ độ dày mô mềm Hai CSDL số đo sọ độ dày mô mềm thu thập CSDL đầu quét Độ dày mô mềm coi liệu cần dự đoán, số đo sọ liệu đầu vào Chúng dùng hai cách tiếp cận huấn luyện tìm công thức: hồi qui tuyến tính mạng nơ-ron Kết công thức độ dày mô mềm từ số đo sọ Mô mềm tính từ số đo sọ không phân bố đồng hộp sọ Một số vùng má, hàm, đầu mũi, trán với mô mềm thiếu xác Vì vậy, thiết kế hệ thống tự động bổ sung mô mềm gắn lên hộp sọ để tăng hiệu biến đổi mặt mẫu 4.1.2 Biến đổi khuôn mặt mẫu Tọa độ điểm đặc trưng mô hình ba chiều khuôn mặt mẫu xác định tương ứng với mốc đo sọ Đối với mốc đo xác định hộp sọ, dễ dàng xác định tọa độ ba chiều đặc trưng tương ứng mô hình ba chiều khuôn mặt mẫu Đối với mốc đo tương ứng mô mềm nội suy, đặc trưng ba chiều xác định sau Để xác định đặc trưng C' tương ứng với độ dày mô mềm C nội suy, xác định hai đặc trưng A' B' mô hình ba chiều khuôn mặt mẫu độ dày mô mềm A B (hai mô mềm dùng để nội suy mô mềm C) Tiếp theo xác định điểm O tâm khối hộp bao mô hình ba chiều khuôn mặt mẫu trung điểm M đoạn A'B' Sau đó, thuật toán tìm kiếm theo chiều rộng sử dụng để tìm giao điểm đoạn thẳng OM mô hình ba chiều khuôn 15 mặt mẫu Cuối cùng, giao điểm đặc trưng C' đặc trưng C cần xác định Gọi P tập gồm N điểm đặc trưng mô hình ba chiều khuôn mặt mẫu Dựa vào vị trí điểm mốc sọ, dựa vào độ dày mô mềm gắn liền với điểm mốc này, xác định điểm đặc trưng mô hình ba chiều khuôn mặt cần dựng lại Q Chuẩn hóa hai tập điểm P Q cho chúng có hướng gốc tọa độ nằm trọng tâm tập điểm Dùng ba mạng RBF huấn luyện biến đổi thành phần tọa độ tập điểm Q tập điểm P Các tham số từ huấn luyện dùng biến đổi toàn điểm mô hình ba chiều khuôn mặt mẫu để mô hình ba chiều khuôn mặt mong muốn 4.2 Thử nghiệm đánh giá Để đánh giá cách định lượng chụp CT đầu người Dữ liệu sọ khuôn mặt số hóa mô hình ba chiều Khuôn mặt tái tạo mô hình ba chiều sọ Mô hình ba chiều khuôn mặt tái tạo khuôn mặt quét so sánh với (Hình 4.13, Bảng 4.1) Bảng 4.1 lỗi trung bình hai khuôn mặt thật tái tạo với phép biến đổi khuôn mặt RBF RBF với nội suy độ dày mô mềm Khi thêm độ dày mô mềm, mô hình ba chiều khuôn mặt kết tăng độ xác lên xấp xỉ 20% so với khuôn mặt dùng biến đổi RBF Bảng 4.1 Lỗi trung bình khuôn mặt dựng lại 16 Hình 4.13 Hai khuôn mặt dựng lại Mô hình ba chiều khuôn mặt tái tạo lấy ý kiến đánh giá chuyên gia hội đồng thẩm định về: (i) Các đặc điểm chủng tộc; (ii) Các đặc điểm giới tính; (iii) Độ tuổi; (iv) Các đặc điểm mô tả Với đặc điểm (i), (ii) (iii), kết đạt yêu cầu Riêng đặc điểm mô tả độ phù hợp đạt 70% 4.3 Kết luận chương Chúng trình bày thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Độ dày mô mềm tính từ số đo sọ nội suy Cuối cùng, biến đổi mô hình ba chiều khuôn mặt mẫu RBF Mô hình ba chiều khuôn mặt dựng lại đánh giá tích cực mặt định tính đạt độ xác cao mặt định lượng, đặc biệt vùng mắt, cằm góc hàm 17 CHƯƠNG TRÍCH CHỌN ĐẶC TRƯNG TRÊN MÔ HÌNH BA CHIỀU CỦA SỌ Việc đánh dấu điểm mốc mô hình ba chiều thực thủ công người dùng có kiến thức nhân trắc chuyên gia pháp y Với cách tiếp cận này, độ xác điểm mốc trích chọn phụ thuộc vào trình độ kinh nghiệm chuyên gia Hơn nữa, số lượng điểm mốc không nhiều Trong chương này, giới thiệu thuật toán tự động trích chọn đặc trưng mô hình ba chiều sọ Khi có đặc trưng này, điểm mốc tập tập điểm đặc trưng Như ta khoanh vùng vị trí điểm mốc Thuật toán xây dựng dựa việc kết hợp phân đoạn liệu phép nhân chập Các phương pháp lựa chọn để triển khai tính đơn giản hiệu tính toán chúng 5.1 Trích chọn đặc trưng Chúng đề xuất thuật toán Trích_Chọn_Đặc_Trưng (Hình 5.4) để trích chọn điểm cạnh góc mô hình ba chiều sọ Đầu vào: Mô hình ba chiều sọ Đầu ra: Các đặc trưng góc cạnh ba chiều Phân đoạn liệu hộp sọ số hóa thành điểm ba chiều nhận giá trị -1 Điểm có giá trị -1 điểm thuộc bên mô hình ba chiều sọ, điểm lại có giá trị Dựa vào hộp MC (marching cube) tìm tập điểm góc ứng cử viên thuộc bề mặt hộp sọ từ liệu nhị phân có bước 18 Dùng mặt nạ thiết kế dạng Sobel lọc tập điểm góc ứng cử viên để tìm điểm đặc trưng góc Dùng mặt nạ thiết kế dạng Canny lọc tập điểm thuộc bề mặt hộp sọ từ liệu nhị phân có bước để tìm điểm đặc trưng cạnh Loại bỏ nhiễu tập điểm đặc trưng cạnh cửa sổ ba chiều Susan để có tập điểm cạnh cuối Hình 5.4 Trích chọn đặc trưng 5.1.1 Phân đoạn liệu Với mô hình ba chiều sọ, phân đoạn liệu cách khối hóa gán giá trị -1 cho đỉnh khối tùy thuộc vào vị trí chúng so với mô hình ba chiều sọ Việc khối hóa thực hộp bao mô hình ba chiều sọ Sau đó, lát cắt mô hình sọ lấy theo trục y hệ trục tọa độ Mỗi lát cắt giao với mô hình sọ theo đa giác cắt Trên đa giác này, lưới ô vuông tạo Các đỉnh ô vuông đỉnh khối gọi điểm lấy mẫu Những điểm nằm đa giác cắt nhận giá trị -1 lại nhận giá trị Với sọ quét, dùng liệu dạng lát cắt bỏ qua bước chuyển đổi liệu sang dạng đám mây điểm lưới đa giác Chúng dùng phương pháp tập mức phân đoạn liệu trực tiếp 19 lát cắt hai chiều để giảm thời gian tính toán tận dụng tính đơn giản biểu diễn liệu dạng hàm ẩn 5.1.2 Trích chọn đặc trưng 5.1.2.1 Trích chọn điểm góc Chúng xác định tập điểm góc ứng cử viên CC tập điểm bề mặt hộp sọ dựa vào ý tưởng hình hộp thuật toán Marching Cube Để trích trọng điểm góc tập CC, nhân chập điểm góc ứng cử viên với mặt nạ ba chiều Chúng thiết kế mặt nạ Sobel Có ba mặt nạ Sx, Sy Sz mặt nạ theo ba hướng khác mặt phẳng xy, yz, xz Khi nhân chập, với mặt nạ tương ứng thiết kế điểm bề mặt có thay đổi građi-en theo hướng mặt phẳng xy, yz, xz Với điểm góc ứng cử viên, độ chênh lệch giá trị nhân chập với mặt nạ mà nhỏ ngưỡng điểm góc Ngưỡng xác định thực nghiệm tùy thuộc vào giá trị gán cho mặt nạ 5.1.2.2 Trích chọn điểm cạnh Chúng thiết kế loại lọc ba chiều thông cao để trích chọn điểm cạnh Mặt nạ dùng để xấp xỉ gra-đi-en laplace ảnh ba chiều phép nhân chập Ba mặt nạ Cx, Cy Cz, thiết kế theo ba hướng x-, y-, z- Ba mặt nạ trích chọn cạnh lồi gọi mặt nạ Canny lồi Tương tự, để trích chọn điểm thuộc cạnh lõm sử dụng ba mặt nạ Canny lõm Cxi, Cyi Czi Các giá trị phần tử mặt nạ đối giá trị ba mặt nạ Cx, Cy Cz tương ứng 20 Nhiễu điểm cạnh cực trị gra-đi-en Do vậy, dùng mặt nạ Canny, bên cạnh việc trích chọn điểm cạnh trích chọn điểm nhiễu Sự khác biệt điểm nhiễu điểm cạnh điểm nhiễu thuộc vùng thay đổi gra-đi-en điểm cạnh thuộc biên kề hai vùng trở lên Để loại bỏ nhiễu, sử dụng cửa sổ hình hộp trượt khắp điểm cạnh trích chọn bước trước Chúng tính tỉ lệ thể tích phần phần đối tượng thuộc cửa sổ Các tỉ lệ phân thành ba loại (i) lồi tỉ lệ nhỏ 0.5, (ii) phẳng tỉ lệ xấp xỉ 0.5, (iii) lại lõm Một điểm cạnh phân thành phẳng coi nhiễu 5.2 Thử nghiệm đánh giá Hình 5.15 Đặc trưng cạnh 21 Hình 5.16 Đặc trưng góc Chúng thử nghiệm liệu sọ quét Ảnh sọ quét bao gồm 100 lát cắt ngang phân đoạn liệu với phương pháp tập mức, có liệu sọ ba chiều biểu diễn dạng hàm ẩn với kích cỡ 200 x 200 x160 Bề mặt sọ biểu diễn 26509 đỉnh Việc trích chọn đặc trưng góc cạnh tiến hành tập điểm bề mặt sọ (Hình 5.15 Hình 5.16) 5.3 Kết luận chương Chúng đề xuất thuật toán tự động để trích chọn điểm đặc trưng cạnh góc mô hình ba chiều sọ Với thuật toán tự động số lượng đặc trưng có nhiều trích chọn tay việc trích chọn số lượng hạn chế Số lượng đặc trưng nhiều lên đồng nghĩa với việc độ xác toán dùng đặc trưng tăng lên Khi tiến hành trích chọn cạnh, tạo cửa sổ ba chiều dựa ý tưởng trích chọn đặc trưng SUSAN để khử nhiễu bề mặt xuất cạnh 22 CHƯƠNG KẾT QUẢ NGHIÊN CỨU VÀ BÀN LUẬN Trong luận án, trình bày phương pháp, kỹ thuật, cải tiến liên quan đến dựng mô hình ba chiều khuôn mặt từ hộp sọ Ba đóng góp luận án sau: Thứ nhất, đưa thuật toán dựng mô hình ba chiều sọ từ ảnh Trong đó, tiến hành đánh giá lỗi trượt trích chọn đặc trưng tự động ảnh đầu vào, đánh giá ảnh hưởng lỗi trượt Từ đó, giải pháp hạn chế ảnh hưởng nhằm nâng cao độ kết đưa Phương pháp khả thi chi phí không đáng kể so với việc dùng liệu sọ quét ba chiều Thứ hai, đưa thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Thuật toán kết hợp việc tính độ dày mô mềm số đo sọ, độ dày mô mềm nội suy biến đổi mô hình ba chiều khuôn mặt mẫu mạng RBF Độ xác mô hình ba chiều khuôn mặt kết tăng lên,đặc biệt là, độ xác vùng mắt, cằm góc hàm Mô hình ba chiều khuôn mặt dựng lại đánh giá tích cực mặt định tính Các nhận định chủng tộc, giới tính, độ tuổi đạt yêu cầu Thứ ba, đề xuất thuật toán tự động để trích chọn điểm đặc trưng cạnh góc mô hình ba chiều sọ Với thuật toán tự động số lượng đặc trưng có nhiều trích chọn Số lượng đặc trưng nhiều lên đồng nghĩa với việc độ xác toán dùng đặc trưng tăng lên Việc loại bỏ nhiễu thực trích chọn cạnh Nên, độ xác điểm cạnh tăng lên 23 KẾT LUẬN Kết luận Chúng đóng góp ba thuật toán Chúng đề xuất thuật toán dựng mô hình ba chiều sọ từ ảnh hai chiều Trong đó, điều chỉnh lỗi trượt phát sinh để tăng độ xác mô hình ba chiều sọ kết Chúng đề xuất thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Trong đó, kết hợp biến đổi mô hình ba chiều khuôn mặt mẫu mạng hàm bán kính sở RBF, ước lượng độ dày mô mềm từ số đo sọ nội suy độ dày mô mềm để tăng tính chân thực độ xác mô hình ba chiều khuôn mặt kết Chúng đề xuất thuật toán trích trọn đặc trưng cạnh góc tự động mô hình ba chiều sọ Thuật toán kết hợp hiệu phân đoạn liệu mô hình ba chiều sọ phép nhân chập Định hướng phát triển Trong thời gian tới, hoàn thiện qui trình dựng mô hình ba chiều khuôn mặt từ hộp sọ Đầu tiên, hoàn thiện việc tạo lớp phủ tạo, thêm kiểu dáng tóc, lông mày, tai Việc nhằm tạo mô hình ba chiều khuôn mặt hoàn thiện có đặc điểm mô tả có độ xác cao Bên cạnh đó, hoàn thiện qui trình trích chọn điểm mốc mô hình ba chiều sọ tự động cách kết hợp thông tin nhân trắc hộp sọ việc trích chọn đặc trưng tự động mô hình ba chiều sọ 24 Danh mục công trình khoa học liên quan đến luận án Ma Thi Chau, Bui The Duy (2007), “A process of building 3D models from images”, Vietnam National University Journal of Science, Mathematics and Physics, VNUH, ISSN 0866 – 8612, 23(1), pp 9-14 Ma Thị Châu, Bùi Thế Duy (2008), “Đối sánh ảnh lan truyền dựa lược đồ Voronoi”, Hội nghị Công nghệ thông tin toàn quốc lần thứ 11: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông, Huế, tr 136-142 Dinh Quang Huy, Ma Thi Chau, Bui The Duy , Nguyen Trong Toan, Nguyen Dinh Tu (2011), ”Facial soft tissue thicknesses prediction using anthropometric distances”, In Pro of The 3rd Asian conference on intellegent information and database systems, Studies in Computational Intelligence , Springer –Verlag, ISBN 978-3-642-19952-3, 351, pp 117- 126 Thi Chau Ma, Dinh Tu Nguyen, Quang Huy Dinh and The Duy Bui (2011), “3D facial reconstruction system from skull for Vietnamese”, In Pro of The 3rd International conference on Knowledge and Systems Engineering, KSE’2011, Hanoi, Vietnam, IEEE, ISBN 978-1-4577-1848-9, pp 120 - 127 Thi Chau Ma, Dinh Tu Nguyen, Quang Huy Dinh (2011), “Reconstructing 3D facial model from skull”, Vietnam National University Journal of Science, Natural Sciences and Technology, VNUH, ISSN 0866 – 8612, 27(4), pp 213 – 221 Thi Chau Ma, Dinh Tu Nguyen, The Duy Bui, Trung Kien Dang (2011), “3D facial modeling from pair of images”, Journal on Information and Communication Technologies, ISSN 1859-3526, 6(26), pp 217-224 Thi-Chau Ma, Chang-soo Park, Kittichai Suthunyatanakit, Min-jae Oh, Taewan Kim,Myung-joo Kang and The-Duy Bui (2011), “Features Detection on Industrial 3D CT Data”, In Pro of The 2011 international conference on multimedia, computer graphics and broadcasting, Comunications in Computer and Information Science, Springer-Verlag, ISBN 978-3-642-27186-1 part 2, 263, pp 345-354 Thi-Chau Ma, The-Duy Bui, Trung-Kien Dang (2012), “Shift error analysis in image based 3D skull feature reconstruction”, In Pro of The 4th International conference on Knowledge and Systems Engineering, KSE’2012, Danang, Vietnam, IEEE2012, ISBN 978-0-7695-4760-2, pp -10 [...]... 4.1 Thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ Chúng tôi giải quyết thành hai bài toán như sau: Trước hết công thức tính độ dày mô mềm dựa trên số đo sọ của người Việt Sau đó, chúng tôi áp dụng thuật toán Dựng_Khuôn _Mặt_ Ba_ Chiều_ Từ_ Hộp _Sọ (Hình 4.6) dùng các công thức tính độ dày mô mềm tính được ở trên như sau Đầu vào: Mô hình ba chiều của sọ, mô hình ba chiều khuôn mặt. .. hình ba chiều khuôn mặt từ mô hình ba chiều của sọ Trong đó, chúng tôi kết hợp biến đổi mô hình ba chiều khuôn mặt mẫu bằng mạng các hàm bán kính cơ sở RBF, ước lượng độ dày mô mềm từ số đo sọ và nội suy độ dày mô mềm để tăng tính chân thực và độ chính xác của mô hình ba chiều khuôn mặt kết quả Chúng tôi đề xuất thuật toán trích trọn đặc trưng cạnh và góc tự động trên mô hình ba chiều của sọ Thuật toán... pháp này khả thi và chi phí không đáng kể so với việc dùng dữ liệu sọ quét ba chiều Thứ hai, chúng tôi đã đưa ra thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ Thuật toán là sự kết hợp giữa việc tính độ dày mô mềm số đo sọ, độ dày mô mềm được nội suy và biến đổi mô hình ba chiều khuôn mặt mẫu bằng mạng RBF Độ chính xác của mô hình ba chiều khuôn mặt kết quả tăng lên,đặc biệt là,... đặc điểm mô tả độ phù hợp đạt 70% 4.3 Kết luận chương Chúng tôi đã trình bày thuật toán dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều sọ Độ dày mô mềm được tính ra từ số đo sọ và nội suy Cuối cùng, biến đổi một mô hình ba chiều khuôn mặt mẫu bằng RBF Mô hình ba chiều khuôn mặt dựng lại được đánh giá tích cực về mặt định tính và đạt độ chính xác cao về mặt định lượng, đặc biệt là ở vùng mắt, cằm... ba chiều của sọ từ ảnh hai chiều Trong đó, chúng tôi tiến hành đánh giá lỗi trượt khi trích chọn đặc trưng tự động trên ảnh đầu vào, đánh giá ảnh hưởng của lỗi trượt Từ đó, chúng tôi đưa ra giải pháp hạn chế sự ảnh hưởng này nhằm nâng cao độ chính xác của mô hình ba chiều của sọ đầu ra Thuật toán được mở rộng từ việc dựng mô hình ba chiều khuôn mặt từ ảnh Phương pháp dựng mô hình ba chiều của sọ từ. .. mô mềm của một nhóm người Số lượng mô mềm hạn chế vì phụ thuộc cơ sở dữ liệu Khuôn mặt dựng lại còn mang dấu ấn của nhóm người và còn chưa chính xác Trong chương này, chúng tôi đưa ra thuật toán mới dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ Thuật toán là sự kết hợp giữa việc xác định độ dày mô mềm từ các số đo sọ, nội suy độ dày mô mềm và biến đổi mô hình ba chiều khuôn mặt mẫu dùng... mềm Đầu ra: Mô hình ba chiều khuôn mặt 1 Trích chọn điểm mốc và đo sọ trên mô hình ba chiều của sọ 13 2 Từ các số đo sọ đo được ở bước 1 và công thức tính độ dày mô mềm tính ra các độ dày mô mềm ở các điểm mốc trên mô hình ba chiều của sọ chọn được ở bước 1 Hình 4.6 Dựng khuôn mặt ba chiều từ sọ 3 Nội suy thêm độ dày mô mềm 4 Xác định các đặc trưng trên mô hình ba chiều khuôn mặt mẫu tương ứng với... từ ảnh khả thi và chi phí không đáng kể so với việc dùng dữ liệu sọ quét ba chiều 11 Bảng 3.1 Lỗi trung bình và lớn nhất của đặc trưng sọ trước vào sau khi điều chỉnh Hình 3.20 Đặc trưng ba chiều trước và sau khi điều chỉnh 12 CHƯƠNG 4 DỰNG MÔ HÌNH BA CHIỀU KHUÔN MẶT TỪ MÔ HÌNH BA CHIỀU CỦA SỌ Trong các hệ thống dựng mô hình ba chiều khuôn mặt từ mô hình ba chiều của sọ dựa vào mô mềm trước đây, độ... Thuật toán tính đặc trưng sọ ba chiều Ma trận hiệu chỉnh K được xác định từ bước hiệu chỉnh máy quay dùng bảng ca-rô Các điểm đặc trưng hai chiều đối sánh {(xx’)} được trích chọn và đối sánh tự động Đặc trưng hộp sọ ba chiều được xác định thông qua các cặp điểm đặc trưng đối sánh, ma trận hiệu chỉnh, ma trận quay và thuật toán Tính_Tọa_Độ _Ba_ Chiều 3.1.2 Ảnh hưởng của lỗi trượt lên đặc trưng sọ ba chiều. .. nghiệm và đánh giá Để đánh giá một cách định lượng chúng tôi chụp CT đầu người Dữ liệu sọ và khuôn mặt được số hóa mô hình ba chiều Khuôn mặt được tái tạo trên mô hình ba chiều của sọ Mô hình ba chiều khuôn mặt tái tạo và khuôn mặt quét được so sánh với nhau (Hình 4.13, Bảng 4.1) Bảng 4.1 chỉ ra lỗi trung bình này trên hai khuôn mặt thật chúng tôi tái tạo với phép biến đổi khuôn mặt RBF và RBF với nội