ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỨC HOÀNG T T R R U U Y Y V V Ấ Ấ N N Ả Ả N N H H T T H H E E O O N N Ộ Ộ I I D D U U N N G G S S Ử Ử D D Ụ Ụ N N G G T T R R Í Í C C H H Đ Đ Ặ Ặ C C T T R R Ư Ư N N G G T T R R Ê Ê N N N N Ề Ề N N W W A A V V E E L L E E T T S S Chuyên ngành: Kỹ thuật điện tử Mã số chuyên ngành: 62527001 T T Ó Ó M M T T Ắ Ắ T T L L U U Ậ Ậ N N Á Á N N T T I I Ế Ế N N S S Ĩ Ĩ K K Ỹ Ỹ T T H H U U Ậ Ậ T T Tp. Hồ Chí Minh - 2013 Công trình được hoàn thành tại: Trường Đại học bách Khoa – Đại học Quốc gia Tp. HCM Người hướng dẫn khoa học 1: PGS. TS. Lê Tiến Thường Người hướng dẫn khoa học 2: TS. Đỗ Hồng Tuấn Phản biện độc lập 1: PGS. TS. Nguyễn Văn Khang Phản biện độc lập 2: PGS. TS. Dương Anh Đức Phản biện 1: PGS. TS. Ngô Quốc Tạo Phản biện 2: TS. Nguyễn Thanh Hải Phản biện 3: TS. Lê Thành Sách Luận án sẽ được bảo vệ trước Hội đồng chấm luận án họp tại: Vào lúc…………giờ………ngày…… tháng………năm. Có thể tìm hiểu luận án tại thư viện: - Thư viện Khoa học tổng hợp Tp. HCM - Thư viện Trường Đại học bách Khoa – ĐHQG-HCM CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ Các công trình công bố trên tạp chí tại Việt Nam [1] Hoang Nguyen-Duc, Thuong Le-Tien, Tuan Do-Hong, Cao Bui-Thu, “A new descriptor for image retrieval using contourlet cooccurrence”, Journal of Science and Technology Development, Vietnam National University - Ho Chi Minh City (VNU-HCM), pp 5-16, Tập 15, Số K2-2012. [2] Nguyễn Đức Hoàng, Lê Tiến Thường, Đỗ Hồng Tuấn, Bùi Thư Cao, Nguyễn Xuân Tý, “Một phương pháp phối hợp các đặc trưng toàn cục để truy vấn ảnh”, Chuyên san BCVT, Tập V-1, Số 2 (22), trang 67-79, tháng 12/2009. Các công trình công bố tại các hội nghị quốc tế [3] Nguyễn Đức Hoàng, Lê Tiến Thường, Đỗ Hồng Tuấn, Bùi Thư Cao, “A Survey of Classification Accuracy Using Multi-features and Multi- kernels”, The 2013 International Conference on Advanced Technologies for Communication (ATC 2013), Ho Chi Minh, Vietnam, October 16-18, 2013, accepted. [4] Hoang Nguyen-Duc, Thuong Le-Tien, Tuan Do-Hong, Cao Bui-Thu, “Performance evaluation of image retrieval algorithms using wavelet- based feature extraction: an experimental study”, The 10th IASTED International Conference on Visualization, Imaging, and Image Processing (VIIP2012), Banff, Canada, July 3-5, 2012. [5] Hoang Nguyen-Duc, Thuong Le-Tien, Tuan Do-Hong, Cao Bui-Thu, “Texture Image Retrieval using Phase-Based Features in the Complex Wavelet Domain”, The 2010 International Conference on Advanced Technologies for Communication (ATC 2010), pp. 179-184, Ho Chi Minh, Vietnam, August 20-22, 2010. [6] Hoang Nguyen-Duc, Thuong Le-Tien, Tuan Do-Hong, Cao Bui-Thu, Ty Ng-Xuan, “Image Retrieval Using Contourlet Based Interest Points”, 10th International Conference on Information Science, Signal Processing and their Applications (ISSPA 2010), pp. 93-96, Kuala Lumpur, Malaysia, May 10-13, 2010. ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỨC HOÀNG TRUY VẤN ẢNH THEO NỘI DUNG SỬ DỤNG TRÍCH ĐẶC TRƯNG TRÊN NỀN WAVELETS LUẬN ÁN TIẾN SĨ KỸ THUẬT TP. HỒ CHÍ MINH NĂM 2013 ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỨC HOÀNG TRUY VẤN ẢNH THEO NỘI DUNG SỬ DỤNG TRÍCH ĐẶC TRƯNG TRÊN NỀN WAVELETS Chuyên ngành: Kỹ thuật điện tử Mã số chuyên ngành: 62527001 Phản biện độc lập 1: PGS. TS. Nguyễn Văn Khang Phản biện độc lập 2: PGS. TS. Dương Anh Đức Phản biện 1: PGS. TS. Ngô Quốc Tạo Phản biện 2: TS. Nguyễn Thanh Hải Phản biện 3: TS. Lê Thành Sách NGƯỜI HƯỚNG DẪN KHOA HỌC 1. PGS. TS. Lê Tiến Thường 2. TS. Đỗ Hồng Tuấn i LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của bản thân tác giả. Các kết quả nghiên cứu và các kết luận trong luận án này là trung thực, và không sao chép từ bất kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu (nếu có) đã được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng theo yêu cầu. Tác giả luận án __________________________________ Nguyễn Đức Hoàng ii TÓM TẮT LUẬN ÁN Mặc dù, các nhà nghiên cứu đã có nhiều nỗ lực trong những năm gần đây trong việc nghiên cứu hệ thống truy vấn ảnh, nhưng vẫn chưa có giải thuật thuyết phục được chấp nhận phổ biến có thể biểu diễn hoàn chỉnh các đặc điểm nhìn của con người (human vision), đặc biệt là có thể “hiểu” được ảnh, và điều này luôn là thách thức lớn với tất cả các nhà nghiên cứu. So sánh với các nghiên cứu hệ thống CBIR (Content-based Image Retrieval) công bố trước năm 2000, sự khác biệt có thể thấy trong các nghiên cứu 10 năm gần đây là việc gia tăng của đa dạng các đặc trưng mô tả ảnh. Các đề xuất bắt nguồn từ cải tiến những đặc trưng ảnh cơ bản (như: histogram màu, texture, shape,…) đến phát triển những đặc trưng ảnh mới dựa trên những phép biến đổi như wavelets, contourlets… và kết hợp đa dạng các mô hình toán học trong thiết kế hệ thống CBIR. Do đó, Luận án tập trung nghiên cứu ứng dụng biến đổi wavelets vào thiết kế hệ thống CBIR mà cụ thể là xây dựng các thuật toán trích đặc trưng ảnh dùng biến đổi wavelets và giải thuật truy vấn phù hợp, cùng khả năng ứng dụng mở rộng của các đặc trưng đề xuất. Trong Luận án này, việc chọn lựa hướng nghiên cứu lấy biến đổi wavelets làm cơ sở nghiên cứu sâu về thiết kế đặc trưng ảnh và ứng dụng vào truy vấn ảnh đã đạt được kết quả nhất định. Theo đó, các bộ mô tả đặc trưng ảnh dựa trên biến đổi wavelets đã được đề xuất kết hợp với thiết kế giải thuật truy vấn. Cụ thể, Luận án đã đề xuất ba đặc trưng ảnh mới là: đặc trưng ảnh contourlet cooccurrence, đặc trưng ảnh phase-based LBP, đặc trưng ảnh contourlet Harris và 4 giải thuật truy vấn ảnh là: Giải thuật phối hợp các đặc trưng để truy vấn ảnh (matching), Giải thuật truy vấn ảnh dùng đặc trưng contourlet cooccurrence (CC), Giải thuật truy vấn ảnh dùng đặc trưng phase-based LBP (pbLBP), Giải thuật truy vấn ảnh dùng đặc trưng contourlet Harris (CH). Để có thể đánh giá được mức độ hiệu quả của một giải thuật truy vấn ảnh cần phải có các phương pháp, tiêu chuẩn đánh giá thích hợp và đặc thù cho lĩnh vực truy vấn ảnh. Luận án đã chọn lựa, giới thiệu bộ các phương pháp, các thông số đánh giá để sử dụng cho các thực nghiệm của Luận án. Đây là những phương pháp và thông số đánh giá đã được nhiều nhà nghiên cứu trong lĩnh vực truy vấn ảnh, truy vấn thông tin iii sử dụng nên có giá trị cao trong việc tham chiếu hiệu quả các kết quả thực nghiệm của giải thuật đề xuất so với các giải thuật đã công bố. Ngoài ra, Luận án đã khảo sát khả năng sử dụng đặc trưng đề xuất vào ứng dụng phân loại ảnh (image classification) là một hướng nghiên cứu có liên quan chặt chẽ với truy vấn ảnh. Các đề xuất gồm phương pháp MKL (Multiple Kernel Learning) kết hợp các kernel, integrate method chọn những class có độ chính xác cao để gia tăng độ chính xác phân loại cho thấy mức độ hiệu quả so sánh được với những phương pháp đã công bố gần đây. Nhìn chung, Luận án này đã giới thiệu được tổng hợp các công trình công bố quan trọng có liên quan đến hướng nghiên cứu và có những đề xuất về các bộ trích đặc trưng ảnh, thiết kế các giải thuật truy vấn ảnh, và đã kiểm chứng hiệu quả truy vấn đề xuất thông qua thực nghiệm cho kết quả truy vấn cải tiến hơn. Luận án cũng đã nghiên cứu ứng dụng mở rộng của đặc trưng đề xuất trong hướng nghiên cứu phân loại ảnh. Tất cả các công trình giới thiệu và nghiên cứu đề xuất trong Luận án này đáp ứng mục tiêu nghiên cứu theo những “thang độ” khác nhau. Các thực nghiệm đóng vai trò minh chứng để đưa ra các nhận định, kết luận và có giá trị tham khảo cho các nghiên cứu sau này. Trên cơ sở các mục tiêu đã đề ra, Luận án đã đề xuất được các bộ trích đặc trưng ảnh mới dựa trên biến đổi wavelets, và thiết kế các giải thuật truy vấn, đề xuất các giải pháp ứng dụng trong phân loại ảnh. Các thực nghiệm đã chứng minh được hiệu quả cải tiến của các giải thuật đề xuất. Tóm lại, Luận án với kết quả nghiên cứu đạt được là thiết thực, có đóng góp cụ thể, và đáp ứng được các mục tiêu đề ra cho Luận án. iv ABSTRACT Although researchers have made great efforts in recent years for the study of image retrieval systems, but no algorithm is accepted widely that can extract image features like human visions (can “understand” images as human). This is always the challenge to all researchers. Compared to the previous researches of Content-based Image Retrieval (CBIR) systems published before the year 2000, the differences viewed in the recent decades of studies are the increasing of many image features. The improvements are based on basic image features (such as color histogram, texture, shape …), to develop new image features based on the transformations such as the wavelets, the contourlets… and combine many mathematical operators to design CBIR systems. Therefore, the thesis is focused into researches based on the wavelet transform to extract image features then using these features to design CBIR systems and the extended application of the proposed features. In the thesis, the choice of using the wavelet transform to extract image features and design CBIR systems have achieved certain results. Accordingly, the wavelet- based feature extractors have been proposed and used to design the image retrieval algorithms. Three new image features has been proposed as follows: contourlet cooccurrence, phase-based LBP, contourlet Harris; and four image retrieval algorithms as follows: global features matching (matching), using the contourlet cooccurrence feature (CC), using the phase-based LBP feature (pbLBP), using the contourlet Harris feature (CH). To evaluate retrieval effectiveness of an image retrieval algorithm must have evaluation methods, evaluation criteria appropriate to image retrieval algorithms. The thesis presents the evaluation methods based on the experimental parameters. These methods and parameters have been used commonly in the performance evaluation of information retrieval and image retrieval by many researchers. So that, achieved experimental results have high values to compare between proposed algorithms with other related algorithms. Furthermore, the thesis also examine the possibility of using the proposed features in image classification that is closely to the relation of CBIR. In this extended application, the proposed methods consists of Multiple Kernel Learning [...]... ở đây chủ yếu sử dụng biến đổi wavelets cơ bản để trích đặc trưng ảnh Từ các đặc trưng này, các tác giả kết hợp với những công cụ toán học, các đặc trưng khác để hình thành nên đặc trưng chung của ảnh Ví dụ, với hệ thống SIMPLYcity là sử dụng phân đoạn ảnh để hình thành các vùng ảnh, trích đặc trưng từng vùng và so sánh các vùng với nhau; với hệ thống ALIP, trích đặc trưng ảnh và sử dụng các mô hình... Mixture Intergrated Region Matching xiv Chú thích nghĩa tiếng Việt (Hệ thống) truy vấn ảnh ALIP Độ chính xác trung bình (Đặc trưng) Affine-SIFT Mô hình túi các từ mã - BoW Truy vấn ảnh dựa trên nội dung (Giải thuật) truy vấn/ đặc trưng ảnh CC Vector đặc trưng màu CCV Bộ lọc băng hướng phức (Giải thuật) truy vấn/ đặc trưng ảnh CH (Giải thuật) truy vấn ảnh CW3C Biến đổi cosin rời rạc Dãy bộ lọc hướng Phương... năng ứng dụng wavelets để trích đặc trưng ảnh và thiết kế hệ thống CBIR có thể mang lại hiệu quả truy vấn cao Rõ ràng, hướng nghiên cứu này vẫn còn nhiều “vùng” cần được khảo sát, và luôn có những kết quả mới trong các công trình công bố gần đây Vì thế, cần một nghiên cứu chi tiết, sâu hơn về vấn đề Truy vấn ảnh theo nội dung sử dụng trích đặc trưng trên nền wavelets và đó cũng chính là 4 trên một... ngôn ngữ tự nhiên  Dựa trên nội dung (Content-based): việc xử lý yêu cầu truy vấn dựa trên nội dung là trọng tâm của tất cả các hệ thống CBIR (Content-Based Image Retrieval) Bước đầu, hệ thống phải trích các đặc trưng của ảnh truy vấn (là ảnh mẫu hay ảnh đồ họa do người dùng yêu cầu), sau đó các đặc trưng ảnh này sẽ được so sánh với tập các đặc trưng ảnh của cơ sở dữ liệu ảnh trong hệ thống Hệ thống... nhất để truy vấn ảnh, ví dụ: các công cụ truy vấn ảnh của Google và Yahoo!  Nhóm từ: người sử dụng dùng một nhóm từ, câu, câu hỏi hoặc một diễn giải thể hiện mong muốn cần hệ thống đáp ứng  Ảnh mẫu: người sử dụng muốn truy vấn một ảnh tương tự so với ảnh yêu cầu Sử dụng một ảnh làm cơ sở truy vấn là cách phổ biến nhất để yêu cầu hệ thống truy vấn khi không có các dữ liệu metadata tin cậy  Ảnh đồ... xvi (Hệ thống) truy vấn ảnh SIMPLIcity Cơ chế pyramid trong không gian ảnh Ngôn ngữ truy vấn theo cấu trúc (Bộ dò) góc SUSAN (Giải thuật) phân loại SVM Định dạng ảnh tiff Hội nghị truy vấn TREC (Giải thuật) truy vấn ảnh W3C Tập ảnh texture từ UIUC (Hệ thống) truy vấn ảnh WBIIS Đặc trưng wavelet correlogram Mô hình Markov ẩn trong miền wavelet Ngôn ngữ Đánh dấu Mở rộng  Từ khóa: người sử dụng đề xuất... nhiều đặc trưng ảnh đã được rút trích và ứng dụng vào thiết kế giải thuật truy vấn Tuy nhiên, với nhiều cơ sở dữ liệu ảnh nếu chỉ dùng một đặc trưng ảnh trích dựa trên miền wavelets thì không đạt hiệu quả như mong muốn Việc phối hợp một hoặc nhiều hơn các đặc trưng ảnh dựa trên wavelets và các đặc trưng ảnh khác (không dựa trên wavelets) để cho kết quả truy vấn tốt hơn là cần thiết Hướng nghiên cứu này... phân các đặc trưng ảnh theo: (a) biểu diễn đặc trưng màu; (b) biểu diễn đặc trưng texture; (c) các đặc trưng cục bộ; (d) các đặc trưng shape (loại đặc trưng này theo cách ứng dụng trong thực nghiệm của tác giả thực ra không biểu diễn hoàn toàn được shape trong ảnh do các yêu cầu liên quan đến giải thuật phân đoạn ảnh) Các đặc trưng cục bộ (LF – local feature) của Thomas Deselaer được dựa trên các image... dựng vector đặc trưng ảnh Tuy nhiên, cần có các khảo sát để hình thành vector đặc trưng ảnh có kích thước phù hợp và đạt được hiệu quả cao Trường hợp sử dụng các điểm đặc thù, việc xây dựng vector đặc trưng ảnh sẽ không đơn giản để có được vector đặc trưng ảnh có độ phức tạp tính toán nhỏ và kích thước vector hợp lý Việc xây dựng vector đặc trưng ảnh cũng liên quan đến cơ sở dữ liệu ảnh ứng dụng, và yếu... Phối hợp các đặc trưng để truy vấn ảnh 36 3.2.1 Giới thiệu 36 3.2.2 Chọn các đặc trưng ảnh .37 3.2.3 Thiết kế giải thuật truy vấn .39 3.2.4 Độ phức tạp giải thuật .42 3.2.5 Thực nghiệm đánh giá .43 3.2.6 Kết luận .48 3.3 Truy vấn ảnh dùng đặc trưng contourlet cooccurrence 49 3.3.1 Giới thiệu 49 3.3.2 Đặc trưng ảnh contourlet