ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỨC HOÀNG TRUY VẤN ẢNH THEO NỘI DUNG SỬ DỤNG TRÍCH ĐẶC TRƯNG TRÊN NỀN WAVELETS LUẬN ÁN TIẾN SĨ KỸ THUẬT TP HỒ CHÍ MINH NĂM 2013 ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỨC HOÀNG TRUY VẤN ẢNH THEO NỘI DUNG SỬ DỤNG TRÍCH ĐẶC TRƯNG TRÊN NỀN WAVELETS Chuyên ngành: Kỹ thuật điện tử Mã số chuyên ngành: 62527001 Phản biện độc lập 1: PGS TS Nguyễn Văn Khang Phản biện độc lập 2: PGS TS Dương Anh Đức Phản biện 1: PGS TS Ngô Quốc Tạo Phản biện 2: TS Nguyễn Thanh Hải Phản biện 3: TS Lê Thành Sách NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS Lê Tiến Thường TS Đỗ Hồng Tuấn LỜI CAM ĐOAN Tác giả xin cam đoan công trình nghiên cứu thân tác giả Các kết nghiên cứu kết luận luận án trung thực, không chép từ nguồn hình thức Việc tham khảo nguồn tài liệu (nếu có) thực trích dẫn ghi nguồn tài liệu tham khảo theo yêu cầu Tác giả luận án Nguyễn Đức Hoàng i TÓM TẮT LUẬN ÁN Mặc dù, nhà nghiên cứu có nhiều nỗ lực năm gần việc nghiên cứu hệ thống truy vấn ảnh, chưa có giải thuật thuyết phục chấp nhận phổ biến biểu diễn đặc điểm nhìn người (human vision), đặc biệt mô tả ảnh đạt độ xác cao theo nội dung cần quan tâm, điều thách thức lớn với tất nhà nghiên cứu So sánh với nghiên cứu hệ thống CBIR (Content-based Image Retrieval) công bố trước năm 2000, khác biệt thấy nghiên cứu 10 năm gần việc gia tăng đa dạng đặc trưng mô tả ảnh Các đề xuất bắt nguồn từ cải tiến đặc trưng ảnh (như: histogram màu, texture, shape,…) đến phát triển đặc trưng ảnh dựa phép biến đổi wavelets, contourlets… kết hợp đa dạng mô hình toán học thiết kế hệ thống CBIR Do đó, Luận án tập trung nghiên cứu ứng dụng biến đổi wavelets vào thiết kế hệ thống CBIR mà cụ thể xây dựng thuật toán trích đặc trưng ảnh dùng biến đổi wavelets giải thuật truy vấn phù hợp, khả ứng dụng mở rộng đặc trưng đề xuất Trong Luận án này, việc chọn lựa hướng nghiên cứu lấy biến đổi wavelets làm sở nghiên cứu sâu thiết kế đặc trưng ảnh ứng dụng vào truy vấn ảnh đạt kết định Theo đó, mô tả đặc trưng ảnh dựa biến đổi wavelets đề xuất kết hợp với thiết kế giải thuật truy vấn Cụ thể, Luận án đề xuất ba đặc trưng ảnh là: đặc trưng ảnh contourlet cooccurrence, đặc trưng ảnh phase-based LBP, đặc trưng ảnh contourlet Harris giải thuật truy vấn ảnh là: Giải thuật phối hợp đặc trưng để truy vấn ảnh (matching), Giải thuật truy vấn ảnh dùng đặc trưng contourlet cooccurrence (CC), Giải thuật truy vấn ảnh dùng đặc trưng phase-based LBP (pbLBP), Giải thuật truy vấn ảnh dùng đặc trưng contourlet Harris (CH) Để đánh giá mức độ hiệu giải thuật truy vấn ảnh cần phải có phương pháp, tiêu chuẩn đánh giá thích hợp đặc thù cho lĩnh vực truy vấn ảnh Luận án chọn lựa, giới thiệu phương pháp, thông số đánh giá để sử dụng cho thực nghiệm Luận án Đây phương pháp thông số đánh giá nhiều nhà nghiên cứu lĩnh vực truy vấn ảnh, truy vấn thông tin ii sử dụng nên có giá trị cao việc tham chiếu hiệu kết thực nghiệm giải thuật đề xuất so với giải thuật công bố Ngoài ra, Luận án khảo sát khả sử dụng đặc trưng đề xuất vào ứng dụng phân loại ảnh (image classification) hướng nghiên cứu có liên quan chặt chẽ với truy vấn ảnh Các đề xuất gồm phương pháp MKL (Multiple Kernel Learning) kết hợp kernel, integrate method chọn class có độ xác cao để gia tăng độ xác phân loại cho thấy mức độ hiệu so sánh với phương pháp công bố gần Nhìn chung, Luận án giới thiệu tổng hợp công trình công bố quan trọng có liên quan đến hướng nghiên cứu có đề xuất trích đặc trưng ảnh, thiết kế giải thuật truy vấn ảnh, kiểm chứng hiệu truy vấn đề xuất thông qua thực nghiệm cho kết truy vấn cải tiến Luận án nghiên cứu ứng dụng mở rộng đặc trưng đề xuất hướng nghiên cứu phân loại ảnh Tất công trình giới thiệu nghiên cứu đề xuất Luận án đáp ứng mục tiêu nghiên cứu theo “thang độ” khác Các thực nghiệm đóng vai trò minh chứng để đưa nhận định, kết luận có giá trị tham khảo cho nghiên cứu sau Trên sở mục tiêu đề ra, Luận án đề xuất trích đặc trưng ảnh dựa biến đổi wavelets, thiết kế giải thuật truy vấn, đề xuất giải pháp ứng dụng phân loại ảnh Các thực nghiệm chứng minh hiệu cải tiến giải thuật đề xuất Tóm lại, Luận án với kết nghiên cứu đạt thiết thực, có đóng góp cụ thể, đáp ứng mục tiêu đề cho Luận án iii ABSTRACT Although researchers have made great efforts in recent years for the study of image retrieval systems, but no algorithm is accepted widely that can extract image features like human visions This is always the challenge to all researchers Compared to the previous researches of Content-based Image Retrieval (CBIR) systems published before the year 2000, the differences viewed in the recent decades of studies are the increasing of many image features The improvements are based on basic image features (such as color histogram, texture, shape …), to develop new image features based on the transformations such as the wavelets, the contourlets… and combine many mathematical operators to design CBIR systems Therefore, the thesis is focused into researches based on the wavelet transform to extract image features then using these features to design CBIR systems and the extended application of the proposed features In the thesis, the choice of using the wavelet transform to extract image features and design CBIR systems have achieved certain results Accordingly, the waveletbased feature extractors have been proposed and used to design the image retrieval algorithms Three new image features has been proposed as follows: contourlet cooccurrence, phase-based LBP, contourlet Harris; and four image retrieval algorithms as follows: global features matching (matching), using the contourlet cooccurrence feature (CC), using the phase-based LBP feature (pbLBP), using the contourlet Harris feature (CH) To evaluate retrieval effectiveness of an image retrieval algorithm must have evaluation methods, evaluation criteria appropriate to image retrieval algorithms The thesis presents the evaluation methods based on the experimental parameters These methods and parameters have been used commonly in the performance evaluation of information retrieval and image retrieval by many researchers So that, achieved experimental results have high values to compare between proposed algorithms with other related algorithms Furthermore, the thesis also examine the possibility of using the proposed features in image classification that is closely to the relation of CBIR In this extended application, the proposed methods consists of Multiple Kernel Learning iv (MKL) and integrated methods to increase the classification accuracy The experiment results show the efficient perfomance compared with the state-of-the-art methods Overall, the thesis has introduced a combined research has proposed new image features, new image retrieval algorithms They have been verified the retrieval effectiveness through the experimental simulations that have improved the query results The thesis also research an extended application of the proposed features applied to the image classification All of the introduced and proposed works in the thesis have achieved the research objectives by different levels The empirical evidences have been used to make remarks, conclusions and maybe referenced to further researches Based on the research objectives, the thesis has proposed image retrieval algorithms using the wavelet-based feature extraction The experiments have demonstrated the improved retrieval effectiveness of the proposed algorithms in CBIR and image classification In summary, the contributions of the thesis are practical and specific, fulfill all research objectives v LỜI CÁM ƠN Trong trình thực Luận án, Trường Đại học Bách Khoa Tp Hồ Chí Minh Trung tâm Nghiên cứu Ứng Dụng Khoa học Kỹ thuật Truyền hình (BRAC), đơn vị nơi công tác, hỗ trợ tạo điều kiện thuận lợi, xin bày tỏ cảm ơn chân thành đến đơn vị Luận án hoàn thành hướng dẫn tận tình giúp đỡ quý báu PGS.TS Lê Tiến Thường, TS Đỗ Hồng Tuấn người Thầy mà muốn bày tỏ lòng biết ơn sâu sắc Xin bày tỏ trân trọng với góp ý có giá trị khoa học sâu sắc quý báu PGS.TS Dương Anh Đức, PGS.TS Nguyễn Văn Khang có phân tích xác đáng giúp hoàn thiện nội dung Luận án Tôi xin cảm ơn tập thể thầy cô Khoa Điện-Điện tử, đặc biệt Thầy cô Bộ môn Viễn Thông có ý kiến đóng góp phản biện suốt trình nghiên cứu hoàn chỉnh Luận án, cảm ơn Phòng Đào tạo sau đại học hỗ trợ thủ tục trình hoàn thành khóa học Nghiên cứu sinh Tôi xin tỏ lòng cảm ơn đến PGS.TS Đặng Thành Tín, PGS.TS Hoàng Đình Chiến, TS Trịnh Hoàng Hơn, TS Nguyễn Thanh Hải, TS Nguyễn Thanh Hùng có góp ý quan trọng trình thực nội dung Luận án Xin cảm ơn Ban giám đốc Trung tâm Nghiên cứu Ứng Dụng Khoa học Kỹ thuật Truyền hình (BRAC) – Đài Truyền hình Việt Nam TS Trần Dũng Trình, nguyên Giám đốc đơn vị có nhiều hỗ trợ chuyên môn, thời gian, kinh phí để hoàn thành Luận án Tôi xin bày tỏ lòng cảm ơn đến cố PGS.TSKH Nguyễn Kim Sách, nguyên Giám đốc Trung tâm Nghiên cứu Ứng Dụng Khoa học Kỹ thuật Truyền hình (BRAC) có dìu dắt, khích lệ trình nghiên cứu khoa học Cuối cùng, cảm ơn tất giúp đỡ người thân, đồng nghiệp, bạn bè đóng góp ý kiến, động viên khích lệ, tạo nguồn lực tinh thần to lớn để thực hoàn thành công trình Luận án TRÂN TRỌNG - Tháng 12 năm 2013 vi MỤC LỤC CHƯƠNG - GIỚI THIỆU 1.1 Đặt vấn đề 1.1.1 Phương pháp xử lý truy vấn 1.1.2 Sự cần thiết nghiên cứu 1.1.3 Hướng nghiên cứu .4 1.2 Mục tiêu nội dung nghiên cứu 10 1.3 Những đóng góp Luận án 10 1.3.1 Nghiên cứu phối hợp đặc trưng toàn cục để truy vấn ảnh 10 1.3.2 Nghiên cứu kết hợp biến đổi contourlets ma trận GLCM để đề xuất mô tả đặc trưng ảnh contourlet cooccurrence 10 1.3.3 Nghiên cứu kết hợp biến đổi wavelets phức toán tử LBP để truy vấn ảnh texture 11 1.3.4 Nghiên cứu kết hợp biến đổi Nonsubsampled Contourlet (NSCT) dò góc Harris để hình thành trích đặc trưng contourlet Harris thiết kế giải thuật truy vấn 11 1.3.5 Thực nghiệm khảo sát đánh giá mở rộng giải thuật đề xuất so sánh hiệu truy vấn với số giải thuật công bố khác 12 1.3.6 1.4 Ứng dụng mở rộng đặc trưng đề xuất 12 Cấu trúc Luận án 13 CHƯƠNG - CÁC KỸ THUẬT THIẾT KẾ, ĐÁNH GIÁ HỆ THỐNG TRUY VẤN ẢNH VÀ CÁC MÔ HÌNH NGHIÊN CỨU 14 2.1 Các kỹ thuật trích đặc trưng ảnh 14 2.1.1 Biểu diễn mô tả ảnh 14 2.1.2 Các đặc trưng 15 2.1.3 Các đặc trưng dựa wavelets .18 2.2 Kỹ thuật đo đạc tương tự đặc trưng 19 2.3 Đánh giá hiệu giải thuật truy vấn 19 2.4 Xây dựng mô hình nghiên cứu 20 2.4.1 Các mô hình nghiên cứu trích đặc trưng ảnh 21 2.4.2 Nhận xét 30 2.5 Kết chương .31 CHƯƠNG - ĐỀ XUẤT CÁC PHƯƠNG PHÁP TRÍCH ĐẶC TRƯNG ẢNH VÀ GIẢI THUẬT TRUY VẤN 32 vii 3.1 Phối hợp đặc trưng để truy vấn ảnh 32 3.1.1 Chọn đặc trưng ảnh .34 3.1.2 Thiết kế giải thuật truy vấn .36 3.1.3 Độ phức tạp giải thuật .39 3.1.4 Thực nghiệm đánh giá .39 3.1.5 Kết luận .44 3.2 Truy vấn ảnh dùng đặc trưng ảnh contourlet cooccurrence 44 3.2.1 Phương pháp đề xuất 45 3.2.2 Đặc trưng ảnh contourlet cooccurrence 46 3.2.3 Lựa chọn phép đo tương tự mặc định 50 3.2.4 Kết thực nghiệm 51 3.2.5 Kết luận .53 3.3 Truy vấn ảnh dùng đặc trưng ảnh phase-based LBP .53 3.3.1 Đặc trưng ảnh Phased-Based LBP 55 3.3.2 Kết thực nghiệm 57 3.3.3 Kết luận .61 3.4 Truy vấn ảnh dùng đặc trưng ảnh contourlet Harris .62 3.4.1 Phương pháp đề xuất 62 3.4.2 Bộ dò contourlet Harris .64 3.4.3 Đề xuất giải thuật truy vấn 67 3.4.4 Kết thực nghiệm 68 3.4.5 Kết luận .71 3.5 Đánh giá MAP đề xuất với kết [8] .72 3.6 Kết chương .73 CHƯƠNG - THỰC NGHIỆM KHẢO SÁT MỨC ĐỘ HIỆU QUẢ CỦA CÁC GIẢI THUẬT TRUY VẤN ĐỀ XUẤT 74 4.1 Các hướng khảo sát thực nghiệm .74 4.2 Khảo sát hiệu giải thuật đề xuất so với giải thuật truy vấn ảnh khác 74 4.2.1 Khảo sát với sở liệu ảnh: UIUC 75 4.2.2 Khảo sát với sở liệu ảnh: Brodatz 81 4.3 Kết chương .87 CHƯƠNG - ỨNG DỤNG MỞ RỘNG 90 5.1 Phân loại ảnh 91 5.1.1 Các bước xử lý mô hình BoW 91 viii Bảng D.6 Kết đo hiệu truy vấn dùng matching (phép đo mặc định) Bảng D.7 Kết đo hiệu truy vấn dùng CC (phép đo correlation) 201 Bảng D.8 Kết đo hiệu truy vấn dùng pbLBP (phép đo Manhattan) Bảng D.9 Kết đo hiệu truy vấn dùng CH (phép đo cosine) 202  Hình D.10, PR19 đường cong trung bình sử dụng giải thuật phối hợp đặc trưng để truy vấn ảnh (matching) Hình D.10 Các đường cong PR1 đến PR18 class sử dụng giải thuật matching  Hình D.11, PR19 đường cong trung bình sử dụng giải thuật truy vấn ảnh dùng đặc trưng CC Hình D.11 Các đường cong PR1 đến PR18 class, sử dụng đặc trưng CC 203  Hình D.12, PR19 đường cong trung bình sử dụng giải thuật truy vấn ảnh dùng đặc trưng pbLBP Hình D.12 Các đường cong PR1 đến PR18 class, sử dụng đặc trưng pbLBP  Hình D.13, PR19 đường cong trung bình sử dụng giải thuật truy vấn ảnh dùng đặc trưng CH Hình D.13 Các đường cong PR1 đến PR18 class, sử dụng đặc trưng CH 204  Hình D.14, giải thuật matching có ̃ , R-precision, MAP tốt nhất; theo thứ tự giảm dần giải thuật: pbLBP, CC, CH Hình D.14 So sánh giải thuật truy vấn ảnh matching, CC, pbLBP, CH theo ̃ , R-precision, MAP khảo sát tập ảnh MSRC  Hình D.15, D.16, & D.17, đường cong PR F-measure cho thấy thứ tự từ tốt đến giảm dần giải thuật sau: matching, pbLBP, CC, CH Hình D.15 So sánh giải thuật truy vấn: matching, CC, pbLBP, CH theo đường cong độ xác độ phủ khảo sát tập ảnh MSRC Hình D.16 So sánh giải thuật truy vấn ảnh matching, CC, pbLBP, CH theo đường cong PR khảo sát tập ảnh MSRC 205 Hình D.17 So sánh giải thuật truy vấn: matching, CC, pbLBP, CH theo Fmeasure ứng với β = {0.5, 1, 2} khảo sát tập ảnh MSRC  Nhận xét đánh giá Kết khảo sát thông số đánh giá cho thấy có khác biệt lớn hiệu truy vấn class ứng với giải thuật sử dụng Điều thấy rõ khảo sát đường cong PR class theo phương pháp truy vấn (Hình D.10, D.11, D.12, D.13) Tuy vậy, có thông số mà khác biệt không nhiều lớp theo truy vấn thông số P(10), P(Best, 10), P(Best5, 10)… Bảng D.6, D.7, D.8, D.9 Trong Hình D.14, biểu đồ đánh giá ̃ phương pháp cho thấy kết class có mức độ khác không nhiều Tuy nhiên, thông số R-precision, MAP có khác biệt lớn Trong Hình D.15 Hình D.16, kết khảo sát đường cong precision, recall, đường cong PR cho kết trực quan Có thể thấy rõ, đường cong ứng với giải thuật matching nằm so với đường cong khác đồng nghĩa với hiệu truy vấn tốt (các đường cong màu red) Các giải thuật có hiệu truy vấn giảm dần theo thứ tự là: pbLBP (các đường cong màu blue), CC (các đường cong màu green), CH (các đường cong màu cyan) Các kết đánh giá dựa F-measure tương tự đánh giá thông qua đường cong PR Tóm lại, kết đánh giá hiệu truy vấn tập ảnh MSRC giải thuật đề xuất có thứ tự (từ tốt đến giảm dần) sau: matching, pbLBP, CC, CH 206 D.2.2 Khảo sát với sở liệu ảnh: COIL-100 Thực nghiệm khảo sát hiệu truy vấn tập ảnh COIL-100 nhằm khảo sát khả truy vấn giải thuật đề xuất tập ảnh đặc thù (chỉ gồm đối tượng), có kích thước lớn (7200 ảnh), có số class lớn (100 class) Do có số class lớn nên việc trình bày thông số theo dạng bảng khảo sát tập ảnh MSRC không phù hợp (yêu cầu kích thước bảng lớn, khó trình bày) Trong thực nghiệm khảo sát tập ảnh này, kết trình bày theo biểu đồ dạng cột cho class Với khảo sát thực nghiệm giải thuật truy vấn, thông số đo tất class biễu diễn biểu đồ stairstep theo màu dạng đường (nét liền, nét đứt, nét chấm,…) biểu độ dạng cột  Kết khảo sát Bảng D.10 tổng hợp kết đo thời gian khảo sát giải thuật Bảng D.10 Tổng hợp thông số khảo sát giải thuật đề xuất COIL-100 Giải thuật Matching CC pbLBP CH Cơ sở liệu ảnh Thực thi Trích đặc trưng histogram Trích đặc trưng Gabor wavelet Trích đặc trưng contourlet Tính ma trận PR Trích đặc trưng CC Tính ma trận PR Trích đặc trưng pbLBP Tính ma trận PR Trích đặc trưng CH Tính ma trận PR Coil-100 Thời gian xử lý (giây) 43.3 19,347.0 423.8 2,690.5 1,283.6 22,837.0 1,644.0 6,891.5 16,570.0 8,567.1 Số ảnh: 7200 ảnh, 100 class Hình D.18 Hình D.19 biểu đồ stairstep thông số đánh giá: P(10), P(30), P(N/2), P(N), P(Best, 10), P(Best, 30), P(Best5, 10), P(Best5, 30), R(N), R(N/2), R(Best, N), R(Best, N/2) giải thuật đề xuất Kết cho thấy giải thuật matching có kết đánh giá thông số ổn định cho class nhất, giải thuật CC có mức độ ổn định thông số đánh giá class Hình D.20, D.21, & D.22 biều đồ cột đánh giá thông số ̃ , MAP, R-precision 207 giải thuật đề xuất theo class giá trị trung bình class thông số Hình D.23 đường cong PR khảo sát hiệu truy vấn giải thuật đề xuất Hình D.24 đường cong độ xác độ phủ vẽ ứng với ngưỡng Rq = [1,…, 1000] Hình D.25 khảo sát đường cong F-measure giải thuật tương ứng với giá trị β = {0.5, 1, 2}  Nhận xét đánh giá Có thể thấy rõ, tất thông số đánh giá giải thuật đề xuất khảo sát tập ảnh COIL-100 tốt nhiều so với tập ảnh MRSC Trong đó, giải thuật matching cho kết tốt (các thông số P(10), P(30), P(N/2), P(N), P(Best, 10), P(Best, 30), P(Best5, 10), P(Best5, 30), R(N), R(N/2), R(Best, N), R(Best, N/2), ̃ , MAP, P-precision) nhiều class so với CC, pbLBP, CH Các đường cong PR, đường cong precision, recall, F-measure biểu diễn rõ mức độ hiệu truy vấn phương pháp đề xuất (Hình D.23, D.24, D.25) Theo đó, matching tốt nhất, pbLBP CH gần tương đương, CC  Giải thuật matching có kết đánh giá thông số ổn định cho class so với giải thuật CC Hình D.18 Các biểu đồ stairstep thông số đánh giá giải thuật matching giải thuật CC khảo sát tập COIL-100 208  Hình D.18 & Hình D.19, kết cho thấy giải thuật matching có kết đánh giá thông số ổn định cho class nhất, giải thuật CC có mức độ ổn định thông số đánh giá class Hình D.19 Các biểu đồ stairstep thông số đánh giá giải thuật pbLBP giải thuật CH khảo sát tập COIL-100  Kết đo ̃ (Hình D.20), MAP (Hình D.21), P-precision (Hình D.22): giải thuật matching tốt nhất, hai giải thuật pbLBP CH gần tương tự nhau, giải thuật CC Hình D.20 Các biểu đồ cột đánh giá ̃ theo class giải thuật đề xuất khảo sát tập COIL-100 209 Hình D.21 Các biểu đồ cột đánh giá MAP theo class giải thuật đề xuất khảo sát tập COIL-100 Hình D.22 Các biểu đồ cột đánh giá R-precision theo class giải thuật đề xuất khảo sát tập COIL-100  Các đường cong PR (Hình D.23), đường cong Precision Recall (Hình D.24), F-measure (Hình D.25): mức độ hiệu giải thuật matching tốt nhất, hai giải thuật pbLBP CH gần tương tự nhau, giải thuật CC có mức độ hiệu 210 Hình D.23 Đường cong PR giải thuật đề xuất (COIL-100) Hình D.24 Đường cong Precision, Recall giải thuật đề xuất (COIL-100) Hình D.25 Đường cong F-measure (β = {0.5, 1, 2}) giải thuật (COIL-100) 211 D.2.3 Khảo sát với sở liệu ảnh CALTECH-101 Tập ảnh Caltech 101 dùng cho thực nghiệm sử dụng phiên cũ (khác đôi chút với phiên giới thiệu Mục C.2.8) dùng class zebra thay class background nên có tổng số ảnh 8773 ảnh Do có số class lớn nên việc trình bày kết thực nghiệm tương tự với tập ảnh COIL-100 mục D.2.2  Kết khảo sát Bảng D.11 tổng hợp kết đo thời gian khảo sát giải thuật Bảng D.11 Tổng hợp thông số khảo sát giải thuật đề xuất CALTECH-101 Giải thuật Matching CC pbLBP CH Thực thi Trích đặc trưng histogram Trích đặc trưng Gabor wavelet Trích đặc trưng contourlet Tính ma trận PR Trích đặc trưng CC Tính ma trận PR Trích đặc trưng pbLBP Tính ma trận PR Trích đặc trưng CH Tính ma trận PR Cơ sở liệu ảnh CALTECH-101 Thời gian xử lý (giây) 87.9 12,741.0 1,104.8 6,478.4 1,432.8 2,414.3 5,804.6 12,172.0 15,761.0 13,217.0 Số ảnh: 8773 ảnh, 101 class Hình D.26 Hình D.27 biểu đồ stairstep thông số đánh giá: P(10), P(30), P(N/2), P(N), P(Best, 10), P(Best, 30), P(Best5, 10), P(Best5, 30), R(N), R(N/2), R(Best, N), R(Best, N/2) giải thuật đề xuất Hình D.28, D.29, & D.30 biều đồ cột đánh giá thông số ̃ , MAP, R-precision giải thuật đề xuất theo class giá trị trung bình class thông số Hình D.31 đường cong PR khảo sát hiệu truy vấn giải thuật đề xuất Hình D.32 đường cong độ xác độ phủ vẽ ứng với ngưỡng Rq = [1,…, 1000] Hình D.33 khảo sát đường cong F-measure giải thuật tương ứng với giá trị β = {0.5, 1, 2}  Nhận xét đánh giá Khi khảo sát tập ảnh CALTECH-101 khó để đánh giá hiệu truy vấn giải thuật đề xuất dựa biểu đồ stairstep (Hình D.26 Hình D.27) 212 Các biều đồ cột đánh giá thông số ̃ , MAP, R-precision hỗ trợ đánh giá tốt hiệu truy vấn class ảnh Tuy nhiên, để đánh giá hiệu trung bình toàn tập ảnh đường cong PR (Hình D.31) dễ nhận thấy Theo đó, mức độ truy vấn hiệu từ tốt đến theo thứ tự giải thuật: matching, pbLBP, CH, CC Hình D 26 Các biểu đồ stairstep thông số đánh giá giải thuật matching giải thuật CC khảo sát tập CALTECH-101 Hình D.27 Các biểu đồ stairstep thông số đánh giá giải thuật pbLBP giải thuật CH khảo sát tập CALTECH-101 213 Hình D.28 Các biểu đồ cột đánh giá ̃ theo class giải thuật đề xuất khảo sát tập CALTECH-101 Hình D.29 Các biểu đồ cột đánh giá MAP theo class giải thuật đề xuất khảo sát tập CALTECH-101 Hình D.30 Các biểu đồ cột đánh giá R-precision theo class giải thuật đề xuất khảo sát tập CALTECH-101 214 Hình D.31 Đường cong PR giải thuật đề xuất (CALTECH-101) Hình D.32 Đường cong Precision, Recall giải thuật đề xuất (CALTECH-101) Hình D.33 Đường cong F-measure (β = {0.5, 1, 2}) giải thuật (CALTECH-101) 215 [...]... này sử dụng nhiều giải pháp khác nhau để trích đặc trưng ảnh và thiết kế hệ thống Theo đó, các đặc trưng ảnh mô tả nội dung ảnh có thể phân loại như sau:  Đặc trưng mức thấp (low-level features) thường là các đặc trưng cơ bản (màu, texture, shape, );  Đặc trưng mức cao (high-level features) là các đặc trưng có thể mô tả nội dung ảnh theo ngữ cảnh (nghĩa là có thể mô tả ảnh ở mức cao hơn như: cảnh... toán rút trích đặc trưng ảnh dùng biến đổi wavelets và giải thuật truy vấn phù hợp, cùng khả năng ứng dụng mở rộng của các đặc trưng đề xuất Các nội dung được triển khai nghiên cứu gồm: 1 Nghiên cứu khả năng kết hợp của các đặc trưng ảnh được tạo ra dựa trên biến đổi wavelets và các đặc trưng phổ biến khác như đặc trưng màu, đặc trưng texture,… 2 Nghiên cứu xây dựng đặc trưng ảnh dựa trên các wavelets. .. Intergrated Region Matching xiv Chú thích nghĩa tiếng Việt (Hệ thống) truy vấn ảnh ALIP Độ chính xác trung bình (Đặc trưng) Affine-SIFT Mô hình túi các từ mã - BoW Truy vấn ảnh dựa trên nội dung (Giải thuật) truy vấn/ đặc trưng ảnh CC Vector đặc trưng màu CCV Bộ lọc băng hướng phức (Giải thuật) truy vấn/ đặc trưng ảnh CH (Giải thuật) truy vấn ảnh CW3C Biến đổi cosin rời rạc Dãy bộ lọc hướng Phương pháp DM... năng ứng dụng wavelets để trích đặc trưng ảnh và thiết kế hệ thống CBIR có thể mang lại hiệu quả truy vấn cao Rõ ràng, hướng nghiên cứu này vẫn còn nhiều “vùng” cần được khảo sát, và luôn có những kết quả mới trong các công trình công bố gần đây Vì thế, cần một nghiên cứu chi tiết, sâu hơn về vấn đề Truy vấn ảnh theo nội dung sử dụng trích đặc trưng trên nền wavelets và đó cũng chính là nội dung nghiên... đổi wavelets được ứng dụng trong nhiều đề xuất trích các đặc trưng ảnh mới Có nhiều nghiên cứu ứng dụng wavelets để truy vấn ảnh theo nhiều hướng khác nhau Ví dụ: các đặc trưng texture dựa trên spline wavelets được trích để truy vấn ảnh [51] Theo đó, các giá trị trung bình, độ lệch chuẩn (variance) của biên độ các hệ số băng con trong phân tích wavelet frame được dùng để thiết kế vector đặc trưng Sử dụng. .. Dựa trên tổng hợp nội dung và text: sẽ sử dụng kết hợp cả text và nội dung để thực hiện truy vấn ảnh Hệ thống minh họa cho xử lý này xem trong [2] [3]  Dựa trên phản hồi của hệ thống (mức đơn giản): hệ thống hỗ trợ tương tác với người sử dụng chỉ theo một tiêu chí nào đó Ví dụ: các hệ thống truy vấn ảnh trên cơ sở hồi tiếp dựa trên nội dung  Dựa trên phản hồi của hệ thống (mức tổng hợp): người sử dụng. .. [6],  Hệ thống truy vấn dùng wavelet correlogram [9], [10], Các hệ thống CBIR giới thiệu ở đây chủ yếu sử dụng biến đổi wavelets cơ bản để trích đặc trưng ảnh Từ các đặc trưng này, các tác giả kết hợp với những công cụ toán học, các đặc trưng khác để hình thành nên đặc trưng chung của ảnh Ví dụ, với hệ thống SIMPLYcity là sử dụng phân đoạn ảnh để hình thành các vùng ảnh, trích đặc trưng từng vùng... thức truy vấn sau thường được sử dụng trong các hệ thống truy vấn: 1  Từ khóa: người sử dụng đề xuất yêu cầu đơn giản bằng 1 hoặc 2 từ Đây hiện là cách phổ biến nhất để truy vấn ảnh, ví dụ: các công cụ truy vấn ảnh của Google và Yahoo!  Nhóm từ: người sử dụng dùng một nhóm từ, câu, câu hỏi hoặc một diễn giải thể hiện mong muốn cần hệ thống đáp ứng  Ảnh mẫu: người sử dụng muốn truy vấn một ảnh tương... KẾ, ĐÁNH GIÁ HỆ THỐNG TRUY VẤN ẢNH VÀ CÁC MÔ HÌNH NGHIÊN CỨU Nhìn chung, để mô tả được ảnh đạt độ chính xác cao theo ý nghĩa nào đó thì giải thuật trích đặc trưng ảnh phải biểu diễn được ảnh theo ý nghĩa đó, và hiệu quả truy vấn đạt được phụ thuộc cốt yếu vào đặc trưng ảnh được biểu diễn Đã có nhiều công trình công bố và chứng minh mức độ hiệu quả truy vấn dựa trên các đặc trưng ảnh đề xuất như: [4],... Retrieval) Bước đầu, hệ thống phải trích các đặc trưng của ảnh truy vấn (là ảnh mẫu hay ảnh đồ họa do người dùng yêu cầu), sau đó các đặc trưng ảnh này sẽ được so sánh với tập các đặc trưng ảnh của cơ sở dữ liệu ảnh trong hệ thống Hệ thống sẽ trả về kết quả là những ảnh trong cơ sở dữ liệu có các giá trị đo đạc sự khác biệt (về đặc trưng ảnh) nhỏ nhất so với ảnh truy vấn Đây cũng là hệ thống được nghiên