BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - ĐÀO THỊ THÚY QUỲNH NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT ĐIỀU CHỈNH TRỌNG SỐ HÀM KHOẢNG CÁCH LUẬN ÁN TIẾN SỸ CÔNG NGHỆ THÔNG TIN HÀ NỘI – 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - ĐÀO THỊ THÚY QUỲNH NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT ĐIỀU CHỈNH TRỌNG SỐ HÀM KHOẢNG CÁCH LUẬN ÁN TIẾN SỸ CÔNG NGHỆ THÔNG TIN Chuyên ngành: Khoa học máy tính Mã số: 62 48 01 01 Ngƣời hƣớng dẫn khoa học: PGS.TS Ngô Quốc Tạo PGS.TS Nguyễn Hữu Quỳnh Hà Nội – 2019 LỜI CAM ĐOAN Tôi xin cam đoan luận án “Nâng cao độ xác tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật điều chỉnh trọng số hàm khoảng cách” cơng trình nghiên cứu riêng tơi Các số liệu, kết trình bày luận án hoàn toàn trung thực chưa cơng bố cơng trình khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan nước quốc tế Ngoại trừ tài liệu tham khảo này, luận án hồn tồn cơng việc riêng tơi Trong cơng trình khoa học cơng bố luận án, tơi thể rõ ràng xác đóng góp đồng tác giả tơi đóng góp Luận án hồn thành thời gian làm Nghiên cứu sinh phòng Nhận dạng Cơng nghệ tri thức, Viện Cơng nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam Tác giả luận án NCS Đào Thị Thúy Quỳnh i LỜI CẢM ƠN Luận án Tiến sĩ ―Nâng cao độ xác tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật điều chỉnh trọng số hàm khoảng cách‖ hoàn thiện cố gắng thân giúp đỡ Thầy hướng dẫn khoa học, Ban lãnh đạo Học viện Khoa học Cơng nghệ Việt Nam, Ban lãnh đạo Khoa Tốn-Tin, trường Đại học Khoa học - Đại học Thái Nguyên, Ban lãnh đạo Khoa Công nghệ thông tin 1, Học viện Cơng nghệ Bưu Viễn thơng, chun gia nhà khoa học, đồng nghiệp, bạn bè người thân gia đình Trước tiên, nghiên cứu sinh xin bày tỏ lòng biết ơn chân thành đến Thầy hướng dẫn khoa học PGS.TS Ngô Quốc Tạo PGS.TS Nguyễn Hữu Quỳnh Nghiên cứu sinh nhận định hướng khoa học, học quý báu, hướng dẫn tận tình kinh nghiệm nghiên cứu khoa học quý giá nghiên cứu Tôi xin chân thành cảm ơn phòng Nhận dạng Cơng nghệ tri thức, Viện Công nghệ thông tin, Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện thuận lợi suốt trình nghiên cứu thực luận án Tôi xin chân thành cảm ơn Ban giám đốc Học viện Cơng nghệ Bưu Viễn thơng, Ban lãnh đạo Khoa, Bộ mơn Khoa học máy tính Thầy Cô Khoa Công nghệ thông tin quan tâm giúp đỡ để tơi hồn thành nhiệm vụ học tập Xin chân thành cảm ơn quan tâm, động viên đóng góp quý báu quý đồng nghiệp Cuối cùng, tơi xin bày tỏ lòng biết ơn vơ hạn tới thành viên gia đình, khuyến khích động viên gia đình động lực để tơi hồn thành luận án ii MỤC LỤC MỞ ĐẦU ix CHƢƠNG TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG 1.1 Giới thiệu 1.1.1 Tra cứu dựa vào văn 1.1.2 Tra cứu ảnh dựa vào nội dung .2 1.2 Trích rút đặc trƣng tra cứu ảnh .5 1.2.1 Đặc trƣng mầu 1.2.2 Đặc trƣng kết cấu 1.2.3 Đặc trƣng hình 11 1.2.4 Thông tin không gian 13 1.3 Đo khoảng cách 15 1.4 Phân cụm 19 1.5 Một số nghiên cứu liên quan giảm khoảng cách ngữ nghĩa tra cứu ảnh .20 1.6 Đánh giá hiệu 24 1.7 Kết luận Chƣơng định hƣớng nghiên cứu 25 CHƢƠNG PHƢƠNG PHÁP TRA CỨU ẢNH 27 LIÊN QUAN NGỮ NGHĨA 27 2.1 Giới thiệu 27 2.2 Sơ đồ ý tƣởng phƣơng pháp đề xuất 32 2.3 Phản hồi liên quan với truy vấn đa điểm .36 2.4 Thuật toán tra cứu ảnh đề xuất 38 iii 2.4.1 Phân cụm tập ảnh phản hồi 38 2.4.2 Thuật toán đề xuất cho phân cụm gia tăng 42 2.4.3 Công thức đề xuất cho tính khoảng cách cải tiến 47 2.4.4 Cơng thức đề xuất cho tính trọng số ngữ nghĩa truy vấn 47 2.4.5 Thuật toán đề xuất cho tính độ quan trọng đặc trƣng .48 2.4.6 Thuật toán đề xuất cho gộp danh sách kết 50 2.4.7 Thuật toán đề xuất chung cho tra cứu ảnh liên quan ngữ nghĩa .52 2.5 Đánh giá thực nghiệm 56 2.5.1 Môi trƣờng thực nghiệm 56 2.5.2 Chiến lƣợc mô phản hồi liên quan 58 2.5.3 Thực truy vấn đánh giá 58 2.6 Kết luận Chƣơng 61 CHƢƠNG PHƢƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG TRỌNG SỐ THÍCH NGHI 63 3.1 Giới thiệu 63 3.2 Thuật toán xác định điểm truy vấn tối ƣu trọng số thích nghi hàm khoảng cách cải tiến .68 3.3 Đề xuất thuật tốn tra cứu ảnh sử dụng trọng số thích nghi 73 3.4 Thử nghiệm đánh giá kết 75 3.4.1 Môi trƣờng thực nghiệm 75 3.4.2 Các kết thực nghiệm thảo luận 76 3.5 Kết luận Chƣơng 83 KẾT LUẬN 84 iv DANH MỤC HÌNH VẼ Hình 1.1 Khoảng cách ngữ nghĩa .3 Hình 1.2 Kiến trúc hệ thống tra cứu ảnh dựa vào nội dung Hình 1.3: Sơ đồ phản hồi liên quan .5 Hình 2.1 Hình dạng truy vấn (a) Dịch chuyển điểm truy vấn (b) Hình dạng lồi (đa điểm) (c) Hình dạng lõm (đa điểm) 29 Hình 2.2 Ba cụm khác (mầu đỏ, mầu vàng mầu trắng) cho chủ đề hoa hồng 30 Hình 2.3: Khoảng cách từ điểm đến truy vấn 31 Hình 2.4: Các điểm liệu không gian hai chiều 32 Hình 2.5 Cấu trúc phương pháp đề xuất 33 Hình 2.6 Bốn biểu diễn ảnh .35 Hình 2.7 Khơng gian đặc trưng ảnh xám 36 Hình 2.8 Minh họa tính trọng số ngữ nghĩa từ ảnh đến truy vấn 48 Hình 2.9 Mơ hình hệ thống 59 Hình 2.10 So sánh độ xác .61 Hình 3.1: Giao diện điển hình hệ thống CBIR với phản hồi liên quan .64 Hình 3.2 Minh họa vùng truy vấn tối ưu ngang (a) Hình bên trái: điểm truy vấn thứ (b) Hình bên phải: điểm truy vấn thứ hai 64 Hình 3.3 Sơ đồ tra cứu ảnh sử dụng trọng số thích nghi .66 Hình 3.4 Một hình ellip sinh từ mẫu phản hồi dương 71 Hình 3.5 Minh họa đưa danh sách kết bao gồm nhiều ảnh 72 không liên quan 72 Hình 3.6 Minh họa tính tốn hàm khoảng cách từ điểm hình ellip tương ứng với điểm truy vấn tối ưu 72 Hình 3.7 So sánh độ xác phương pháp 79 Hình 3.8 So sánh độ lệch chuẩn phương pháp 79 Hình 3.9 So sánh độ xác trung bình phương pháp Aweight với tập thực Aweight sử dụng nhận thức trực quan sinh viên 80 v Hình 3.10 So sánh độ xác trung bình phương pháp Aweight, Aweight_WLNR, Aweight_WIDF FGSSH 81 Hình 3.11 Thời gian thực tra cứu phương pháp đề xuất với hai trường hợp .82 Hình B.1 Giao diện frm_Class_Images 100 Hình B.2.Giao diện frm_Type_of_Features 100 Hình B.3 Giao diện frm_Images_Database 101 Hình B.4 Giao diện frm_Upload_Images .101 Hình B.5 Giao diện frm_Trainning 102 Hình B.6 Giao diện frm_Features 102 Hình B.7 Giao diện bước biến đổi ảnh tra cứu đa biểu diễn 103 Hình B.8 Giao diện bước gộp phản hồi lần 103 Hình B.9 Giao diện bước phân cụm tra cứu cụm 104 Hình B.10 Giao diện bước gộp kết tra cứu phản hồi lần 104 Hình B.11 Giao diện hệ thống 105 Hình B.12 Giao diện Load Dataset 105 Hình B.13 Giao diện đưa vào ảnh truy vấn chọn số lượng ảnh trả .106 Hình B.14 Kết truy vấn khởi vào người dùng phản hồi (ảnh có viền mầu đỏ) 107 Hình B.15 Thực phân cụm tập ảnh người dùng chọn hiển thị tập ảnh cụm .107 Hình B.16 Thực hiên tra cứu với trọng số thích nghi lần lặp thứ 108 Hình B.17 Thực hiên tra cứu với trọng số thích nghi lần lặp thứ hai .108 Hình B.18 Thực hiên tra cứu với trọng số thích nghi lần lặp thứ ba 109 vi DANH MỤC BẢNG BIỂU Bảng 2.1: Kết phân cụm ba phương pháp 46 Bảng 2.2 Các loại đặc trưng 57 Bảng 2.3 Bảng kết phương pháp theo số truy vấn lần phản hồi 60 Bảng 3.1 Các loại đặc trưng 75 Bảng 3.2 Bảng kết trung bình độ xác phương pháp theo số điểm truy vấn ba lần phản hồi 78 Bảng A1 Độ xác trung bình 34 loại truy vấn với lần lặp phản hồi phương pháp SRIR đề xuất chương 94 Bảng A2 Độ xác trung bình 80 loại truy vấn với lần lặp phản hồi phương pháp đề xuất chương 96 vii Dạng viết tắt ARP AWEIGHT CBIR CLUE CSDL EM FQM GMM IF INC Phương pháp JF Precision Recall RF RGB SRIR SVM 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 95 Bảng A2 Độ xác trung bình 80 loại truy vấn với lần lặp phản hồi phƣơng pháp đề xuất chƣơng STT Tên loại art_1 art_antiques art_cybr art_dino art_mural bld_castle bld_lighthse bld_modern bld_sculpt 10 eat_drinks 11 eat_feasts 12 Fitness 13 obj_234000 14 obj_aviation 15 obj_balloon 16 obj_bob 17 obj_bonsai 96 18 obj_bus 19 obj_car 20 obj_cards 21 obj_decoys 22 obj_dish 23 obj_doll 24 obj_door 25 obj_eastregg 26 obj_flags 27 obj_mask 28 obj_mineral 29 obj_moleculr 30 obj_orbits 31 obj_ship 32 obj_steameng 33 obj_train 34 pet_cat 35 pet_dog 36 pl_flower 37 pl_foliage 38 pl_mashroom 39 sc_ 97 40 sc_autumn 42 sc_cloud 43 sc_firewrk 44 sc_forests 45 sc_iceburg 46 sc_indoor 47 sc_mountain 48 sc_night 49 sc_rockform 50 sc_rural 51 sc_sunset 52 sc_waterfal 53 sc_waves 54 sp_ski 55 texture_1 56 texture_2 57 texture_3 58 texture_4 59 texture_5 60 texture_6 61 wl_buttrfly 62 wl_cat 98 99 63 wl_cougr 64 wl_deer 65 wl_eagle 66 wl_elephant 67 wl_fish 68 wl_fox 69 wl_goat 70 wl_horse 71 wl_lepoad 72 wl_lion 73 wl_lizard 74 wl_nests 75 wl_owls 76 wl_porp 76 wl_primates 77 wl_roho 78 art_1 79 art_antiques 80 art_cybr PHỤ LỤC B Phần mềm tra cứu theo đề xuất luận án Hình B.1 – B.10 hình ảnh giao diện hệ thống đề xuất chương Hình B.1 Giao diện frm_Class_Images Hình B.2.Giao diện frm_Type_of_Features 100 Hình B.3 Giao diện frm_Images_Database Hình B.4 Giao diện frm_Upload_Images 101 Hình B.5 Giao diện frm_Trainning Hình B.6 Giao diện frm_Features 102 Hình B.7 Giao diện bƣớc biến đổi ảnh tra cứu đa biểu diễn Hình B.8 Giao diện bƣớc gộp phản hồi lần 103 Hình B.9 Giao diện bƣớc phân cụm tra cứu cụm Hình B.10 Giao diện bƣớc gộp kết tra cứu phản hồi lần 104 Hình B.11 – B.10 hình ảnh hệ thống đề xuất chương Hình B.11 Giao diện hệ thống Hình B.12 Giao diện Load Dataset 105 Hình B.13 Giao diện đƣa vào ảnh truy vấn chọn số lƣợng ảnh trả 106 Hình B.14 Kết truy vấn khởi vào ngƣời dùng phản hồi (ảnh có viền mầu đỏ) Hình B.15 Thực phân cụm tập ảnh ngƣời dùng chọn hiển thị tập ảnh cụm 107 Hình B.16 Thực hiên tra cứu với trọng số thích nghi lần lặp thứ Hình B.17 Thực hiên tra cứu với trọng số thích nghi lần lặp thứ hai 108 Hình B.18 Thực hiên tra cứu với trọng số thích nghi lần lặp thứ ba 109 ... khăn tra cứu dựa vào văn sở liệu ảnh lớn hệ thống CBIR cung cấp kết xác 1.1.2 Tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung (CBIR) ứng dụng kỹ thuật thị giác máy tính tốn tra cứu ảnh. .. Quỳnh Hà Nội – 2019 LỜI CAM ĐOAN Tôi xin cam đoan luận án Nâng cao độ xác tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật điều chỉnh trọng số hàm khoảng cách cơng trình nghiên cứu riêng Các số liệu,... THÚY QUỲNH NÂNG CAO ĐỘ CHÍNH XÁC TRA CỨU ẢNH DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT ĐIỀU CHỈNH TRỌNG SỐ HÀM KHOẢNG CÁCH LUẬN ÁN TIẾN SỸ CÔNG NGHỆ THƠNG TIN Chun ngành: Khoa học máy tính Mã số: 62 48