BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG ISO 9001:2008 TRỊNH KHẮC DŨNG LUẬN VĂN THẠC SĨ NGÀNH HỆ THỐNG THƠNG TIN Hải Phòng - 2016 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG TRỊNH KHẮC DŨNG HỌC BÁN GIÁM SÁT TRÊN ĐỒ THỊ VỚI ỨNG DỤNG TRA CỨU ẢNH LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 60 48 01 04 NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Ngô Quốc Tạo ii MỤC LỤC LỜI CẢM ƠN v LỜI CAM ĐOAN vi DANH MỤC CHỮ VIẾT TẮT vii DANH MỤC HÌNH VẼ viii DANH MỤC BẢNG BIỂU ix MỞ ĐẦU x CHƢƠNG 1: KHÁI QUÁT VỀ CBIR VÀ HỌC TRÊN ĐỒ THỊ 1.1 Tra cứu ảnh dựa nội dung với phản hồi liên quan 1.1.1 Giới thiệu 1.1.2 Kiến trúc tổng quan hệ thống CBIR với phản hồi liên quan 1.1.3 Các kỹ thuật phản hồi liên quan 1.2 Học máy thống kê 1.2.1 Một số khái niệm 1.2.2 Các phương pháp học máy 10 1.3 Học đồ thị 15 1.3.1 Giới thiệu 15 1.3.2 Xây dựng đồ thị 16 1.3.3 Phân tích đồ thị 17 1.3.4 Các mơ hình học dựa đồ thị 23 CHƢƠNG 2: TRA CỨU ẢNH DỰA TRÊN XẾP HẠNG ĐA TẠP 34 2.1 Thuật toán lan truyền nhãn 34 2.1.1 Ký hiệu 34 2.1.2 Nội dung thuật toán 34 2.1.3 Sự hội tụ thuật toán 36 2.1.4 Phương pháp xác định siêu tham số đồ thị 38 2.1.5 Độ phức tạp thuật toán 40 2.2 CBIR dựa Xếp hạng đa tạp 41 2.2.1 Giới thiệu 41 2.2.2 Học truyền dẫn CBIR 42 2.2.3 Học truyền dẫn với phản hồi liên quan 44 iii 2.3 Kỹ thuật xếp hạng đa tạp cải tiến 47 2.3.1 Giới thiệu 47 2.3.2 Xây dựng đồ thị 48 2.3.3 Tính tốn xếp hạng 52 2.3.4 Phân tích độ phức tạp 54 CHƢƠNG 3: THỰC NGHIỆM 56 3.1 Môi trường thực nghiệm 56 3.1.1 Cơ sở liệu 56 3.1.2 Trích chọn đặc trưng 56 3.2 Mơ tả chương trình thực nghiệm 57 3.2.1 Mở ảnh truy vấn 57 3.2.2 Tra cứu ảnh 58 3.2.3 Phản hồi liên quan 59 3.3 Đánh giá hiệu 60 3.3.1 Đánh giá qua độ xác với ảnh trả khác 60 3.3.2 Đánh giá qua khảo sát tập liệu khác 62 3.3.3 Đánh giá thời gian thực 63 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 67 iv LỜI CẢM ƠN Trước tiên, em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Ngô Quốc Tạo, Viện Công nghệ Thông tin thuộc Viện Khoa học Công nghệ Việt Nam cán trực tiếp hướng dẫn khoa học cho em trình thực luận văn Em xin chân thành cảm ơn Th.S Ngô Trường Giang, Khoa Công nghệ thơng tin trường Đại học Dân lập Hải Phòng tận tình giúp đỡ đóng góp ý kiến q báu suốt q trình hồn thành luận văn Xin trân trọng cảm ơn Thầy cô Trường Đại Học Dân Lập Hải Phòng, đặc biệt Thầy Cô khoa Công Nghệ Thông Tin nhà trường tận tình bảo, giúp đỡ em suốt thời gian học tập nhà trường q trình làm luận văn Bên cạnh đó, để hoàn thành luận văn này, em nhận nhiều giúp đỡ, lời động viên quý báu bạn bè, gia đình đồng nghiệp Em xin chân thành cảm ơn Tuy nhiên, thời gian hạn hẹp, nỗ lực mình, luận văn khó tránh khỏi thiếu sót Em mong nhận thơng cảm bảo tận tình q thầy bạn Hải Phòng, ngày tháng năm 2016 HỌC VIÊN Trịnh Khắc Dũng v LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm nghiên cứu thân thực hướng dẫn Giáo viên hướng dẫn khoa học Trong toàn nội dung luận văn, điều trình bày cá nhân tơi, tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo trích dẫn hợp pháp xuất xứ rõ ràng Tơi xin chịu hồn toàn trách nhiệm với nội dung viết luận văn Hải Phòng, ngày tháng năm 2016 HỌC VIÊN Trịnh Khắc Dũng vi DANH MỤC CHỮ VIẾT TẮT Stt Từ viết tắt Mô tả ARE Augmented Relation Embedding CBIR Content-Based Image Retrieval CRF Conditional Random Field EMR Efficient Manifold Ranking k-NN k-Nearest Neighbor LGRM Local and Global Regressive Mapping MDP Markov Decision Process MR Manifold Ranking MRBIR Manifold Ranking Based Image Retrieval 10 MRF Markov Random Field 11 RF Relevance Feedback 12 SVM Support Vector Machine 13 TSVM Transductive Support Vector Machine vii DANH MỤC HÌNH VẼ Hình 1-1: Kiến trúc tổng quan hệ thống tra cứu ảnh dựa nội dung Hình 1-2: Mơ hình tổng quát hệ thống CBIR với phản hồi liên quan Hình 1-3: Minh họa Phân cụm liệu 12 Hình 1-4: Sơ đồ trình thực Học bán giám sát 15 Hình 1-5: chuỗi cấu trúc MRF 20 Hình 1-6: chuỗi cấu trúc CRF 20 Hình 2-1: Đồ thị với trọng số cạnh 34 Hình 2-2: Ví dụ minh họa ưu điểm kỹ thuật đa tạp 42 Hình 3-1: Tập sở liệu ảnh COREL 56 Hình 3-2: Giao diện chọn ảnh truy vấn chương trình 57 Hình 3-3: Giao diện hiển thị ảnh truy vấn 58 Hình 3-4: Giao diện hiển thị kết tra cứu ảnh ban đầu 58 Hình 3-5: Giao diện người dùng chọn ảnh liên quan 59 Hình 3-6: Giao diện hiển thị kết sau phản hồi 60 Hình 3-7: Biểu đồ so sánh độ xác số ảnh lấy ngẫu nhiên sau vòng phản hồi 62 Hình 3-8: Biểu đồ so sánh tập sở liệu Caltech 63 Hình 3-9: Biểu đồ so sánh thời gian thực 64 viii DANH MỤC BẢNG BIỂU Bảng 1: Độ xác số ảnh lấy ngẫu nhiên sở liệu sau lần phản hồi 61 Bảng 2: So sánh độ xác trung bình số lượng ảnh lấy ngẫu nhiên [20,40,60,80,100] ảnh CSDL sau lần phản hồi 61 Bảng 3: Kết khảo sát tập sở liệu Caltech 62 Bảng 4: So sánh thời gian thực phương pháp tập CSDL63 ix MỞ ĐẦU Trong tra cứu ảnh dựa nội dung, đặc trưng trích chọn cách tự động cách sử dụng kỹ thuật thị giác máy chủ yếu đặc trưng mức thấp thấp (màu, kết cấu, hình dạng, vị trí khơng gian…)[4] Mặc dù nhiều thuật tốn phức tạp thiết kế để mô tả màu sắc, hình dáng đặc trưng kết cấu, thuật tốn khơng thể phản ánh thỏa đáng ngữ nghĩa ảnh Do vậy, khoảng cách ngữ nghĩa đặc trưng mức thấp khái niệm mức cao lớn nên hiệu suất CBIR xa với mong đợi người dùng [9] Để thu hẹp khoảng cách ngữ nghĩa, phản hồi liên quan (Relevance Feedback - RF) xem công cụ hiệu để cải thiện hiệu hệ thống CBIR [8], [1] Gần đây, nhiều nhà nghiên cứu bắt đầu xem phản hồi liên quan toán phân lớp toán học Người sử dụng cung cấp mẫu dương mẫu âm hệ thống học từ mẫu để phân tách tất liệu thành nhóm liên quan không liên quan Do vậy, nhiều phương pháp học máy áp dụng Những phương pháp học phân thành hai lớp: Quy nạp Truyền dẫn tùy theo liệu không gán nhãn có dùng chiến lược huấn luyện hay không Những phương pháp quy nạp chủ yếu dựa Support Vector Machines [10], [7], boosting [6] mạng neuron [11] Chúng xem giải tốn phân lớp nhị phân (liên quan khơng liên quan) xếp hạng ảnh theo kết phân lớp Trong phương pháp truyền dẫn, ảnh sở liệu biểu diễn đỉnh đồ thị có trọng số Phản hồi liên quan người dùng sử dụng để tạo mẫu gán nhãn Những mẫu sử dụng để làm sở tính tốn khả truyền dẫn cho ảnh [5],[12] Các phương pháp không sử dụng mối quan hệ cặp ảnh truy vấn x vector (tránh ma trận nhân ma trận) Từ ta tính hàm xếp hạng EMR có phức tạp O(dn+d3) 2.3.4 Phân tích độ phức tạp Trong phần này, ta thực phân tích phức tạp toàn diện MR EMR, bao gồm chi phí tính tốn chi phí lưu trữ Như đề cập, MR EMR có hai giai đoạn giai đoạn xây dựng đồ thị giai đoạn tính tốn xếp hạng Đối với mơ hình MR:  MR xây dựng đồ thị kNN, tức cho mẫu liệu, cần phải tính tốn mối quan hệ để k-láng giềng gần Vì vậy, chi phí tính tốn O (n2 log k) Đồng thời ta lưu lại ma trận kề W∈ Rn×n với chi phí lưu trữ O(kn) W đồ thị thưa  Trong giai đoạn tính tốn xếp hạng, bước tính nghịch đảo ma trận, có khoảng O(n3) Đối với mơ hình EMR:  EMR xây dựng đồ thị cố định Tức là, cho mẫu liệu, ta tính tốn mối quan hệ để xác định s- khu vực gần điểm cố định Chi phí tính tốn O(nd log s) Ta sử dụng k-means để chọn điểm cố định, cần chi phí O(Tdn), T số lần lặp Nhưng bước lựa chọn thực off-line không cần thiết cập nhật thường xuyên Đồng thời, lưu ma trận thưa Z ∈ Rd × n với chi phí lưu trữ O(sn)  Trong giai đoạn tính tốn xếp hạng, bước phương trình (2.25), có tính tốn phức tạp O (dn + d3) Kết là, EMR có chi phí tính tốn O(dn) + O(d3) (bỏ qua s, T) chi phí lưu trữ O(sn), MR có chi phí tính tốn O(n2) + O(n3) chi 54 phí lưu trữ O(kn) Rõ ràng, d