ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐÀO DUY TÙNG CÁC KỸ THUẬT NÂNG CAO HIỆU SUẤT TRUY VẤN CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐÀO DUY TÙNG CÁC KỸ THUẬT NÂNG CAO HIỆU SUẤT TRUY VẤN CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học:PGS.TSKH NGUYỄN XUÂN HUY THÁI NGUYÊN - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CAM ĐOAN Tên là: Đào Duy Tùng Sinh ngày: 13-11-1988 Học viên lớp cao học K12I - Trƣờng Đại học Công nghệ thông tin và Truyền thông - Thái Nguyên Xin cam đoan: Đề tài “Các kỹ thuật nâng cao hiệu suất truy vấn sở liệu đa phƣơng tiện” thày giáo PGST.SKH Nguyễn Xuân Huyhƣớng dẫn công trình nghiên cứu riêng Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tác giả xin cam đoan tất nội dung luận văn nhƣ nội dung đề cƣơng yêu cầu thầy giáo hƣớng dẫn Nếu sai hoàn toàn chịu trách nhiệm trƣớc hội đồng khoa học trƣớc pháp luật Thái Nguyên, tháng 11 năm 2015 TÁC GIẢ LUẬN VĂN Đào Duy Tùng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI CẢM ƠN Sau sáu tháng nghiên cứu làm việc nghiêm túc, đƣợc động viên, giúp đỡ hƣớng dẫn tận tình thầy giáo hƣớng dẫn PGSTSKH Nguyễn Xuân Huy, luận văn với đề tài “Các kỹ thuật nâng cao hiệu suất truy vấn sở liệu đa phƣơng tiện” hoàn thành Tôi xin bày tỏ lòng biết ơn sâu sắc đến: Thầy giáo hƣớng dẫn PGS.TSKH Nguyễn Xuân Huy tận tình dẫn, giúp đỡ hoàn thành luận văn Khoa sau Đại học Trƣờng Đại học công nghệ thông tin truyền thông giúp đỡ trình học tập nhƣ thực luận văn Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp gia đình động viên, khích lệ, tạo điều kiện giúp đỡ suốt trình học tập, thực hoàn thành luận văn TÁC GIẢ LUẬN VĂN Đào Duy Tùng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN .ii MỤC LỤC iii DANH MỤC CÁC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU vii DANH MỤC CÁC TỪ VIẾT TẮT viii MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN VÀ KIẾN TRÚC TỔ CHỨC NỘI DUNG 1.1 Tình hình nghiên cứu chuyên đề nƣớc 1.1.1 Các dịch vụ đa phƣơng tiện giáo dục 1.1.2 Ứng dụng hội nghị điện tử .2 1.1.3 Ngành công nghiệp giải trí 1.1.4 Thƣơng mại điện tử 1.2 Mục tiêu nghiên cứu phƣơng pháp thực 1.2.1 Mục tiêu nghiên cứu 1.2.2 Phƣơng pháp nghiên cứu 1.2.3 Nội dung thực 1.3 Tổng quan hệ quản trị sở liệu đa phƣơng tiện 1.3.1 Giới thiệu chung 1.3.2 Các kiểu truyền thông multimedia .8 1.3.3 Hệ quản trị sở liệu đa phƣơng tiện (MMDBMS) 10 1.3.4 Truy tìm thông tin tài liệu văn 11 1.3.5 Truy xuất số hoá multimedia 12 1.4 Kiến trúc tổ chức nội dung hệ thống sở liệu Multimedia 13 1.4.1 Kiến trúc hệ thống quản trị sở liệu đa phƣơng tiện .13 1.4.2 Tổ chức liệu đa phƣơng tiện sở nguyên lý thống 15 1.4.3 Cấu trúc tóm tắt media 17 1.4.4 Dữ liệu ảnh nhƣ tóm tắt media 18 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 1.4.5 Dữ liệu video nhƣ tóm tắt media 19 CHƢƠNG 2: TRÍCH CHỌN ĐẶC TRƢNG ẢNH 20 2.1 Tổng quan trích chọn đặc trƣng ảnh 20 2.1.1 Đặc trƣng văn kèm ảnh tìm kiếm ảnh theo văn kèm ảnh .20 2.1.2 Đặc trƣng nội dung ảnh tìm kiếm theo đặc trƣng nội dung 22 2.2 Các phƣơng pháp trích chọn đặc trƣng ảnh độ đo tƣơng đồng ảnh 25 2.2.1 Đặc trƣng màu sắc 26 2.2.2 Đặc trƣng kết cấu 28 2.2.3 Đặc trƣng hình dạng 29 2.2.4 Đặctrƣng cục bất biến 30 2.2.5 Lựa chọn đặc trƣng 34 2.3 Một số phƣơng pháp tìm kiếm ảnh theo nội dung 37 2.3.1 Phƣơng pháp PageRank cho tìm kiếm ảnh sản phẩm .37 2.3.2 Phƣơng pháp xếp hạng lại ảnh dựa luật ngƣời dùng (CueFlik) 39 2.3.3 Phƣơng pháp tìm kiếm ảnh dựa màu sắc, hình dạng, kết cấu ảnh 40 2.3.4 Phƣơng pháp tìm kiếm ảnh dựa vào nội dung sử dụng phân vùng ảnh nhƣ mẫu truy vấn .43 2.4 Mô hình k láng giềng gần sử dụng lƣợng tử hóa 44 2.4.1 Cơ sở lý thuyết 45 2.4.2 Thuật toán K láng giềng 50 2.4.3 Mô hình toán .52 CHƢƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ 55 3.1 Phát biểu toán 55 3.2 Cấu hình hệ thống 55 3.2.1 Cấu hình phần cứng 55 3.2.2 Công cụ phần mềm sử dụng 56 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 3.2.3 Thƣ viện sử dụng 56 3.3 Xây dựng tập liệu ảnh 56 3.4 Quy trình, phƣơng pháp thực nghiệm 57 3.5 Kết thực nghiệm 60 KẾT LUẬN 64 TÀI LIỆU THAM KHẢO 65 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC CÁC HÌNH ẢNH Hình 1-1 Kiến trúc chung MMDBMS 13 Hình 2-1 Ví dụ hiển thị ảnh 21 Hình 2-2.Truy vấn Google “d-80” 22 Hình 2-3 Truy vấn Google “Apple” 22 Hình 2-4.Ví dụ số lọai kết cấu 23 Hình 2-5.Một kết trả Google Image Swirl 24 Hình 2-6.Một kết trả Tiltomo 24 Hình 2-7.Một kết Byo Image Search 25 Hình 2-8 Biểu đồ mô việc tính toán DoG ảnh từ ảnh kề mờ 32 Hình 2-9 Mỗi điểm ảnh đƣợc so sánh với 26 láng giềng 33 Hình 2-10 Quá trình lựa chọn điểm hấp dẫn 33 Hình 2-11 Biểu diễn vector đặc trƣng 34 Hình 2-12 Ví dụ ảnh sản phẩm trả từ hệ thống Jing 38 Hình 2-13 Tổng quan mô hình hệ thống tìm kiếm theo màu sắc, kết cấu hình dạng 41 Hình 2-14.Mô hình hệ thống IVFADCj; Hệ thống bên trái: chèn vector vào danh sách mục ngƣợc; hệ thống bên phải: tìm kiếm k láng giềng gần 50 Hình 2-15 Mô hình giải toán 53 Hình 3-1 Truy vấn iphone 6s plus 58 Hình 3-2 Ảnh truy vấn 58 Hình 3-3 Độ đo khoảng cách 10 ảnh 59 Hình 3-4 Ảnh đƣợc lƣợng tử hóa tính khoảng cách vector 60 Hình 3-5 Độ xác mức k số truy vấn 62 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC BẢNG BIỂU Bảng 1-1 Mô tả kích thƣớc kiểu liệu Bảng 1-2 Liên hệ đặc trƣng trạng thái cho hình ảnh 19 Bảng 1-3 Liên hệ đặc trƣng trạng thái cho video 19 Bảng 2-1 Một số phƣơng pháp lựa chọn đặc trƣng 36 Bảng 3-1 Cấu hình phần cứng sử dụng thực nghiệm 55 Bảng 3-2 Công cụ phần mềm sử dụng thực nghiệm 56 Bảng 3-3 Một số thƣ viện sử dụng thực nghiệm 56 Bảng 3-4 Kết độ xác trung bình 10 truy vấn 62 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt DBMS Tiếng Anh Database Management System Hệ quản trị sở liệu Cơ sở liệu CSDL IR Tiếng Việt Information Retrieval Hệ thống tự động truy tìm thông tin MMDBMS Multimedia Database Management Hệ thống quản trị sở liệu MIRS System đa phƣơng tiện Multimedia Indexing & Retrieval Hệ thống mục truy System tìm thông tin đa phƣơng tiện MRI Magnetic Resonance Imaging WWW World Wide Web Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn D( X , Y )  T | x t 1 t  yt |2 (2.30) Trong vector X, Y thành phần xi, yiđƣợc chuẩn hoá theo tần số xuất thuật ngữ titrong văn X Y Vector W đƣợc xác định tay dƣới dạng vector tần xuất TFxIDF 2.4.3 Mô hình toán Trong phần (2.3.2), luận văn trình bày hệ thống tìm kiếm k láng giềng gần sử dụng tính khoảng cách bất đối xứng danh sách mục ngƣợc (IVFADC) Hervé Jégou cộng [3] Mô hình toán đƣợc xây dựng dựa cách tính toán khoảng cách bất đối xứng hệ thống kết hợp với độ đo tƣơng đồng khoảng cách vector đặc trƣng 2.4.3.1 Trích chọn đặc trưng ảnh Đặc trƣng cục bất biến SIFT bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, thay đổi điểm nhìn thêm nhiễu ảnh hay thay đổi cƣờng độ chiếu sáng ảnh Các đặc trƣng SIFT thƣờng đƣợc sử dụng nhận dạng tìm kiếm đối tƣợng[14] Yushi Jing dùng đặc trƣng SIFT ảnh nghiên cứu tìm kiếm ảnh sản phẩm sử dụng phƣơng pháp PageRank[10] Luận văn sử dụng đặc trƣng SIFT toán tìm kiếm K láng giềng gần ứng dụng tìm kiếm ảnh sản phẩm Mỗi ảnh đƣợc đƣợc đặc trƣng vector đặc trƣng SIFT 128 chiều 2.4.3.2 Tìm kiếm K láng giềng gần Sau trích chọn đặc trƣng ảnh, luận văn đƣa mô hình tìm kiếm k láng giềng gần dựa đặc trƣng vừa trích chọn đƣợc Mô hình dựa phƣơng pháp tìm kiếm k láng giềng gần sử dụng lƣợng tử hóa Hervé Jégou sử dụng phƣơng pháp ADC kết hợp thêm độ đo khoảng cách Ơclit vector đặc trƣng Mô hình giải toán : 52 Hình 2-15 Mô hình giải toán Mô hình toán gồm giai đoạn Giai đoạn 1-Tìm N ảnh tƣơng đồng với ảnh truy vấn : Giai đoạn tiến hành việc trích chọn vector đặc trƣng ảnh truy vấn ảnh sở liệu (vector đặc trƣng SIFT), sau tìm top N ảnh tƣơng đồng với ảnh truy vấn từ tập ảnh sở liệu theo phƣơng pháp tìm kiếm sử dụng lƣợng tử hóa với phƣơng pháp tính toán khoảng cách bất đối xứng Các vector sở liệu đƣợc lƣợng tử hóa tập vector truy vấn đƣợc giữ nguyên Khoảng cách vector truy vấn vector sở liệu đƣợc tính theo công thức (2.25) Tập N ảnh tƣơng đồng đƣợc trả theo độ đo khoảng cách vector truy vấn vector sở liệu Tập N ảnh đầu vào cho giai đoạn Giai đoạn -Tìm K láng giềng gần với ảnh truy vấn: Sau tiến hành trích chọn đặc trƣng từ tập N ảnh tƣơng đồng trả từ giai đoạn 1, tính toán độ tƣơng đồng ảnh truy vấn ảnh trả dựa độ đo Ơclit vector đặc trƣng ảnh Khoảng cách Ơclit vector đặc trƣng x y đƣợc tính : (2.30) 53 Tập K láng giềng gần với ảnh truy vấn đƣợc trả dựa độ đo tƣơng đồng Ảnh gần ảnh có độ khoảng cách vector đặc trƣng với ảnh truy vấn ngắn Tổng kết chương Trong chƣơng 2, luận văn trình bày tóm tắt phƣơng pháp trích chọn đặc trƣng nội dung ảnh số độ đo tƣơng đồng tƣơng ứng với đặc trƣng Một số phƣơng pháp lựa chọn đặc trƣng để tối ƣu hóa tập đặc trƣng tóm tắt số công trình nghiên cứu khoa học liên quan đến việc tìm kiếm xếp hạng ảnh theo nội dung bao gồm: phƣơng pháp pageRank cho tìm kiếm ảnh sản phẩm, phƣơng pháp CueFlik xếp hạng lại ảnh dựa luật ngƣời dùng, phƣơng pháp tìm kiếm ảnh dựa vào nội dung kết hợp thuộc tính màu sắc, kết cấu, hình dạng phƣơng pháp tìm kiếm ảnh với mẫu truy vấn phân vùng ảnh Tập trung chủ yếu vào phƣơng pháp tìm kiếm k láng giềng gần sử dụng lƣợng tử hóa, đồng thời đƣa mô hình toán tìm kiếm k láng giềng gần dựa theo mô hình sử dụng phƣơng pháp tính khoảng cách bất đối xứng (ADC) kết hợp với độ đo tƣơng đồng khoảng cách vector đặc trƣng Trong chƣơng 3, luận văn trình bày mô hình thử nghiệm toán, kết đạt đƣợc nhận xét, đánh giá kết thực nghiệm 54 CHƢƠNG : THỰC NGHIỆM VÀ ĐÁNH GIÁ 3.1 Phát biểu toán Bán hàng mạng( kinh doanh trực tuyến) - Còn đƣợc gọi thƣơng mại điện tử - Là loại hoạt động kinh doanh xảy internet Một doanh nghiệp bán hàng online mạng bao gồm việc mua - bán mạng cung cấp dịch vụ mạng Một loạt doanh nghiệp đƣợc tìm thấy mạng, nhiều ngành công nghiệp khác Doanh nghiệp kinh doanh bán hàng mạng bán hàng nhiều phƣơng thức khác nhau:  Website bán hàng  Cửa hàng trực tuyến chợ  Blog  Phƣơng tiện truyền thông xã hội - Tài khoản Trong phạm vi luận văn, tác giả xin phép trình bày ứng dụng Website bán hàng trực tuyến, cho phép ngƣời dùng tìm kiếm sản phẩm hình ảnh Tiến hành thực nghiệm việc trích chọn vector đặc trƣng SIFT từ ảnh truy vấn ảnh sở liệu, áp dụng mô hình K láng giềng gần với tập đặc trƣng vừa trích chọn đƣợc để tìm tập k ảnh gần với ảnh truy vấn • Đầu vào hệ thống : Một ảnh truy vấn ngƣời dùng nhập vào • Đầu hệ thống : Tập k ảnh gần với ảnh truy vấn 3.2 Cấu hình hệ thống 3.2.1 Cấu hình phần cứng Thành phần Chỉ số CPU Pentium IV 3.06 GHz RAM GB OS WindowsXP Service Pack Bộ nhớ 80GB Bảng 3-1 Cấu hình phần cứng sử dụng thực nghiệm 55 3.2.2 C ng cụ phần mềm sử dụng Tên phần mềm STT Tác giả Nguồn Matlab R2009b http://www.mathworks.com/products/ Bảng 3-2 Công cụ phần mềm sử dụng thực nghiệm 3.2.3 Thư viện sử dụng Tên phần mềm STT Tác giả SiftDemoV4 Pqsearch_matlab Hervé Jégou, Nguồn David Lowe http://people.cs.ubc.ca/~lowe/keypoints/ http://lear.inrialpes.fr/~jegou/ann.php Matthij Douze Kmeans_fast.tar FlickrSearcher Hervé Jégou, http://lear.inrialpes.fr/~jegou/ann.php#m Matthij Douze atlla Nguyễn Cẩm Tú http://www.dais.is.tohoku.ac.jp/%7Enca mtu/software.htm Bảng 3-3 Một số thư viện sử dụng thực nghiệm Ngoài công cụ trên, tác giả áp dụng module xử lý dựa ngôn ngữ Matlab bao gồm file sau: - Similar_Euclide: tính toán khoảng cách Ơclit tập vector đặc trƣng - Pq_test: Kết hợp module con, tìm kiếm trả k láng giềng gần với truy vấn từ tập liệu 3.3 Xây dựng tập liệu ảnh Trong luận văn này, tác giả thực nghiệm với tập liệu ảnh liên quan đến sản phẩm, sử dụng kết từ Flickr Google product Search 56 • Ảnh truy vấn: Do ngƣời dùng nhập vào Trong luận văn này, tác giả trọng đến số truy vấn có nhập nhằng giữa nội dung ảnh văn kèm ảnh • Tập ảnh sở liệu: Với truy vấn, tập diệu ảnh gồm 30 ảnh đƣợc trộn từ tập ảnh lấy từ Google Product Search Flickr Tác giả tiến hành thu thập ảnh truy vấn text tƣơng ứng với ảnh truy vấn từ Google Product Search Sau bổ xung nhiễu ảnh thu thập đƣợc từ Flickr theo truy vấn text tƣơng ứng với ảnh truy vấn • Tập ảnh huấn luyện: Trong trình lƣợng tử hóa vector, cần tập liệu ảnh huấn luyện để xác định tham số lƣợng tử hóa Tập ảnh huấn luyện gồm 20 ảnh khác đƣợc lấy từ kết trả Google Product Search • Tập ảnh trả về: Gồm k ảnh gần giống với ảnh truy vấn Các ảnh đƣợc xếp giảm dần theo mức độ gần với truy vấn Tác giả thử nghiệm với giá trị k=10 3.4 Quy trình, phƣơng pháp thực nghiệm Quy trình thực nghiệm đƣợc tiến hành nhƣ sau: Thực truy vấn: Ngƣời dùng nhập vào truy vấn dƣới dạng tên đƣờng dẫn đầy đủ đến ảnh truy vấn Ví dụ: xét truy vấn iphone 6s plus 57 Hình 3-1 Truy vấn iphone 6s plus Trích chọn đặc trưng v tìm kiếm k ảnh tương đồng nhất: Quá trình trải qua hai giai đoạn chính: Giai đoạn 1: Giai đoạn tiến hành trích chọn đặc trƣng ảnh truy vấn ảnh sở liệu trả N ảnh tƣơng đồng sử dụng lƣợng tử hóa với phƣơng pháp ADC Hình 3-2 Ảnh truy vấn Tập đặc trƣng SIFT sau đƣợc trích chọn đƣợc lƣu dƣới dạng ma trận nx128 với n số vector đặc trƣng Sau đó, đặc trƣng đƣợc lƣợng tử hóa tính khoảng cách vector sử dụng phƣơng pháp ADC N ảnh tƣơng đồng đƣợc trả dựa độ đo khoảng cách 58 Hình 3-3 Độ đo khoảng cách 10 ảnh Trong đó, ảnh gần ảnh có khoảng cách nhỏ đến ảnh truy vấn N ảnh đƣợc lấy làm đầu vào cho giai đoạn 59 Hình 3-4 Ảnh lượng tử hóa tính khoảng cách vector Giai đoạn 2: Giai đoạn nhận đầu vào N (N=20) ảnh tƣơng đồng trả từ giai đoạn Sử dụng vector đặc trƣng ảnh đƣợc trích xuất giai đoạn để tính toán khoảng cách cách Ơclit vector đặc trƣng với vector đặc trƣng ảnh truy vấn K ảnh gần với ảnh truy vấn đƣợc trả theo khoảng cách đƣợc tính, ảnh gần ảnh có khoảng cách ngắn đến truy vấn 3.5 Kết thực nghiệm Tác giả sử dụng độ xác trung bình (Average Precision)để đánh giá kết xếp hạng hệ thống Giả sử ta có đối tƣợng là: a, b, c, d, e 60 Trong a, b, c đối tƣợng phù hợp d, e đối tƣợng không phù hợp Một xếp hạng đối tƣợng cần đánh giá là: c, a, d, b, e Độ xác trung bình đƣợc định nghĩa nhƣ sau: (3.1) Trong đó: n số đối tƣợng đƣợc xét P@ K  Match @ K (Match@K = số đối tƣợng phù hợp K vị trí đầu tiên) K I(K) = đối tƣợng vị trí K, ngƣợc lại I(K) = Ví dụ: P@1 = 1/1, P@2 = 2/2, P@3 = 2/3, P@4 = 3/4 Thì độ xác trung bình là: (3.2) Ngoài tác giả sử dụng Mean Average Precision (MAP) để đánh giá hệ thống Giá trị trung bình m xếp hạng: (3.3) Tác giả thử nghiệm hệ thống với 10 truy vấn liệu thử nghiệm đánh giá kết trả 10 kết trả 61 Kết độ xác trung bình cho 10 ảnh trả 10 truy vấn: STT Truy vấn AP Iphone 6s plus 0.875 Coca cola 0.747 D80 0.804 CD-Rom 0.737 Iphone 0.885 Mouse 0.869 Samsung S6 0.883 Cooker 0.748 Ring 0.746 10 Printer 0.753 Bảng 3-4 Kết độ xác trung bình 10 truy vấn Hình3-5 Độ xác mức k số truy vấn Từ kết thống kê trên, tác giả tính toán đƣợc độ trung bình 10 truy vấn hệ thống là: MAP=0.804 Có thể thấy rằng, độ xác trung 62 bình 10 truy vấn hệ thống cao, ví dụ Iphone 6s pllà 0.885, Samsung S6 0.883 Đặc biệt, theo khảo sát thực nghiệm, hệ thống cho kết xác với kết trả Độ xác mức truy vấn thƣờng Đối với tập liệu có chứa ảnh giống hệt so với ảnh truy vấn, khả ảnh thứ đƣợc trả giống hệt với ảnh truy vấn cao Trong 10 truy vấn thực nghiệm truy vấn trả ảnh giống hệt so với ảnh truy vấn Ví dụ tốp 10 kết với truy vấn Iphone 6s plus: Tổng kết chương Chƣơng 3, luận trình bày mô hình thực nghiệm hệ thống Các công cụ, phần mềm, mã nguồn hệ thống sử dụng Luận văn trình bày trình tiến hành thực nghiệm, kết đạt đƣợc hệ thống với 10 truy vấn số nhận xét độ xác hệ thống đạt đƣợc Từ kết ban đầu đạt đƣợc cho thấy tính khả thi đắn hệ thống 63 KẾT LUẬN Sau thời gian làm việc dƣới hƣớng dẫn tận tình thầy giáo PGS.TSKH Nguyễn Xuân Huy, luận văn em đạt đƣợc kết sau đây: Luận văn tìm hiểu đặc trƣng ảnh bao gồm đặc trƣng văn kèm ảnh đặc trƣng nội dung ảnh Đồng thời, tìm hiểu phƣơng pháp trích chọn đặc trƣng nội dung ảnh nhƣ số độ đo tƣơng đồng tƣơng ứng với đặc trƣng Luận văn tìm hiểu số phƣơng pháp tìm kiếm xếp hạng ảnh theo nội dung ảnh Dựa theo mô hình tìm kiếm k láng giềng sử dụng lƣợng tử hóa Hervé Jégou cộng [3], luận văn đƣa mô hình tìm kiếm k láng giềng gần sử dụng lƣợng tử hóa phƣơng pháp tính khoảng cách bất đối xứng kết hợp với độ đo tƣơng đồng vector đặc trƣng Luận văn tiến hành thử nghiệm mô hình với 10 truy vấn Kết có độ xác trung bình 80.4% cho 10 kết trả vềđầu tiên hệ thống 10 truy vấn Từ kết bƣớc đầu cho thấy tính khả quan đắn mô hình Một số vấn đề hạn chế hƣớng nghiên cứu : Do hạn chế mặt thời gian kiến thức sẵn có, luận văn dừng lại mức thử nghiệm mô hình đặc trƣng SIFT ảnh với tập liệu nhỏ truy vấn Trong thời gian tới, tác giả tiến hành thử nghiệm mô hình với đặc trƣng nội dung khác ảnh Đồng thời, mở rộng tập liệu truy vấn nhiều miền khác để xây dựng mô hình tìm kiếm láng giềng gần theo nội dung ảnh hoàn thiện 64 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Đỗ Trung Tuấn (2001), Giới thiệu đa phương tiện, Trung tâm thông tin thƣ viện, ĐH QG Hà Nội TIẾNG ANH [2].V.S.Subrahmanian (2011), Principles of Multimedia Database Systems, Morgan Kaufmann Publishers, Inc San Francisco, California,USA [3].Hervé Jégou, Matthijs Douze, Cordelia Schmid(2009) Searching with quantization: approximate nearest neighbor search using short codes and distance estimators Technical Report RR-7020, INRIA [4].V Shiv Naga Prasad A.G Faheema, Subrata Rakshi(2002) Feature Selection in Example-Based Image Retrieval Systems Indian Conference on Vision Graphics and Image Processing [5] C V Jawahar, P J Narayanan, and S Rakshit(2000) A flexible scheme forrepresentation, matching, and retrieval of images ICVGIP 2000, pages 271-277 Allied Publishers Ltd., 2000 [6].W Jiang, G Er, Q Dai and J Gu (2006) Similarity-Based Online Feature Selection In Content-Based Image Retrieval IEEE Trans Image Processing, 15 (3), pp.702-712 [7].W Jiang M Li, H Zhang, J Gu (2004 Online feature Selection based on Generalized Feature Contrast Model IEEE International Conference on Multimedia and Expo(ICME) pp 1995-1998 [8].Tee Cheng Siew(2008) Feature selection for content-based image retrieval using statistical discriminant analysis PhD thesis Faculty of Computer Science and Information System Universiti Teknologi Malaysia 2008 [9] Dimitris Papadias, Nikos Mamoulis, Vasilis Delis (2011), Approximate SpatioTemporal Retrieval, ACM Transactions on Information Systems, Vol 19, No.1, pp 53-96 65 [10].Yushi Jing(2008) PageRank for images products search Reafered Track: Rich media, April 21-25, 2008 Beijing, China [11].James Fogarty, Desney S Tan, Ashish Kapoor, Simon A J Winder(2008) CueFlik: interactive concept learning in image search The twenty-sixth annual SIGCHI conference on Human factors in computing system [12].Herve’ Jégou, Matthijs Douze, and Cordelia Schmid (2008) Hamming embedding and weak geometric consistency for large scale image search The 10th European Conference on Computer Vision: Part I [13].D N F Awang Iskandar James A Thom S M M Tahaghoghi (2008) Content-based Image Retrieval Using Image Regions as Query Examples CRPIT Volume 75- Database technologies [14].Lowe David(2004).Distinctive image features from scale-invariant keypoints International Journal of Computer Vision 2004;60(2):91-110 66 [...]... tin tài liệu văn bản Truy tìm thông tin- Information Retrieval (IR) là kỹ thuật tìm kiếm thông tin đƣợc lƣu trữ trên máy tính Đối với dữ liệu đa phƣơng tiện, việc truy tìm thông tin hiệu quả là dựa trên tìm kiếm tƣơng tự Hệ thống lƣu trữ một tập các đối tƣợng đa phƣơng tiện trong cơ sở dữ liệu Ngƣời dùng đƣa ra các truy vấn, và hệ thống tìm ra các đối tƣợng tƣơng tự truy vấn trong cơ sở dữ liệu đã... lƣợng dữ liệu lớn và thỏa mãn các truy vấn đối với các quan hệ của dữ liệu  Vấn đề truy n dữ liệu đa phương tiện dựa trên thời gian thực: điều khiển việc đọc/ghi dữ liệu liên tục phải đƣợc thực hiện dựa trên thời gian thực Do lƣợng dữ liệu có thể là rất lớn (ví dụ, truy n video) nên việc truy n dữ liệu có thể tốn nhiều thời gian và nó còn đòi hỏi phải đƣợc thực hiện một cách chính xác 1.3.4 Truy tìm... sử dụng các kỹ thuật lƣu trữ mới mà không cần thay đổi ứng dụng cơ sở dữ liệu hiện có 10  Cho phép thực hiện nhiều truy cập dữ liệu đồng thời: dữ liệu đa phƣơng tiện có thể truy cập đồng thời qua nhiều câu truy vấn khác nhau bởi một số ứng dụng Cách truy cập nhất quán nhằm chia sẻ dữ liệu có thể đƣợc thực hiện, và cần có cơ chế để thỏa mãn việc tránh tạo ra các xung đột  Quản lý một lượng dữ liệu lớn:... phải có các khả năng sau: Có khả năng truy vấn đồng bộ dữ liệu (dữ liệu media và dữ liệu văn bản) đƣợc thể hiện trong các định dạng khác nhau Thí dụ: một MMDBMS sẽ có khả năng truy vấn và tích hợp dữ liệu mà nó đƣợc lƣu trong các CSDL khác nhau mà có thể sử dụng các lƣợc đồ khác nhau, cũng nhƣ việc truy vấn tệp và dữ liệu lƣu trữ trong DBMS hƣớng đối tƣợng hay DBMS không gian Việc xử lý các truy vấn nhƣ... sử dụng không đƣợc lấy trực tiếp từ cơ sở dữ liệu trong MMDBMS thì thực hiện nhƣ sau: Thực hiện trích chọn đặc trƣng truy vấn Gửi các trích chọn đặc trƣng đó đến máy chủ Môtơ chỉ số hóa sẽ tìm kiếm các mục dữ liệu phù hợp với truy vấn trong cơ sở dữ liệu Hiển thị kết quả đến ngƣời sử dụng thông qua giao diện ngƣời dùng 1.4.2 Tổ chức dữ liệu đa phương tiện trên cơ sở nguyên lý thống nhất Xét ví dụ sau:... multimedia Ngoài ra, hiệu quả truy tìm cũng rất quan trọng Bởi các MIRS truy tìm các mục chọn dựa trên cơ sở đo sự tƣơng đồng, sử dụng luật tƣơng ứng thay thế cho kết nối chính xác 1.4 Kiến trúc tổ chức nội dung của một hệ thống cơ sở dữ liệu Multimedia 1.4.1 Kiến trúc hệ thống quản trị cơ sở dữ liệu đa phương tiện Phát triển một MMDBMS bao gồm các bƣớc sau:  Bƣớc 1 Thu thập media: Các dữ liệu media đƣợc... hiệu quả bởi vì các tính chất dữ liệu văn bản và dữ liệu đa phƣơng tiện là khác nhau, và CSDL đa phƣơng tiện với các dữ liệu ảnh, video, âm thanh thƣờng là rất lớn Do vậy, việc nghiên cứu phát triển hệ thống quản trị CSDL có khả năng quản lý dữ liệu đa phƣơng tiện với các kỹ thuật truy tìm và chỉ mục mới là rất cần thiết MMDBMS là một khung làm việc để quản lý các kiểu dữ liệu khác nhau mà chúng đƣợc... trợ cho các loại dữ liệu MULTIMEDIA trong việc tạo lập, lƣu trữ, truy cập, truy vấn và kiểm soát Sự khác nhau của các kiểu dữ liệu trong CSDL MULTIMEDIA có thể đòi hỏi các phƣơng thức đặc biệt để tối ƣu hoá việc lƣu trữ, truy cập, chỉ số hoá và khai thác MDBMS cần phải cung cấp các yêu cầu đặc biệt này bằng cách cung cấp các cơ chế tóm tắt bậc cao để quản lý các kiểu dữ liệu khác nhau cũng nhƣ các giao... nhập kỹ thuật số khác Dữ liệu đa phƣơng tiện cũng có thể đƣợc lấy từ các tệp đã lƣu sẵn - Bước 2 Sau khi dữ liệu đa phƣơng tiện đƣợc bổ sung, nội dung của chúng đƣợc trích chọn bằng công cụ trích chọn đặc trƣng - Bước 3 Các dữ liệu đa phƣơng tiện đƣợc bổ sung cùng với các đặc trƣng của nó, thông qua bộ quản lý truy n tin sẽ đƣợc gửi về máy chủ - Bước 4 Tại máy chủ, các đặc trƣng sẽ đƣợc bố trí về các. .. của các kiểu media là vấn đề thách thức và nó phụ thuộc rất nhiều vào kiểu dữ liệu và cách thức lƣu trữ chúng Cuối cùng, truy vấn có thể mở rộng đối với nhiều kiểu vật mang (media) dữ liệu và MMDBMS phải có khả năng kết hợp các kết quả từ các nguồn dữ liệu khác nhau và các kiểu media khác nhau Có khả năng truy vấn dữ liệu biểu diễn trong media khác nhau Ví dụ: một MMDBMS phải có khả năng truy vấn không