1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ HOÀI THU NGHIÊN CỨU CÁC PHƢƠNG PHÁP NÉN CHỈ SỐ TRONG CÁC HỆ THỐNG TÌM KIẾM Ngành: Công Nghệ Thông Tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC CHỦ TỊCH HỘI ĐỒNG PGS.TS HÀ QUANG THỤY GS.TS VŨ ĐỨC THI Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ MỤC LỤC LỜI CAM ĐOAN MỤC LỤC LÊ THỊ HOÀI THU DANH MỤC CÁC KÝ HIỆU VIẾT TẮT Error! Bookmark not defined DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Error! Bookmark not defined DANH MỤC BẢNG Error! Bookmark not defined PHẦN MỞ ĐẦU CHƢƠNG KIẾN TRÚC CHUNG CỦA MÁY TÌM KIẾM NGHIÊN CỨU CÁC PHƢƠNG PHÁP NÉN THÀNH PHẦN CHỈ SỐ TRONG MÁY TÌM KIẾM CHỈ SỐ TRONG CÁC HỆ THỐNG TÌM KIẾM 1.1 Khái niệm công cụ tìm kiếm thông tin 1.1.1 Tổng quan hệ thống tìm kiếm 1.1.2 Quy trình tìm kiếm thông tin 1.1.3 Một số vấn đề tìm kiếm thông tin 1.1.4 Cấu trúc điển hình máy tìm kiếm 10 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN 1.2 Tập số máy tìm kiếm Error! Bookmark not defined 1.2.1 Các bƣớc để xây dựng hệ thống tìm kiếm thông tin Error! Bookmark not defined 1.2.2 Cấu trúc bảng số ngƣợc .Error! Bookmark not defined 1.2.3 Chia bảng số .Error! Bookmark not defined 1.3 Tổng quan phƣơng pháp lập số Error! Bookmark not defined 1.3.1 Xác định mục từ quan trọng cần lập số Error! Bookmark not defined 1.3.2 1.3.3 Một số hàm tính trọng số mục từ Error! Bookmark not defined Hà Nội - 2015 Lập mục tài liệu .Error! Bookmark not defined 3 KẾT LUẬN CHƢƠNG I Error! Bookmark not defined CHƢƠNG II MỘT SỐ PHƢƠNG PHÁP NÉN CHỈ SỐ, NÉN CHỈ SỐ NGƢỢC TRONG MÁY TÌM KIẾM Error! Bookmark not defined 2.1 Chỉ số ngƣợc .Error! Bookmark not defined 2.2 Phƣơng pháp nén số Error! Bookmark not defined 2.2.1 Lƣu trữ theo khối Error! Bookmark not defined 2.2.2 Nén từ điển từ vựng nhƣ chuỗi .Error! Bookmark not defined 2.2.3 Nén tập tin posting .Error! Bookmark not defined 2.3 Các phƣơng pháp nén số cập nhật Error! Bookmark not defined 2.3.1 Mã Glomb .Error! Bookmark not defined 2.3.2 Simple9 Coding .Error! Bookmark not defined 2.3.3 Binary Code Error! Bookmark not defined 2.3.4 PforDelta Error! Bookmark not defined 2.3.5 Interpolative Coding Error! Bookmark not defined 2.4 Cải tiến thuật toán PFD .Error! Bookmark not defined KẾT LUẬN CHƢƠNG Error! Bookmark not defined CHƢƠNG III TÌM HIỂU VỀ LUCENE Error! Bookmark not defined 3.1 Tìm hiểu lucene .Error! Bookmark not defined 3.1.1 Giới thiệu chung Lucene Error! Bookmark not defined 3.1.2 Tìm hiểu lớp đối tƣợng lập mục .Error! Bookmark not defined 3.1.2 Tìm hiểu lớp đối tƣợng tìm kiếm Error! Bookmark not defined 3.2 Lập số Lucene Error! Bookmark not defined 3.2.1 Các tiến trình lập số Error! Bookmark not defined 3.2.2 Các toán tử lập số với Lucene Error! Bookmark not defined 3.2.3 Khuếch đại tài liệu trƣờng Error! Bookmark not defined 3.2.4 Điều khiển tiến trình lập số Error! Bookmark not defined 4 3.2.5 Tối ƣu hóa việc lập số Error! Bookmark not defined 3.3 Tìm kiếm tập số Error! Bookmark not defined 3.3.1 Tìm kiếm thuật ngữ cụ thể Error! Bookmark not defined 3.3.2 Bô ̣ chuyể n đổ i câu truy vấ n của ngƣời dùng : QueryParser Error! Bookmark not defined 3.3.3 Sƣ̉ du ̣ng lớp IndexSearcher Error! Bookmark not defined 3.4 Tiến trình phân tích Lucene Error! Bookmark not defined 3.5 Định dạng số lucene .Error! Bookmark not defined 3.5.1 Cấu trúc số .Error! Bookmark not defined 3.5.2 Chỉ số ngƣợc Error! Bookmark not defined TỔNG KẾT CHƢƠNG Error! Bookmark not defined CHƢƠNG - CÀI ĐẶT THỬ NGHIỆM VÀ KẾT QUẢ THỰC HIỆN Error! Bookmark not defined 4.1 Giới thiệu chƣơng trình thử nghiệm Error! Bookmark not defined 4.2 Kết thử nghiệm Error! Bookmark not defined KẾT LUẬN CHƢƠNG Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 PHỤ LỤC .Error! Bookmark not defined 5 PHẦN MỞ ĐẦU Trong xã hội phát triển, thông tin thực trở thành nguồn tài nguyên quan trọng, nguồn cải to lớn xã hội Các mối quan hệ, tính trật tự tổ chức thuộc tính hệ thống kinh tế - xã hội Hệ thống phát triển tức có nhiều yếu tố tạo thành mối quan hệ chúng phức tạp lƣợng thông tin phong phú Chính mà ngày với phát triển Công nghệ Thông tin nhƣ phát triển nhanh chóng mạng máy tính toàn cầu bùng nổ thông tin, kho liệu số đƣợc hình thành khắp nơi không ngừng gia tăng dung lƣợng, nhƣng thông tin cần thiết chí thiếu với họ Các kho liệu ẩn chứa lƣợng thông tin vô lớn Nhƣng vấn đề đặt làm để “khai thác, tìm kiếm” tổng hợp kho thông tin trở nên hiệu có giá trị ngƣời dùng Những thông tin đƣợc lƣu trữ biểu diễn nhiều dạng khác nhƣ văn bản, âm thanh, hình ảnh vv thấy khối lƣợng liệu khổng lồ mà ngƣời sử dụng truy xuất không đƣợc tổ chức lƣu trữ tốt kèm theo phƣơng thức xử lý hiệu để khai thác tìm kiếm lƣợng thông tin chúng thông tin không mang lại chút lợi ích cho ngƣời dùng Để giải vấn đề này, ngƣời ta xây dựng hệ thống tìm kiếm thông tin Nó giúp ngƣời tìm kiếm chọn lọc tài liệu có chứa thông tin cần thiết Do ngƣời sử dụng yêu cầu kết tìm kiếm xác, đầy đủ với vận tốc tìm kiếm nhanh nên hệ thống tìm kiếm thông tin đƣợc nghiên cứu phát triển với kỹ thuật lƣu trữ, thuật toán tìm kiếm hiệu tối ƣu Nhƣ biết, tập hợp trang Web đáp ứng câu hỏi trả từ máy tìm kiếm nói chung lớn Mặc dù kỹ thuật dựa liên kết nâng cao chất lƣợng độ xác kết tìm kiếm, nhƣng tìm kiếm dựa văn (chẳng hạn tìm kiếm trang chứa đựng từ khóa) tiếp tục phƣơng pháp để xác định trang liên quan tới vấn đề đƣợc truy vấn Bảng mục văn hỗ trợ cho việc tìm kiếm đƣợc thực sử dụng phƣơng pháp truy cập truyền thống để tìm kiếm toàn tập tài liệu Vì việc lập số máy tìm kiếm thao tác vô quan trọng hệ thống tìm kiếm Lập mục tài liệu, hiểu cách đơn giản, việc xếp tài liệu nhằm đáp ứng nhanh chóng yêu cầu tìm kiếm thông tin ngƣời sử dụng Công cụ tìm kiếm web nhƣ nhiều hệ thống tìm kiếm khác dựa vào số đảo ngƣợc với cấu trúc đơn giản hiệu cho phép tìm thấy tất tài liệu có chứa từ cụ thể 6 Luận văn tập trung khảo sát phƣơng pháp nén số, số ngƣợc máy tìm kiếm đánh giá kết thử nghiệm phƣơng pháp nén báo (1, 2, ,5-8, 10-14) Đồng thời luận văn triển khai cài đặt thử nghiệm với thuật toán cải tiến để thử nghiệm với tập liệu có sẵn Luận văn bao gồm Phần mở đầu, bốn chƣơng nội dung phần kết luận mà nội dung chƣơng đƣợc trình bày dƣới Chƣơng – Kiến trúc chung máy tìm kiếm, thành phần số máy tìm kiếm Chƣơng giới thiệu nội dung nhất, cung cấp cách nhìn khái quát kiến trúc máy tìm kiếm mô hình hệ thống thông tin Đồng thời luận văn mô tả chi tiết thành phần cấu trúc số máy tìm kiếm nhu cầu nén số cho máy tìm kiếm Chƣơng – Các phƣơng pháp nén số máy tìm kiếm Nội dung chƣơng xem xét đánh giá số phƣơng pháp nén số cập nhật Ban đầu nội dung chƣơng mô tả cấu trúc số ngƣợc phân tích quy trình lập số ngƣợc máy tìm kiếm Từ đƣa phƣơng pháp cập nhật cải tiến để nén tập số cách tối ƣu Chƣơng – Tìm hiểu Lucene Giới thiệu chi tiết Lucene, thành phần Lucene, cấu trúc số Lucene tối ƣu hóa lập số Lucene Chƣơng – Cài đặt thử nghiệm Chƣơng trình trình bày kết thực nghiệm nén số ngƣợc sở thuật toán nén Khoảng cách byte (VB code) OptPFD Chƣơng trình cài đặt thử nghiệm đƣợc viết ngôn ngữ Java Console Chƣơng trình hoạt động cho kết để đánh giá thuật toán nén, nhiên thời gian hạn chế nên luận văn chƣa xây dựng đƣợc thuật toán vào máy tìm kiếm Phần Kết luận Trình bày tổng hợp kết thực luận văn phƣơng hƣớng nghiên cứu nội dung luận văn 7 CHƢƠNG KIẾN TRÚC CHUNG CỦA MÁY TÌM KIẾM THÀNH PHẦN CHỈ SỐ TRONG MÁY TÌM KIẾM 1.1 Khái niệm công cụ tìm kiếm thông tin 1.1.1 Tổng quan hệ thống tìm kiếm Thuật ngữ tìm kiếm thông tin xuất từ sớm, thông tin thể nhiều dạng khác nhau, dạng văn bản, âm hình ảnh,vv Mà phổ biến tìm kiếm văn (bao gồm việc tìm kiếm xếp văn bản), đặc biệt công cụ tìm kiếm Nhiều lúc, thuật ngữ đƣợc dùng nhƣ toàn trình từ việc xử lý văn tới việc phân lớp tìm kiếm văn Thuật ngữ tìm kiếm văn theo nghĩa bao gồm việc lập mục tài liệu, tìm kiếm xếp văn tìm kiếm theo thứ tự liên quan đến yêu cầu ngƣời sử dụng (văn File trang Web) Internet kho thông tin khổng lồ phức tạp Thông tin trang Web đa dạng mặt nội dung nhƣ hình thức Tuy nhiên với đa dạng số lƣợng lớn thông tin nhƣ nảy sinh vấn đề tải thông tin Cùng với thay đổi phát triển hàng ngày hàng nội dung nhƣ số lƣợng trang Web Internet vấn đề tìm kiếm thông tin ngƣời sử dụng lại ngày khó khăn Đối với ngƣời dùng phần nhỏ thông tin có ích, chẳng hạn có ngƣời quan tâm đến trang Thể thao, Văn hóa mà không quan tâm đến Kinh tế Ngƣời ta tìm kiếm địa trang Web chứa thông tin mà cần, đòi hỏi cần phải có trình tiện ích quản lý nội dung trang Web cho phép tìm thấy địa trang Web có nội dung giống với yêu cầu ngƣời tìm kiếm Theo tìm hiểu từ nguồn thông tin khái niệm máy tìm kiếm (search engine) hệ thống đƣợc xây dựng nhằm tiếp nhận yêu cầu tìm kiếm ngƣời dùng (thƣờng tập từ khóa), sau phân tích yêu cầu tìm kiếm thông tin sở liệu đƣợc tải xuống từ Web đƣa kết trang web có liên quan cho ngƣời dùng Bên cạnh định nghĩa hệ thống tìm kiếm thông tin chƣơng trình phần mềm dùng để lƣu trữ quản lý thông tin nằm tài liệu Hệ thống giúp ngƣời sử dụng tìm kiếm thông tin mà họ quan tâm Các hệ thống không giống nhƣ hệ thống trả lời câu hỏi, tồn vị trí tài liệu có chứa thông tin cần thiết Một số tài liệu “tìm kiếm đƣợc” thỏa mãn yêu cầu ngƣời sử dụng gọi tài liệu phù hợp hay tài liệu liên quan (relevanl document) Một hệ thống tìm kiếm hoàn hảo tìm đƣa tài liệu liên quan mà không đƣa tài liệu không liên quan Tuy nhiên hệ thống không tồn thể tìm kiếm không đầy đủ mà mức độ liên quan phụ thuộc vào quan điểm chủ quan ngƣời Hai ngƣời sử dụng đƣa truy vấn với hệ thống tìm kiếm thông tin sau có đánh giá khác mức độ liên quan tài liệu tìm đƣợc Cụ thể, ngƣời dùng gửi truy vấn, dạng đơn giản danh sách từ khóa, máy tìm kiếm làm việc để trả lại danh sách trang Web có liên quan có chứa từ khóa Phức tạp hơn, truy vấn văn đoạn văn nội dung tóm tắt văn Một số máy tìm kiếm điển hình nay: Yahoo, Google, Alvista, ASPSeek, VietSeek 1.1.2 Quy trình tìm kiếm thông tin Quy trình tìm kiếm thông tin nói chung thực vấn đề nhƣ biểu diễn, lƣu trữ, tổ chức truy cập đến mục thông tin Việc tổ chức biểu diễn thông tin giúp hệ thống tìm kiếm nhanh thông tin mà ngƣời dùng cần Nhƣng để mô tả đặc điểm thông tin yêu cầu ngƣời sử dụng dễ dàng Vì thế, hệ thống tìm kiếm thông tin bao gồm ba trình sau: Biểu diễn nội dung tài liệu, biểu diễn yêu cầu ngƣời sử dụng so sánh hai biểu diễn Hình 1.1 – Quy trình tìm kiếm thông tin [1]  Quá trình biểu diễn tài liệu đƣợc gọi trình số hóa (indexing) Quá trình lƣu trữ thực tài liệu hệ thống, thông thƣờng lƣu trữ phần tài liệu, chẳng hạn nhƣ phần tiêu đề tóm tắt  Quá trình biểu diễn yêu cầu ngƣời sử dụng gọi trình biểu diễn truy vấn (query formulation process) Truy vấn biểu thị tƣơng tác hệ thống ngƣời sử dụng, trình không đƣa truy vấn phù hợp mà phải thể đƣợc hiểu biết yêu cầu ngƣời sử dụng Sự thiết lập tự động truy vấn liên tiếp đƣợc gọi phản hồi độ liên quan (relevance feedback)  So sánh truy vấn với tài liệu đƣợc gọi trình đối sánh (matching process) cho kết danh sách tài liệu đƣợc xếp theo mức độ liên quan tới truy vấn Vậy để mô tả thông tin cách rõ ràng đầy đủ, ngƣời sử dụng trực tiếp yêu cầu giao diện thời hệ thống tìm kiếm cung cấp thông tin cần dùng Thay vào ngƣời sử dụng phải chuyển đổi thông tin yêu cầu thành truy vấn mà đƣợc xử lý hệ thống tìm kiếm (hoặc hệ thống IR) Thƣờng phép chuyển đổi tạo tập hợp từ khóa (hoặc term số) mô tả khái quát yêu cầu ngƣời sử dụng Cho truy vấn ngƣời dùng, mục đích hệ thống tìm kiếm tìm kiếm thông tin mà trở thành hữu ích phù hợp với ngƣời sử dụng Để đạt đƣợc hiệu đáp ứng thông tin yêu cầu ngƣời dùng, hệ thống tìm kiếm phải cách “hiểu” đƣợc nội dung thông tin (các văn bản) tập hợp xếp chúng theo mức độ phù hợp với truy vấn Sự “hiểu biết” nội dung văn bao gồm trích chọn cú pháp ngữ nghĩa thông tin từ văn sử dụng thông tin để so khớp với thông tin ngƣời dùng Cái khó không hiểu để trích chọn thông tin nhƣ mà hiểu cách sử dụng để định mối liên quan nhƣ Do khái niệm mức độ liên quan (revlevance) phần quan trọng tìm kiếm tất tài liệu liên quan với truy vấn ngƣời dùng việc tìm kiếm đƣa tài liệu không thích hợp Vậy, tìm kiếm thông tin trình nhận dạng, xác định tài liệu liên quan dựa mô tả yêu cầu thông tin ngƣời sử dụng Việc tìm kiếm tài liệu dựa nội dung thực văn mà không phụ thuộc vào từ khóa gắn với văn Các công cụ tìm kiếm tiếng nhƣ Google, Altavista, Yohoo, hệ tìm kiếm đƣa danh sách văn theo độ quan trọng câu hỏi đƣa vào Để xây dựng hệ tìm kiếm văn có hiệu cao, trƣớc hết văn truy vấn dạng ngôn ngữ tự nhiên phải đƣợc tiền xử lý chuẩn hóa 1.1.3 Một số vấn đề tìm kiếm thông tin Kể từ năm 40, vấn đề việc lƣu trữ thông tin tìm kiếm thông tin thu hút ý lớn Với lƣợng thông tin khổng lồ việc tìm kiếm xác nhanh chóng trở nên khó khăn Với đời máy tính, nhiều 10 ý tƣởng lớn đƣợc đƣa nhằm cung cấp hệ thống tìm kiếm thông minh xác Tuy nhiên, vấn đề tìm kiếm cho hiệu chƣa đƣợc giải Về nguyên tắc, việc lƣu trữ thông tin tìm kiếm thông tin đơn giản Giả sử có kho chứa tài liệu ngƣời muốn tìm tài liệu liên quan đến yêu cầu Ngƣời đọc tất tài liệu kho, giữ lại tài liệu liên quan bỏ tài liệu không liên quan Rõ ràng giải pháp không thực tế tốn nhiều thời gian Với đời máy vi tính tốc độ cao, máy tính “đọc” thay cho ngƣời để trích tài liệu có liên quan toàn tập liệu Tuy nhiên vấn đề lúc để xác định đƣợc tài liệu liên quan đến yêu cầu ngƣời sử dụng Do đó, mục tiêu hệ thống tìm kiếm thông tin tự động truy tìm đƣợc tất tài liệu có liên quan đến yêu cầu ngƣời sử dụng 1.1.4 Cấu trúc điển hình máy tìm kiếm Mặc dù thực tiễn, máy tìm kiếm có cách thực thi riêng mà theo thành phần đƣợc trình bày nhƣ dƣới đƣợc nhập tách Tuy nhiên, máy tìm kiếm điển hình thƣờng gồm thành phần chức sau:  Thành phần Crawling (Crawler): Đây thành phần có chức thu thập tài nguyên trang Web cho máy tìm kiếm Thành phần thực việc duyệt không gian Web, theo liên kết trang Web để thu thập nội dung trang Web Crawler nhận tập địa URL xuất phát từ dòng xếp hàng trang Web chƣa đƣợc thăm (dƣới gọi frontier theo thuật ngữ Tiếng Anh thông dụng nó) thực tải trang Web tƣơng ứng Trong nhiều trƣờng hợp, thành phần crawling bao gồm phân tích cú pháp (parser), điều khiển crawler Bộ phân tích cú pháp thi hành trang Web, cung cấp địa URL chƣa đƣợc thăm vào dòng xếp hàng Bộ điều khiển crawler định xem URL đƣợc duyệt gửi kết cho crawler Nội dung trang web đƣợc tải đƣợc lƣu vào kho trang Web (page repository) Quá trình đƣợc lặp lại đạt tới điều kiện kết thúc  Thành phần đánh mục (indexer): Đây thành phần có nhiệm vụ tiếp nhận kết phân tích cú pháp trang Web đƣợc tải đánh mục cho nội dung trang Web Kết việc đánh mục sinh tập bảng mục lớn Nhờ có bảng mục này, máy tìm kiếm nhanh chóng cung cấp đƣợc tất địa URL trang Web đáp ứng truy vấn ngƣời dùng Thông thƣờng, tạo mục tạo mục 11 TÀI LIỆU THAM KHẢO [1] Roi Blanco González (2008) Index Compression for Information Retrieval Systems, PhD Thesis, University of Acoruña [2] Daniel K Blandford, Guy E Blelloch (2002) Index Compression through Document Reordering, DCC 2002: 342-351 [3] P Boldi and S Vigna (2005) Compressed Perfect Embedded Skip Lists for Quick Inverted-Index Lookups, SPIRE 2005: 25-28 [4] Sergey Brin and Lawrence Page (1998) The Anatomy of a Large-Scale Hypertextual Web search Engine, Technical report, Stanford University [5] Andrei Z Broder, Nadav Eiron, Marcus Fontoura, Michael Herscovici, Ronny Lempel, John McPherson, Runping Qi, Eugene J Shekita (2006) Indexing Shared Content in Information Retrieval Systems, EDBT 2006:313-330 [6] Nils Grimsmo (2010) Bottom Up and Top Down: Twig Pattern Matching on Indexed Trees, PhD Thesis, Norwegian University of Science and Technology [7] Jinru He, Junyuan Zeng, Torsten Suel (2010) Improved index compression techniques for versioned document collections, CIKM 2010: 1239-1248 [8] Jinru He, Hao Yan, Torsten Suel (2009) Compact full-text indexing of versioned document collections, CIKM 2009: 415-424 [9] Christopher D Manning, Prabhakar Raghavan, Hinrich Schütze (2009) An Introduction to Information Retrieval (Chapter Index construction, Chapter Index compression), Cambridge University Press (Online edition @ 2009 Cambridge UP) [10] Hao Yan, Shuai Ding, Torsten Suel (2009) Compressing term positions in web indexes, SIGIR 2009: 147-154 [11] Hao Yan, Shuai Ding, Torsten Suel (2009) Inverted index compression and query processing with optimized document ordering, WWW 2009: 401-410 [12] Hao Yan (2010) Index Compression and Redundancy Elimination in Large Textual Collections, PhD Thesis, Polytechnic Institute of NYU [13] Hao Yan, Shuming Shi, Fan Zhang, Torsten Suel, Ji-Rong Wen (2010) Efficient term proximity search with term-pair indexes, CIKM 2010: 12291238 12 [14] Fan Zhang, Shuming Shi, Hao Yan, Ji-Rong Wen (2010) Revisiting globally sorted indexes for efficient document retrieval, WSDM 2010: 371380 [15] I H Witten, A Moffat, and T C Bell Managing Gigabytes: Compressing and Indexing Documents and Images MorganKaufmann, second edition, 1999 [16] Erik Hatcher, Otis Gospodnetic, Michael McCandless Lucene in Action (2nd edition) Manning Publications, 2010 [17] Vo Ngoc Anh, Alistair Moffat Index Compression Using Fixed Binary Codewords ADC 2004: 61-67