Đang tải... (xem toàn văn)
Đồ án tốt nghiệp cơ sở dữ liệu bán hàng
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘIKHOA CÔNG NGHỆ THÔNG TIN──────── * ───────ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌCNGÀNH CÔNG NGHỆ THÔNG TINĐỀ TÀI:XÂY DỰNG ỨNG DỤNG PHÂN TÍCH NGỮ NGHĨATRONG TÌM KIẾM TÀI LIỆU TRỰC TUYẾNSinh viên thực hiện: Nguyễn Công Chính .Lớp: HTTTA-K48 .Giáo viên hướng dẫn: TS. Lê Thanh Hương .Hà nội, tháng 6 năm 20081 LỜI CÁM ƠNLời đầu tiên, em muốn gửi lời cám ơn chân thành tới cô TS. Lê Thanh Hương, là người trực tiếp hướng dẫn em hoàn thành đồ án này.Em cũng muốn gửi lời cám ơn tới các thầy cô trong bộ môn Hệ thống Thông Tin, trong khoa Công nghệ thông tin và các thầy cô trong trường đã tận tình dạy dỗ trong suốt những năm học vừa qua.Tôi cũng xin gửi lời cám ơn đặc biệt đến bạn Kiều Văn Cường, người cùng chung đồ án với tôi, đã giúp tôi rất nhiều trong những lúc nghiên cứu, xây dựng chương trình. Tôi cũng xin cám ơn các bạn cùng lớp Tin 3 và HTTT A đã cung cấp các tài liệu, gợi ý các giải thuật để hoàn thành đồ án.Con cũng xin cảm ơn Bố, Mẹ, những người thân đã luôn bên cạnh động viên khích lệ về mặt tinh thần và cả vật chất để giúp con hoàn thành tốt những năm học đại học và đồ án này.Hà Nội Tháng 5 năm 2008Sinh viên Nguyễn Công Chính2 NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .Ngày tháng 05 năm 2008 Ký tên3 NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .…………………………………………………………………… .Ngày tháng 05 năm 2008 Ký tên4 MỤC LỤCPHẦN 0: LỜI NÓI ĐẦU . 10 PHẦN I: VẤN ĐỀ VÀ THỰC TRẠNG 18 PHẦN II: CƠ SỞ LÝ THUYẾT 36 PHẦN III: GIẢI PHÁP KỸ THUẬT 52 PHẦN IV: XÂY DỰNG CHƯƠNG TRÌNH, CÀI ĐẶT CHẠY DEMO . 57 5 DANH MỤC HÌNH VÀ BẢNGDANH MỤC HÌNH VÀ BẢNG 6Hình 1: Hình minh họa tập tách văn bản 14Hình 2: Cấu trúc giải thuật LSA .155.3 Mô hình tư vấn dựa trên lịch sử phiên truy cập của người dùng 16Hình 3: Quy trình truy vấn .17Hình 4: Giao diện chính trang chủ chương trình .17Hình 5: Tìm kiếm thông tin – So sánh gợi ý của người và máy 19Hình 6: Mô hình sơ đồ hệ thống gợi ý cho người dùng 21Hình 7: Sơ đồ tổng quát hệ thống .22Hình 8: Giao diện tìm kiếm của Amazone.com .24Hình 9: Giao diện kết quả trả lại 25Hình 10: Giao diện kết quả tìm kiếm của Amazone.com .26Hình 11: Sơ đồ cấu trúc từ của Nguyễn Tài Cẩn 29Hình 12: Giao diện tìm kiếm của Google .36Hình 13: Giao diện tìm kiếm Yahoo .37Hình 14 Giao diện tìm kiếm Ask Jeeves .38Hình 15: Giao diện tìm kiếm All the web .39Table 1: : Tần suất xuất hiện độ dài từ tiếng Việt trên trang Vdict.com 44 Table 2: Tần số tài liệu của một số từ thông dụng trong tiếng Việt 45Table 3: Ví dụ về MI của n-gram 46Hình 16: Xây dựng ôtômát âm tiết .48Hình 17: Xây dựng ôtômát từ vựng 49 .49Hình 18: Một tình huống nhập nhằng 51Hình 19: Giải thuật tách từ từ câu 55Table 4: Bảng một số ví dụ về cấu trúc lưu trữ từ điển 55 Hình 20: Biểu đồ use-case hệ thống .57Hình 21: Use-case tìm kiếm Hình 22: Biểu đồ cộng tác chức năng tìm kiếm 586 Lớp biên: .58Hình 23: Biểu đồ tiến trình chức năng tìm kiếm .58Hình 24: Use-case quản lý tài liệu 59Lớp biên: .59Hình 25: Biểu đồ cộng tác 59Hình 26: Biểu đồ tiến trình chức năng thêm mới tài liệu .60Hình 27: Biểu đồ tiến trình chức năng sửa tài liệu 60Hình 28:Biểu đồ tiến trình chức năng xóa tài liệu 61Hình 29: Biểu đồ cộng tác quản lý tài liệu .61Hình 30: Use-Case quản lý tác giả 62Hình 31: Biểu đồ tiến trình thêm mới tác giả 62Hình 32: Biểu đồ tiến trình sửa tác giả .63Chức năng xoá tác giả: 63Hình 33: Biểu đồ tiến trình xóa tác giả .64Hình 34: Biểu đồ cộng tác quản lý tác giả 64Hình 35: User-Case quản lý NXBLớp biên: 64Hình 36: Biểu đồ tiến trình thêm mới NXB .65Hình 38: Biểu đồ tiến trình xóa thông tin NXB .66Hình 39: Biểu đồ công tác quản lý NXB .66Hình 40: Biểu đồ usercase quản lý thành viên 67Lớp biên: .67Chức năng chỉnh sửa thông tin: .68Hình 42: Biểu đồ tiến trình chỉnh sửa user .68Hình 43: Biểu đồ tiến trình xóa user 69Hình 44: Biểu đồ cộng tác quản lý user 69Hình 45: Biểu đồ cộng tác quản lý user 70.Table 5: Bảng các thực thể chính .71Table 6: Bảng quan hệ các thực thể .72Table 7: Danh sách các bảng chính .75Mô tả chi tiết bảng .767 Table 8: Mô tả bảng tài liệu A01 76Table 9: Mô tả bảng Catalogue A02 77Table 10: Mô tả bảng tác giả A04 77Table 11: Mô tả bảng NXB A05 .78Table 12: Mô tả bảng User A06 .78 Table 13: Mô tả bảng subCatalogue A07 .79Table 14: Mô tả bảng Child A08 79Table 15: Mô tả bảng A11 .80Table 16: Mô tả bảng A12 .808 9 PHẦN 0: LỜI NÓI ĐẦU1 1. MỤC TIÊU VÀ Ý NGHĨA CỦA ĐỀ TÀI Máy tính hiện nay đã đóng góp một phần không nhỏ vào đời sống, và đã trở nên phổ dụng. Trong lĩnh vực lưu trữ dữ liệu, chỉ cần một ổ cứng 10x15x3 cm3 là đã có thể lưu trữ được số lượng sách tương ứng với cả một thư viện sách khổng lồ. Theo đó, là vấn đề tra cứu dữ liệu trong kho dữ liệu như thế. Cũng như việc tổ chức trong thư viện, việc lưu trữ tài liệu điện tử trong máy tính cũng được chia thành các loại sách, và chủ đề lớn khác nhau. Hiện nay xu thế người đọc sách là coi sách là nguồn để tra cứu những vấn đề mình quan tâm, chứ không phải học một kiến thức mới do một cuốn sách mang đến. Vấn đề đặt ra là làm sao tư vấn cho người dùng những cuốn sách nào liên quan nhiều nhất tới chủ đề người dùng yêu cầu (thông qua các từ khóa được nhập) bằng phân tích nội dung và lịch sử truy cập của những người dùng trước.Luận văn này đực thực hiện nhằm đề xuất ra được một phương thức xây dựng hệ thống hỗ trợ tư vấn với các kết quả sau: 1 - Tư vấn hoàn toàn tự động các tài liệu cho người dùng theo từ khóa, lịch sử truy cập của người dùng đó và những người dùng khác và sở thích của họ. Kết quả tư vấn ngày càng chính xác hơn vì hệ thống có phân tích và cập nhật lịch sử truy cập của người dùng. 2 - Giới thiệu tài liệu có độ tương tự nhất định với tài liệu đang nghiên cứu để người dùng lựa chọn tài liệu tiếp theo nghiên cứu. - Hệ thống khảo sát (survey) để thu thập các ý kiến đánh giá của người dùng về sự tương tự của các tài liệu hệ thống gợi ý. Qua đó, càng thu thập nhiều sự đánh giá, kết quả tư vấn cho người dùng càng sát với vấn đề người ta đặt ra hơn.3 - Người dùng mới không nhất thiết phải đăng ký thông tin với hệ thống. Hệ thống vẫn gợi ý cho người dùng thông qua phân tích nội dung và lịch sử truy cập hệ thống.4 - Đáp ứng các yêu cầu tìm kiếm trên các trang web (tìm kiếm trong site riêng hoặc trên internet). Hệ thống hướng tới việc tìm kiếm và xây dựng cơ sở dữ liệu động từ internet.0 2. VẤN ĐỀ GIẢI QUYẾT Có 2 phương pháp chủ đạo được dùng trong hệ tư vấn: Phương pháp lọc cộng tác: là phương pháp tập hợp các đánh giá hoặc các quan điểm của người dùng, nhận dạng sự tương đồng giữa các người dùng trên cơ sở các phiên giao dịch của họ. Phiên giao dịch của người dùng được bắt đầu từ khi người dùng đánh từ khóa và có tín hiệu search. Kết thúc phiên làm việc với một từ khóa mới được nhập. Phương pháp lọc cộng tác ước lượng hàm đánh giá R(u,i) của item i với user u dựa trên cơ sở đánh giá R(u’,i) của user u’ cho cùng item i mà trong đó u và u’ là tương tự nhau. Phương pháp lọc cộng tác có các vấn đề như: 5 Sự thưa thớt: thực tế thì vấn đề của người dùng quan tâm (từ khóa) nó chiếm phần rất nhỏ và sự đánh giá sự tương đồng cho tài liệu là rất nhỏ so với rất nhiều tài liệu của hệ 10 [...]... ngơn ngữ tự nhiên, xử lý khai khoáng dữ liệu và tạo cơ sở tri thức với những phân tích theo kinh nghiệm. Người dùng có thể gõ các truy vấn bằng ngôn ngữ tự nhiên và nhận được những trả lời thỏa đáng. Một kiểu nâng cao khác của cơng cụ tìm kiếm Internet là Cycorp (http://www.cyc.com). Cyc liên kết cơ sở tri thức lớn nhất trên thế giới với Internet. Cyc là một cơ sở tri thức bao la và đa ngữ cảnh.... nhật hệ số tương quan giữa 2 tài liệu đó, phục vụ cho các kết quả tư vấn ở lần tiếp theo. 16 Nhận và tiền xử lý query Câu truy vấn Xử lý query, tạo kết quả trả Tài liệu chứa từ khóa trong query Tài liệu có liên quan với tài liệu kết quả Truy vấn CSDL (tài liệu) Tập tài liệu Các tài liệu liên quan Cập nhật tài liệu liên quan Hiển thị kết quả ra browser Tài liệu trả về Xử lý tác thao tác người... số tính năng tìm kiếm nâng cao). Bằng việc đánh một từ khóa người dùng quan tâm, hệ thống sẽ cung cấp hai loại kết quả: 1. Kết quả do truy vấn SQL trong cơ sở dữ liệu của hệ thống 2. Kết quả do phân tích qua lịch sử truy cập của những người dùng trước. Với loại kết quả đầu tiên, kết quả tìm được do việc truy vấn bằng các câu truy vấn SQL trong cơ sở dữ liệu. CSDL phải được thiết kế sao cho quá trình... lý LSA (ma trận và giải thuật SVD) Tập các tài liệu liên quan tới 1 tài liệu Cập nhật CSDL (dữ liệu tài liệu liên quan ) 5.3 Mơ hình tư vấn dựa trên lịch sử phiên truy cập của người dùng Kế thừa từ các hệ thống học thông minh, từ các phiên làm việc của người dùng, hệ thống sẽ tự động cập nhật để chính xác hơn những thơng tin có trong cơ sở dữ liệu để phục vụ cho những lần tư vấn sau đó. Có... nghĩa tiềm ẩn (LSA) Cũng liên quan tới mảng ngữ nghĩa của từ, trong đồ án tốt nghiệp này, chúng tôi khai thác chiều khác của phân tích về mặt ngữ nghĩa. Ngồi việc tương đồng từ khóa về mặt hình thức (về bản mặt từ), chúng tơi cịn đề cập tới tương đồng về nội dung của tài liệu. Có nhiều phương pháp khác nhau để đánh giá sự tương đồng về nội dung như phương pháp Định chỉ số ngữ nghĩa tiềm ẩn (LSI... tách tài liệu thành các từ khóa và nó đặc trưng cho tài liệu đó. Hệ thống sẽ tìm kiếm trong kết quả trả về cho người dùng lần đầu tiên bằng việc so khớp các từ khóa được nhập với các từ khóa trong phần từ khóa của các tài liệu. Khâu xử lý về nội dung sẽ xác định các tài liệu nào giống tài liệu nào. Giống ở đây chỉ mức độ tương đồng về mặt nội dung giữa các tài liệu đem gợi ý. Có thể hai tài liệu khơng... dùng những tài liệu liên quan tới tài liệu mà họ đang đọc. Việc tìm những văn bản liên quan là dựa trên sự tương đồng giữa hai văn bản. Với loại kết quả thứ hai, hệ thống sẽ cung cấp cho người dùng những văn bản mà qua những lần truy cập hệ thống trước đó, hệ thống ghi nhận những tài liệu mà các người dùng trước đã đọc khi đọc tài liệu này học tài liệu khác cùng chủ đề hay có độ tương đồng nhất định... đầu vào Ifilter để xử lý, kết hợp các file từ điển, file từ stopword để tách dữ liệu được đọc vào thành các từ khóa, đặc trưng cho tài liệu đó. Kỹ thuật LSA, đánh giá độ tương đồng về mặt ngữ nghĩa giữa các tài liệu dựa trên kỹ thuật xử lý ma trận SVD. Phần này sẽ được trình bày chi tiết trong luận văn còn lại của dự án (Liên lạc với Mr Kiều Văn Cường) Cung cấp kỹ thuật xử lý lịch sử phiên làm... nhất về cách gọi của từ loại cũng như cấu trúc các ngữ của tiếng Việt. Trong đồ án này, người viết luận văn sẽ chủtrương bám sát theo quan điểm được nhiều tác giảđã thống nhất, quan điểm này được đánh giá là khá phù hợp với ngữ pháp tiếng Việt hiện tại. Đồng thời, trong quá trình xây dựng đồ án, tác giả cũng tiến hành so sánh và bổ sung thêm những phần lý thuyết thuộc hai quan điểm của Nguyễn Tài... bước quan trọng cho việc xử lý chỉ mục tài liệu. Thêm vào việc ghi những từ khóa mà một tài liệu chứa. Phương pháp này khảo sát toàn bộ tập dữ liệu, để thấy những tài liệu khác chứa một số từ tương được với các từ đó. LSI được phát triển đầu tiên ở Bellcore trong cuối những năm 80. LSI xem các tài liệu có nhiều từ thơng dụng là có nghĩa, và xem những tài liệu ít từ thơng dụng là ít có nghĩa. Mặc . trảTài liệu chứa từ khóa trong queryTài liệu có liên quan với tài liệu kết quảTruy vấn CSDL (tài liệu) Tập tài liệuCác tài liệu liên quanCập nhật tài liệu. thuật LSA15Tập tài liệu (từ khóa)Xử lý LSA (ma trận và giải thuật SVD)Tập các tài liệu liên quan tới 1 tài liệuCập nhật CSDL (dữ liệu tài liệu liên quan
