đồ án tốt nghiệp xây dựng và kiểm thử hệ thống gợi ý thông tin dựa trên kỹ thuật phân lớp văn bản

103 9 0
  • Loading ...
    Loading ...
    Loading ...

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Tài liệu liên quan

Thông tin tài liệu

Ngày đăng: 22/11/2020, 07:24

Niên khóa : 2011 – 2015 XÂY DỰNG VÀ KIỂM THỬ HỆ THỐNG GỢI Ý THÔNG TIN DỰA TRÊN KỸ THUẬT PHÂN LỚP VĂN BẢN TRỊNH THỊ PHƯƠNG ĐỒNG VĂN TÀI NGÔ THỊ LỆ THOA XÂY DỰNG VÀ KIỂM THỬ HỆ THỐNG GỢI Ý THÔNG TIN DỰA TRÊN KỸ THUẬT PHÂN LỚP VĂN BẢN Chuyên ngành: Công nghệ thông tin ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Hà Nội - Năm 2015 TRỊNH THỊ PHƯƠNG ĐỒNG VĂN TÀI NGÔ THỊ LỆ THOA XÂY DỰNG VÀ KIỂM THỬ HỆ THỐNG GỢI Ý THÔNG TIN DỰA TRÊN KỸ THUẬT PHÂN LỚP VĂN BẢN Chuyên ngành: Công nghệ thông tin Giảng viên hướng dẫn: ThS Lê Hữu Dũng VIỆN ĐẠI HỌC MỞ HÀ NỘI CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠNG NGHỆ THÔNG TIN Độc lập – Tự – Hạnh phúc Hà Nội, ngày 11 tháng 05 năm 2015 NHIỆM VỤ CỦA ĐỒ ÁN TỐT NGHIỆP Họ tên: Trịnh Thị Phương Giới tính: Nữ Ngày sinh: 19/02/1993 Nơi sinh: Nam Định Chuyên ngành: Công nghệ thông tin Mã số: 101 Họ tên: Đồng Văn Tài Giới tính: Nam Ngày sinh: 19/10/1993 Nơi sinh: Quảng Ninh Chuyên ngành: Công nghệ thông tin Mã số: 101 Họ tên: Ngô Thị Lệ Thoa Giới tính: Nữ Ngày sinh: 22/02/1993 Nơi sinh: Vĩnh Phúc Chuyên ngành: Công nghệ thông tin Mã số: 101 TÊN ĐỀ TÀI Xây dựng kiểm thử hệ thống gợi ý thông tin dựa kỹ thuật phân lớp văn NHIỆM VỤ CỦA ĐỀ TÀI Nhiệm vụ cụ thể Đồ án tốt nghiệp: - Nghiên cứu kỹ thuật phân lớp văn - Lựa chọn kỹ thuật phân lớp văn xây dựng hệ thống xử lý trung tâm thực chức phân lớp văn bản, đưa gợi ý thông tin liên quan - Quản lý thông tin cung cấp chức gợi ý thông tin cho hệ thống khách Kiểm thử hệ thống gợi ý thông tin xây dựng NGÀY GIAO NHIỆM VỤ: 06 / 01 / 2015 NGÀY HOÀN THÀNH NHIỆM VỤ: 25 / 05 / 2015 CÁN BỘ HƯỚNG DẪN: ThS Lê Hữu Dũng Nội dung đề cương Đồ án Hội đồng chuyên ngành thông qua Ngày 11 tháng 05 năm 2015 CÁN BỘ HƯỚNG DẪN KHOA CÔNG NGHỆ THÔNG TIN BẢNG PHÂN CÔNG CÔNG VIỆC Thành viên Công việc - Khảo sát phân tích hệ thống Đồng Văn Tài (Developer) - Thiết kế hệ thống - Lập trình hệ thống - Self Test - Khảo sát phân tích hệ thống Trịnh Thị Phương - Thiết kế hệ thống (Tester) - Lập trình hệ thống - Thực kiểm thử (Lập Test Plan, Lập tài liệu Test Case, Test Data, Test Script, Tổng hợp báo cáo) - Khảo sát phân tích hệ thống Ngơ Thị Lệ Thoa (Tester) - Thiết kế hệ thống - Lập trình hệ thống - Thực kiểm thử (Lập Test Plan, Lập tài liệu Test Case, Test Data, Test Script, Tổng hợp báo cáo) Các công việc thực theo quy trình có phần thực đan xen cơng việc thành viên LỜI CẢM ƠN Lời đầu tiên, chúng em xin bày tỏ lịng kính trọng biết ơn tới ThS Lê Hữu Dũng – người tận tình hướng dẫn, bảo suốt trình thực đồ án chúng em Bằng tất lòng, chúng em xin gửi lời cảm ơn chân thành sâu sắc tới Thầy Chúng em xin chân thành cảm ơn Thầy cô giáo Khoa Công nghệ Thông tin, Viện Đại học Mở Hà Nội dìu dắt, tạo điều kiện thuận lợi cho chúng em suốt thời gian học tập nghiên cứu Trường Cảm ơn anh chị bạn Thực tập viên Trung tâm Công nghệ Dịch vụ Trực tuyến (OTSC) bên cạnh, động viên trao đổi kinh nghiệm q trình hồn thành đồ án Cuối cùng, Chúng em xin chân thành cảm ơn thành viên Gia đình, người ln dành cho chúng em tình cảm nồng ấm nhất, ln bên cạnh, sẵn sàng chia sẻ lúc khó khăn động viên, khích lệ, giúp đỡ chúng em suốt q trình học tập, nghiên cứu hồn thành đồ án tốt nghiệp Bằng tất cố gắng, chúng em xin gửi tặng đồ án quà tinh thần tới thành viên Gia đình Hà Nội, ngày 11 tháng 05 năm 2015 Nhóm thực Trịnh Thị Phương Đồng Văn Tài Ngô Thị Lệ Thoa LỜI NÓI ĐẦU Trong năm gần đây, phát triển vượt bậc Công nghệ thông tin làm tăng số lượng thông tin mạng Internet cách đáng kể, đặc biệt thư viện điện tử, tin tức điện tử, … Do mà số lượng văn xuất mạng Internet tăng tốc độ chóng mặt, tốc độ thay đổi thơng tin nhanh chóng Với số lượng thơng tin đồ sộ vậy, yêu cầu lớn đặt tổ chức tìm kiếm thơng tin, liệu có hiệu Bài tốn gợi ý thông tin dựa kỹ thuật phân lớp giải pháp hợp lý cho yêu cầu Nhưng thực tế khối lượng thông tin lớn, việc phân lớp liệu thủ công điều khơng thể Hướng giải chương trình học máy tự động phân lớp liệu Trong loại liệu văn loại liệu phổ biến mà người thường gặp phải Mơ hình biểu diễn văn phổ biến mơ hình khơng gian vector Tuy nhiên toán khai phá liệu văn thường gặp phải số khó khăn tính nhiều chiều văn bản, tính nhập nhằng ngơn ngữ,… Đồng thời xử lý tốn phân lớp có độ tin cậy cao địi hỏi phải có lượng mẫu liệu huấn luyện tức văn gán nhãn chủ đề lớp tương ứng Do đòi hỏi cần phải xử lý văn hiệu số phương pháp học không cần nhiều liệu phân loại có khả tận dụng nguồn liệu chưa phân loại phong phú Nhóm chúng em chọn đề tài “Xây dựng kiểm thử hệ thống gợi ý thông tin dựa kỹ thuật phân lớp văn bản” với mong muốn hệ thống có ý nghĩa thực tiễn việc gợi ý cho người dùng thơng tin hữu ích, giúp tiết kiệm thời gian, công sức mà vấn đề tải thông tin ngày nghiêm trọng MỤC LỤ TÓM TẮT ĐỒ ÁN DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC KÝ HIỆU DANH MỤC CÁC BẢNG DANH MỤC HÌNH VẼ Chương TỔNG QUAN VỀ ĐỀ TÀI 1.1 Khái quát hệ thống gợi ý 1.1.1 Giới thiệu toán gợi ý 1.1.2 Các kỹ thuật gợi ý .1 1.2 Hệ thống gợi ý thông tin đề tài 1.2.1 Kỹ thuật gợi ý đề tài 1.2.2 Thách thức gợi ý thông tin web Tiếng Việt 1.3 Tổng quan phân lớp 1.3.1 Quá trình phân lớp liệu 1.3.2 Biểu diễn văn 1.3.3 Phương pháp phân lớp văn 1.3.4 Các bước trình phân lớp văn 1.3.5 Đánh giá mơ hình phân lớp .11 1.3.6 Các yếu tố quan trọng tác động đến phân lớp văn 11 Chương 13 THUẬT TOÁN HỌC MÁY PHÂN LỚP 13 2.1 Bài toán học có giám sát .13 2.2 Một số phương pháp học máy phân lớp 14 2.3 Thuật toán SVM với phân lớp văn 16 2.3.1 Giới thiệu SVM 17 2.3.2 Thuật toán SVM 18 2.3.3 Huấn luyện SVM 19 Chương 21 XỬ LÝ VĂN BẢN TIẾNG VIỆT .21 3.1 Đặc trưng Tiếng Việt .21 3.1.1 Đặc trưng 21 3.1.2 Phán đoán web Tiếng Việt .22 3.2 Các phương pháp tách từ Tiếng Việt .22 3.3 Maximum Matching – Phương pháp sử dụng đề tài 24 Chương 26 THỰC HIỆN PHÂN LỚP VĂN BẢN .26 4.1 Chuẩn bị liệu huấn luyện 27 4.1.1 Trình thu thập web 27 4.1.2 Nhận dạng vùng nội dung .31 4.2 Tiền xử lý liệu 33 4.2.1 Tách từ 33 4.2.2 Loại bỏ từ dừng .34 4.2.3 Biểu diễn văn 35 4.3 Huấn luyện học máy 35 4.4.1 Trích chọn đặc trưng văn 35 4.4.2 Tạo mơ hình học máy 36 4.5 Thực phân lớp 36 4.5.1 Nhãn liệu phân lớp .36 4.5.2 Phân lớp liệu 41 Chương 42 TRIỂN KHAI HỆ THỐNG 42 5.1 Các tác nhân ca sử dụng 42 5.1.1 Tác nhân hệ thống .42 5.1.2 Xác định ca sử dụng 42 5.2 Biểu đồ lớp .62 5.2.1 Biểu đồ lớp thực thể 62 5.2.2 Biểu đồ lớp tầng Data 64 5.2.3 Biểu đồ lớp tầng nghiệp vụ 65 5.3 Thiết kế sở liệu .66 5.3.1 Nguyên tắc thiết kế sở liệu .66 5.3.2 Mô hình quan hệ 66 Chương 67 KIỂM THỬ HỆ THỐNG 67 6.1 Tổng quan kiểm thử hệ thống 67 6.1.1 Lý kiểm thử hệ thống 67 6.1.2 Mục đích kiểm thử hệ thống 68 6.1.3 Vai trò kiểm thử hệ thống 68 6.1.4 Mục tiêu kiểm thử hệ thống .69 6.1.5 Môi trường công cụ kiểm thử 69 6.1.6 Nhân thực kiểm thử .69 6.2 Kế hoạch kiểm thử 70 6.2.1 Phạm vi kiểm thử .70 6.2.2 Quy trình kiểm thử 71 6.2.3 Thời gian kiểm thử 71 6.3 Thực kiểm thử 71 6.3.1 Lý thuyết chọn mẫu 71 6.3.2 Thực kiểm thử Module/ Chức 74 6.3.3 Kết .79 6.4 Báo cáo đánh giá .79 6.4.1 Chứng minh chương trình đạt chuẩn .79 6.4.2 Đánh giá 81 TÀI LIỆU THAM KHẢO 82 PHỤ LỤC .84 73  Kiểm thử mức chấp nhận Cuối hệ thống giao cho người dùng để kiểm thử mức chấp nhận Test Module/ Chức Test phương thức Test DetectHTMLContent methods  Mục đích: Nhận dạng tiêu đề tổng số điểm cho tiêu đề  Cơng cụ: phần mềm chạy sẵn  Hình thức test: truyền link  Trạng thái: Pass, Fail  TestCase, TestData tương ứng TestCase (1->10) 74 TestData (Ví dụ tương ứng) 75 Report: Nhandangtieude Bảng 6.21 Kết test nhận dạng tiêu đề Trạng thái Pass Fail Tổng số case: 10 10 Test chức nhận dạng vùng bóc tách Mục đích: Lấy tiêu đề nội dung viết Công cụ: phần mềm chạy Hình thức test: truyền link TestCase, TestData tương ứng - Tổng số TestCase lấy : 250 TestCaseID - Trạng thái : Pass, Fail, Warning (trường hợp lấy tiêu đề lấy phần nội dung) - Một số ví dụ: o Nguồn Test Warning + TestCaseID (Tiin001->Tiin005) 76 + TestData tương tứng Nguồn Test Fail + TestCase + TestData tương ứng 77 Nguồn Test Warning + TestCase + TestData tương ứng 78 6.3.3 Kết Chức năng: Nhận dạng vùng bóc tách Bảng 6.3 Kết Test Nhận dạng vùng bóc tách Test lần Test lần (Test hồi quy) Tổng số case Fail Tỉ lệ đạt 66 49 66,6% 80,16194% 6.4 Báo cáo đánh giá 6.4.1 Chứng minh chương trình đạt chuẩn - Theo lý thuyết xác suất thống kê, với mẫu có số lượng lớn, việc lựa chọn mẫu để kiểm định lấy số lượng từ 30 trở lên, tùy thuộc vào chuyên gia để xác định ước lượng khoảng tin cậy cho tốn - Với tốn đề tài nhóm chúng em, qua q trình khảo sát nghiên cứu, chúng em định chọn 50 nguồn tin để test, với nguồn tin lấy link chuyên mục - Yêu cầu chứng minh: Còn p tỉ lệ số link đạt tổng thể = = = 0,604 60% Với độ tin cậy 95% => 95% = 1 1- = 0,95  = 0,05  Tra bảng tính: = z(0,25) = 1,96 - Áp dụng cơng thức: Ước lượng tỉ lệ đạt – – 1,96 + 1,96  0,604 – 1,96 < p < 0,604 + 1,96  0,754791 < p < 0,653209  Khoảng tin cậy đối xứng cho tỉ lệ p là: 79 p (0,754791; 0,653209) o Với = 0,754791, số link đạt 250 link test là: = * 250 = 0,754791 * 250 179 o Với = 0,653209, số link đạt 250 link test là: = * 250 = 0,653209 * 250 213  Khoảng tin cậy cho số link đạt là: (179; 213)  Điều cần chứng minh 6.4.2 Đánh giá Chương trình khó để bao qt tổng thể phải lấy link từ nhiều nguồn code nhiều cách để thẻ khác (tức khung dạng đặt tiêu đề nội dung viết khác nhau, không theo chuẩn cả) Chính thế, qua kết kiểm thử, chương trình đặt tỉ lệ 60% kết khả quan có tính thuyết phục cao Và đạt mức quy định đề ban đầu - Tiếp theo xây dựng tiếp phát triển tiếp đưa công thức chung cho phần mềm chạy để đặt với tỉ lệ lớn số test - Cải thiện số case Fail đặt tới mức tối thiểu để nâng mức hệ thống lên 80 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] Phạm Phương Thanh, Mô hình tin cậy hệ tư vấn lựa chọn, tóm tắt luận văn thạc sĩ, Học viện Công nghệ Bưu Viễn thơng, 2010 [2] ng Huy Long, Giải pháp mở rộng thông tin ngữ cảnh phiên duyệt web người dùng nhằm nâng cao chất lượng tư vấn hệ thống tư vấn tin tức, khóa luận tốt nghiệp đại học, Đại học Công nghệ, ĐHQGHN, 2010 [3] Trần Thị Oanh, Mơ hình tách từ, gán nhãn từ loại hướng tiếp cận tích hợp cho tiếng Việt, Luận văn tốt nghiệp đại học, Đại học công nghiệp, ĐHQGHN, 2006 [4] Nguyễn Quang Châu, Phan Thị Tươi, Cao Hoàng Trụ, Gán nhãn từ loại cho Tiếng Việt dựa văn phong tính tốn xác suất, Tạp chí phát triển KH CN, tập 9, số - 2006 [5] Lê Hoàng Quỳnh, So sánh số phương pháp học máy cho toán gán nhãn từ loại tiếng Việt, Khóa luận tốt nghiệp đại học quy, Đại học Công nghệ, ĐHQGHN, 2009 [6] Thái Sơn, Kỹ thuật Support Vector Machines ứng dụng, Luận văn Thặc sỹ khoa học, Đại học Bách Khoa Hà Nội, 2006 [7] Nguyễn Minh Phúc, Tìm hiểu Web Crawler xây dựng Website tổng hợp thơng tin, Khóa luận tốt nghiệp đại học quy, Đại học Cơng nghệ, 2010 [8] Huỳnh Tân Trung, Hệ thống nhận dạng phân loại văn bản, Luận văn thạc sỹ công nghệ thông tin, 2007 [9] Nguyễn Thị Trang, Nghiên cứu phương pháp trích rút văn bản, Luận văn Thạc Sỹ, Học viện bưu viễn thơng, 2013 [10] Nguyễn Đức Vinh, Phân tích câu hỏi hệ thống hỏi đáp tiếng Việt, Khóa luận tốt nghiệp đại học quy, Đại học Cơng Nghiệp, 2009 81 [11] Hoàng Văn Dũng, Khai phá liệu web kỹ thuật phân cụm, Luận văn thạc sỹ khoa học, Đại học sư phạm hà Nội, 2007 [12] Trần Ngọc Phúc, Phân loại nội dung tài liệu web, Luận văn thạc sỹ công nghệ thông tin, Đại học Lạc Hồng, 2012 [13] Đặng Hữu Hải, Nghiên cứu xây dựng công cụ quảng cáo theo ngữ cảnh, Tóm tắt luận văn Thạc Sỹ, Học viện bưu viễn thông, 2013 [14] Nguyễn Thị Hải Yến, Phân lớp bán giám sát ứng dụng thuật toán SVM vào phân lớp trang Web, Khóa luận Tốt nghiệp Đại học Chính quy, Đại học Cơng Nghiệp, 2007 Tiếng Anh: [15] Xiaojin Zhu (2006) Semi-Supervised Learning Literature Survey ComputerSciences TR 1530, University of Wisconsin – Madison, February 22, 2006 [16] T Joachims (1999) Transductive Inference for Text Classification using Support Vector Machines International Conference on Machine Learning (ICML), 1999 [17] T Joachims (2003) Transductive learning via spectral graph partitioning Proceeding of The Twentieth International Conference on Machine Learning (ICML2003): 290-297 [18] Nguyen, C.-T.,Nguyen, T.-K, Phan, X.-H, Nguyen, L.-M,&Ha, Q.-T (2006) Vietnamese word segmentation with CRFs and SVMs; An investigation In 20th Pacific Asia Conference on Language, Information and Computation (PACLIC 2006) [19] Lưu Tuấn Anh, Yamahamoto kazuhide Ứng dụng phương pháp Pointwise vào toán tách từ cho Tiếng Việt [20] Le, H.-P., Nguyen, M.-H.T., Roussananly, A., & Ho, T.-V (2008) A Hybird Approach to Word Segmentation of Vietnamese Texts, 240 Chương PHỤ LỤC Phụ lục A Đặc tả bảng sở liệu Bảng Hệ thống khách ST Khóa Khóa T ngoại x Tên trường Kiểu liệu Diễn giải PK_iHethongKhachID int Mã hệ thống nvachar(50) khách Tên hệ sLienket nvachar(200 thống Liên kết tThoigianDangky ) datetime Thời gian bigint đăng ký Mã User sTenHethong x FK_iUserID Bảng Kiểm duyệt hệ thống khách ST T Khóa chín h Khóa ngoại Tên trường PK_iKiemduyet x x HethongKhachID FK_iHethongKhachID Kiểu Diễn giải liệu bigint Mã kiểm duyệt int hệ thống khách Mã hệ thống bKiemduyet bit khách Kiểm duyệt tThoigian datetime Thời gian Bảng thông tin gợi ý Khóa Khó ST chín a T h ngoạ Kiểu Diễn giải liệu Tên trường i × PK_iThongtinID bigint Mã thông tin tThoigianGoiyLandau datetim Thời gian gợi e ý thông tin Bảng lớp thông tin ST T Khóa chín h Khó a ngoạ Diễn Tên trường Kiểu liệu giải i PK_iLopThongtinID x tinyint Mã lớp sTenlop nvarchar(50) thông tin Tên lớp sMota nvarchar(250 Mô tả ) Bảng thời gian sử dụng ST Khóa Khó T chín a h ngoạ Tên trường Kiểu Diễn giải liệu i PK_iThoigian x x bigint Mã thời gian sử SudungID FK_iHethong int dụng Mã Hệ thống khách KhachID tThoigianBatdau datetim Thời gian bắt đầu e x tThoigianKetthuc datetim Thời gian kết thúc FK_iUserID tThoigianGhinhan e bigint datetim Mã User Thời gian ghi nhận e Bảng thông tin ST Khóa Khó Tên trường Kiểu liệu Diễn giải T chín a h ngoạ PK_iThongtinID sTieude bigint nvarchar(250 Mã phiếu yêu cầu Mã thẻ thư viện sNoidung ) ntext Số hiệu sách sNoidungTomtat nvarchar(500 Ngày yêu cầu trả sách sLienket ) nvarchar(200 Liên kết ) int Mã hệ thống khách i x x FK_iHethong KhachID tThoigiancapnhat Datetime Thời gian cập nhật Bảng kết gợi ý thơng tin ST Khóa Khó T a Tên trường Kiểu Diễn giải liệu ngoạ i PK_iKetquaGoiy x x x ThongtinID FK_iThongtinID FK_iThongtinGoiyID iSoluotClick bKhongchinhxac bigint Mã kêt gợi ý thông bigint bigint int bit tin Mã thông tin Mã thông tin gợi ý Số lượt click Khơng xác Bảng kết phân lớp ST T Khó Khóa a chín ngoạ h i Tên trường Kiểu liệu Diễn giải x x PK_iThongtinID bigint Mã thông tin FK_iLopThongtinID tinyint Mã lớp thông tin bSudungDeHuanluyen bit Sử dụng để huấn luyện Bảng Users ST Khóa Khó T chín a h ngoạ Tên trường Kiểu Diễn giải liệu i x PK_iUserID sTenDangnhap bigint nvarchar(50 Mã User Tên đăng nhập sMatkhau ) nvarchar(50 Mật bKichhoat ) bit Kích hoạt 10.Bảng UserRoles ST Khóa Khó T chín a h ngoạ Tên trường Kiểu Diễn giải liệu i x x x PK_iUserRolesID FK_UserID FK_RolesID bigint bigint int Mã UserRoles Mã User Mã Roles 11.Bảng Roles ST Khóa Khó T chín a h ngoạ Tên trường Kiểu liệu Diễn giải int nvarchar(50) nvarchar(250 Mã Roles Tên quyền Mô tả i x PK_iRolesID sTenquyen sMota ) ... lớp văn - Lựa chọn kỹ thuật phân lớp văn xây dựng hệ thống xử lý trung tâm thực chức phân lớp văn bản, đưa gợi ý thông tin liên quan - Quản lý thông tin cung cấp chức gợi ý thông tin cho hệ thống. .. nghệ thông tin Mã số: 101 TÊN ĐỀ TÀI Xây dựng kiểm thử hệ thống gợi ý thông tin dựa kỹ thuật phân lớp văn 2 NHIỆM VỤ CỦA ĐỀ TÀI Nhiệm vụ cụ thể Đồ án tốt nghiệp: - Nghiên cứu kỹ thuật phân lớp. ..TRỊNH THỊ PHƯƠNG ĐỒNG VĂN TÀI NGÔ THỊ LỆ THOA XÂY DỰNG VÀ KIỂM THỬ HỆ THỐNG GỢI Ý THÔNG TIN DỰA TRÊN KỸ THUẬT PHÂN LỚP VĂN BẢN Chuyên ngành: Công nghệ thông tin Giảng viên hướng dẫn:
- Xem thêm -

Xem thêm: đồ án tốt nghiệp xây dựng và kiểm thử hệ thống gợi ý thông tin dựa trên kỹ thuật phân lớp văn bản , đồ án tốt nghiệp xây dựng và kiểm thử hệ thống gợi ý thông tin dựa trên kỹ thuật phân lớp văn bản

Mục lục

Xem thêm