ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THANH PHONG XÂY DỰNG HỆ THỐNG HỖ TRỢ TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT TỈNH TRÀ VINH LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THANH PHONG XÂY DỰNG HỆ THỐNG HỖ TRỢ TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT TỈNH TRÀ VINH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS TRƯƠNG NGỌC CHÂU Đà Nẵng - Năm 2017 i LỜI CAM ĐOAN Tôi xin cam đoan : Những nội dung luận văn thực hướng dẫn trực tiếp TS Trương Ngọc Châu Mọi tham khảo dùng luận văn trích dẫn rõ ràng trung thực tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả Nguyễn Thanh Phong ii TÓM TẮT LUẬN VĂN XÂY DỰNG HỆ THỐNG TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT TỈNH TRÀ VINH Nguyễn Thanh Phong, học viên cao học khố 31, chun ngành Khoa học máy tính Tóm tắt - Nhằm đạt mục tiêu cuối nâng cao chất lượng số lượng học sinh đỗ tốt nghiệp đại học đạt giỏi trường Đại học Trà Vinh ngày cao Việc sử dụng phương pháp phân lớp giúp xác định chất lượng chuyên môn môn thi bắt buộc điểm xét tốt nghiệp học sinh, từ giúp ban giám hiệu nhà trường tư vấn cho em chọn ngành nghề Mặt khác, để giúp cấp quản lý, hội đồng môn, ban giám hiệu trường trung học phổ thơng xây dựng kế hoạch hợp lí nhằm đạt mục tiêu mong muốn Tôi nghĩ vận dụng phương pháp phân lớp dựa định khai thác tập liệu điểm đầu vào đầu sinh viên từ nhìn khách quan hơn, xác Tìm hiểu ngành nghề một, tư nghề nghiệp có hợp với cá nhân, sở thích, nhu cầu tuyển dụng, công việc cụ thể Từ yêu cầu xây dựng định để xử lý tốn Học sinh có thay đổi chọn ngành học, lựa chọn cho phù hợp với điều kiện em Và kết sở cho việc định hướng phát triển học tập chọn ngành nghề cho em tương lai Từ khóa – Hệ thống tư vấn; hướng nghiệp; học sinh; phương pháp phân lớp; định BUILDING CAREER ADVISORY SYSTEM FOR HIGH SCHOOL STUDENTS OF TRA VINH PROVINCE Abstract – In order to achieve the ultimate goal is to improve the quality and number of students passing the university graduates are quite good at Tra Vinh University increasingly The use of the layered approach helps to determine the professional qualities of compulsory and graduate school graduation exams, and helps the school administration advise them to select the right trades On the other hand, to help administrators, departmental committees, high school administrators make more reasonable plans to achieve the desired goals I think it is possible to manipulate the decision tree based on the decision tree to exploit the input and output data set of students from which the view is more objective and accurate Understand each industry, occupational thinking, personal preferences, hiring, job requirements From the above requirements, I built the decision tree to handle the problem Students have a change in their chosen field of study, chosen to suit their condition And this result will be the basis for the future orientation of the development of vocational education in the future Key words - Counseling system; vocational guidance; student; Classification method; Decision tree iii MỤC LỤC LỜI CAM ĐOAN i TÓM TẮT LUẬN VĂN ii MỤC LỤC iii DANH MỤC CÁC BẢNG v DANH MỤC CÁC HÌNH vi MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa đề tài Bố cục luận văn CHƯƠNG TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1.1 Giới thiệu chung 1.2 Các khái niệm khai phá liệu 1.3 Tại phải khai phá liệu 1.4 Quá trình khai phá tri thức 1.5 Các kỹ thuật khai phá liệu 1.6 Những thách thức ứng dụng nghiên cứu kỹ thuật khai phá liệu 10 CHƯƠNG PHƯƠNG PHÁP PHÂN CỤM VÀ PHÂN LỚP DỮ LIỆU TRONG KHAI PHÁ DỮ LIỆU 13 2.1 Phân cụm liệu 13 2.1.1 Tổng quan phân cụm liệu 13 2.1.2 Các kỹ thuật phân cụm 14 2.1.3 Độ đo khoảng cách: 16 2.1.4 Giới thiệu thuật toán k-means 17 2.2 Phân lớp liệu 19 2.2.1 Tổng quan phân lớp liệu 19 2.2.2 Các kỹ thuật phân lớp 21 2.2.3 Cây định ứng dụng phân lớp liệu 22 2.2.4 Xây đựng định 25 2.2.4.1 Chọn thuộc tính phân tách 25 2.2.4.2 Độ lợi thông tin (Information gain) 26 iv 2.2.5 Thuật toán phân lớp định ID3 27 2.2.6 Chuyển luật 35 2.2.7 Khi nên sử dụng ID3 35 CHƯƠNG XÂY DỰNG CÂY QUYẾT ĐỊNH ĐỂ ĐÁNH GIÁ KẾT QUẢ THI ĐẦU VÀO CỦA SINH VIÊN TRƯỜNG ĐẠI HỌC TRÀ VINH TỪ ĐÓ TƯ VẤN CHO CÁC EM CÁC NGÀNH NGHỀ TRONG TƯƠNG LAI 37 3.1 Phân tích tốn hướng giải 37 3.1.1 Phát biểu toán 37 3.1.2 Giải toán 38 3.2 Tổng quan phần mềm Weka 38 3.3 Sử dụng phần mềm Weka để xây dựng định để từ tư vấn cho em ngành nghề tương lai 38 3.4 Thu thập liệu 39 3.5 Thực khai phá liệu 40 3.6 Sử dụng phần mềm Weka để xây dựng định 42 3.6.1 Giới thiệu định 42 3.6.2 Thuật toán xây dựng định 43 3.6.3 Mã thuật toán 44 3.6.4 Sử dụng phần mềm Weka 45 3.7 Ứng dụng tri thức từ định 48 3.7.1 Các mô-đun hệ thống 52 3.7.2 Cài đặt hệ thống 54 3.7.3 Bảng mô tả cấu trúc liệu 55 3.7.4 Giao diện chương trình tư vấn 57 KẾT LUẬN 59 DANH MỤC TÀI LIỆU THAM KHẢO 60 QUYẾT ĐỊNH GIAO ĐỀ TÀI BẢN SAO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN SAO NHẬN XÉT CỦA CÁC PHẢN BIỆN v DANH MỤC CÁC BẢNG Số hiệu Tên bảng Trang 2.1 Mô tả cấu trúc liệu 27 2.2 Mô tả cấu trúc liệu 31 3.1 Bảng mô tả cấu trúc tập liệu trường ĐHTV 40 3.2 Mô tả cấu trúc liệu 55 vi DANH MỤC CÁC HÌNH Số hiệu Tên hình Trang 1.1 1.2 Mô tả luồng liệu tổ chức Quá trình phát tri thức So sánh gom nhóm liệu theo khoảng cách địa lý kích thước Quá trình phân lớp liệu – (a) Bước xây dựng mơ hình phân lớp Q trình phân lớp liệu – (b1) Ước lượng độ xác mơ hình Q trình phân lớp liệu – (b2) phân lớp liệu Ví dụ định Phân tách liệu Mơ hình định Mơ hình định sau xét chọn thuộc tính quang cảnh Mơ hình định, sau áp dụng thuật tốn ID3 Tập tin trước xử lý Loại bỏ thuộc tính Chuẩn hóa liệu Chuyển thuộc tính Numeric sang thuộc tính Nominal Cây định Kết quả hiển thị khung Classifiter output Cây định Sơ đồ giải thuật thêm luật vào hệ thống Sơ đồ giải thuật sửa luật vào hệ thống Sơ đồ giải thuật sửa luật vào hệ thống Mơ hình kết nối WebSite voi database Lưu đồ mơ tả q trình làm Giao diện chương trình Giao diện chương trình sau tư vấn 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 14 20 21 21 22 25 29 33 34 40 41 42 42 43 45 47 52 53 54 55 56 57 57 MỞ ĐẦU Lý chọn đề tài Sự phát triển không ngừng ngành công nghệ thông tin nói chung lĩnh vực ngành cơng nghệ phần mềm nói riêng, việc tin học hóa cơng tác quản lý nhiều lĩnh vực, hoạt động khác tạo cho thư viện liệu khổng lồ, sẵn sàng phục vụ quan tâm Đối với nguồn tài nguyên thông tin vô giá trị, việc tận dụng kho liệu để làm sở cho việc hỗ trợ định công tác quản lý mang lại hiệu đáng kể Nhưng vấn đề cần phải phân loại nguồn tài nguyên để sử dụng có hiệu lĩnh vực cụ thể Chính mà phương pháp quản trị khai thác sở liệu truyền thống ngày không đáp ứng nhu cầu thực tế, từ trạng làm phát triển kỹ thuật nhằm giải tốn này, Kỹ thuật phát tri thức khai phá liệu (Knowledge Discovery and Data Mining) Kỹ thuật phát tri thức khai phá liệu nghiên cứu, ứng dụng rộng rãi nhiều lĩnh vực khác nước giới, Việt Nam kỹ thuật nghiên cứu dần đưa vào ứng dụng Trong lĩnh vực giáo dục nghĩ từ sở liệu kết tốt nghiệp trung học phổ thông năm học sinh lưu Phòng Khảo thí Kiểm định chất lượng giáo dục Sở Giáo dục Chúng ta áp dụng kỹ thuật khai phá liệu để đưa dự đoán đánh giá kết học tập học sinh từ đề định hướng cho học sinh chọn ngành nghề ,hướng nghề nghiệp cho học sinh v.v… Bản thân công tác Trung tâm giáo dục thường xuyên Tỉnh Trà Vinh nhận thấy vấn đề khó khăn chun mơn đơn vị trường học nên cố gắng vận dụng kiến thức học lớp Cao học ngành Công nghệ Thông tin Trường Đại học Đà Nẵng để đưa giải pháp dự đoán, định hướng ngành nghề tương lai dựa vào kết học tập tốt nghiệp THPT sở thích học sinh Vì lý trên, tơi đề xuất chọn đề tài luận văn cao học“Xây dựng hệ thống hỗ trợ tư vấn hướng nghiệp cho học sinh trung học phổ thông tỉnh Trà Vinh” 2 Mục tiêu nhiệm vụ a Mục tiêu Mục tiêu đề tài từ sở liệu kết tốt nghiệp trung học phổ thông năm học sinh lưu Phòng Khảo thí Kiểm định chất lượng giáo dục Sở Giáo dục Chúng ta áp dụng kỹ thuật khai phá liệu nhằm: - Đánh giá kết học tập học sinh lớp 12 Giúp Ban giám hiệu nhà trường có kế hoạch cho em - Đưa nhận xét kết đậu tốt nghiệp trung học phổ thông quốc gia học sinh lớp 12 trường THPT Giúp Ban giám hiệu nhà trường tư vấn cho em chọn lựa ngành nghề, phù hợp với khả em b Nhiệm vụ - Nghiên cứu vận dụng kỹ thuật khai phá liệu, thuật toán áp dụng cho kỹ thuật - Nắm vững vận dụng tốt kỹ thuật phân cụm khai phá liệu, thuật toán phân cụm liệu Để phân tích kết học tập học sinh - Nắm vững vận dụng tốt kỹ thuật phân lớp dựa định để đưa dự đoán kết tốt nghiệp trung học phổ thông học sinh lớp 12 trường THPT tỉnh - Đánh giá kết theo yêu cầu đề tài - Nghiên cứu đánh giá xếp loại học trung học phổ thông; Những định hướng Bộ phát triển tồn diện chương trình giáo dục phổ thông Đối tượng phạm vi nghiên cứu Trong khuôn khổ luận văn thuộc loại nghiên cứu ứng dụng, giới hạn nghiên cứu vấn đề sau: - Quá trình khám phá tri thức khai phá liệu Các kỹ thuật khai phá liệu, số thuật toán áp dụng cho kỹ thuật - Bảng ghi thông tin điểm thi đầu vào trường Đại học Trà Vinh - Các văn hướng dẫn cách đánh giá, xếp loại học sinh 53 Mô tả giải thuật: B1: Chọn khối tương ứng với ngành học B2: Kiểm tra luật có bị trùng hay khơng ,nếu bị trùng quay B1 ngược lại khơng bị trùng thực tiếp B3 B3: Sắp theo thứ tự tăng dần luật thêm vào kho Cơ Sở Tri Thức kết thúc Sơ đồ thuật toán trình sửa luật vào hệ thống BẮT ĐẦU CHỌN CÁC KHỐI, CHỌN NGÀNH HỌC TƯƠNG ỨNG VÀ LUẬT CẦN SỬA Yes KIỂM TRA DỮ LIỆU TRONG HỆ THỐNG No SẮP XẾP THEO THỨ TỰ TĂNG DẦN CỦA MÃ CÁC LUẬT KẾT THÚC Hình 3.9 Sơ đồ giải thuật sửa luật vào hệ thống Mô tả giải thuật: B1: Chọn khối, ngành tương ứng luật cần sửa B2: Kiểm tra luật có bị trùng hay khơng, bị trùng quay B1 ngược lại khơng bị trùng thực tiếp B3 B3: Sắp theo thứ tự tăng dần luật thêm vào kho Cơ Sở Tri Thức kết thúc 54 Sơ đồ thuật tốn q trình xóa luật vào hệ thống BẮT ĐẦU CHỌN CÁC LUẬT CẦN XÓA No KIỂM TRA DỮ LIỆU TRONG HỆ THỐNG Yes XÓA CÁC LUẬT TRONG CSDL KẾT THÚC Hình 3.10 Sơ đồ giải thuật sửa luật vào hệ thống Mô tả giải thuật: B1: Chọn luật cần xóa B2: Kiểm tra luật , đồng ý thực B3 ngược lại quay lại B1 B3: Thực xóa luật CSDL 3.7.2 Cài đặt hệ thống Các chức hệ thống  Phân quyền User: Có loại User “chun gia” “người dùng”  User chuyên gia có quyền cập nhật thơng tin: Các luật kiểm xem lại xóa  Người dùng xem tư vấn chuyên gia 55 Hệ thống tư vấn hướng nghiệp cho học sinh THPT sử dụng công cụ sau để thực  Sử dụng phần mềm Visual studio 2005 để thiết kế sử dụng ngôn ngữ C# DotNetFrameWork 4.0  Nền tảng sử dụng hệ thống hệ điều hành Windows  Hệ thống sử dụng lưu trữ liệu hệ quản trị sở liệu SQL 2008 3.7.3 Bảng mô tả cấu trúc liệu Bảng 3.2 Mô tả cấu trúc liệu STT Thuộc tính Kiểu liệu KHOI Nchar(2) DiemDauVao Int KhuVuc Int NganhHoc Nvarchar(50) KetQuaDauRa Nchar(10) Luat Nvarchar(50) Mô hình kết nối WebSite voi database Người dùng Giao diện Cơ sở liệu (các luật dược rút từ đinh) Hình 3.11 Mơ hình kết nối WebSite voi database Kết đoán dự 56 Nghiên cứu quy trình tuyển sinh Đại Học Đề xuất tên đề tài Thực đề tài Nghiên cứu Thu thập liệu Tìm kiếm phần mềm Đua sử dụng phần mềm liệu vào phần mềm Tạo tập tin liệu đầu vào Tiền xử lý liệu Khai thác liệu Xây dựng hệ thống tư vấn Rút gọn liệu ứng dụng tri thức Chạy thử nghiệm Đánh giá kết Kết thúc Hình 3.12 Lưu đồ mơ tả q trình làm 57 3.7.4 Giao diện chương trình tư vấn Hình 3.13 Giao diện chương trình Sau tư vấn Hình 3.14 Giao diện chương trình sau tư vấn - Áp dụng phương pháp phân lớp liệu dựa định việc phân tích kết thi tuyển sinh học sinh THPT, tập liệu bảng điểm thi tuyển 58 sinh đầu vào đầu trường Đại Học Trà Vinh Giúp em có cách nhìn khoa học khách quan kết Từ đó, có sở để tư vấn cho em trường THPT triển khai thực việc chọn ngành nghề cho Học sinh có thay đổi chọn ngành học, lựa chọn cho phù hợp với điều kiện em Và kết sở cho việc định hướng phát triển học tập chọn ngành nghề cho em tương lai 59 KẾT LUẬN Khai phá liệu đặc biệt xây dựng định ngày đóng vai trò quan trọng ứng dụng ngày thương mại điện tử, ngân hàng, bảo hiểm, chứng khoán, giáo dục, nghiên cứu khoa học, v.v Nội dung luận văn tập trung tìm hiểu kiến thức xây dựng định, thực nghiệm dựa công cụ khai phá liệu mã nguồn mở sử dụng phổ biến Weka để tiến hành đánh giá kết kỳ thi tuyển sinh Đại Học Trà Vinh kết sau đây: - Luận văn trình bày tổng quan khai phá liệu, trình khai phá tri thức, kỹ thuật khai phá liệu thách thức khai phá liệu - Tập trung vào kỹ thuật khai phá liệu xây dựng định Phân lớp liệu dựa định, trình bày khái niệm, xây dựng định - Luận văn tiến hành thực nghiệm chạy thuật toán phần mềm Weka cho tập liệu kết kỳ thi tuyển sinh trường Đại Học Trà Vinh Bước đầu cho thấy có giải pháp phân tích điểm số kết thi tuyển sinh cách khoa học, toàn diện Trên sở phân tích giúp cấp quản lý, hội đồng môn, ban giám hiệu nhà trường, xây dựng biện pháp tư vấn cho em vào trường cao đẳng, đại học  Hướng phát triển đề tài - Luận văn tiếp tục nghiên cứu thuật toán áp dụng cho kỹ thuật khai phá liệu phân lớp liệu Xây đựng hệ thống hoàn chỉnh đưa ứng dụng vào thực tế để khai thác, hoàn thiện thêm tập liệu Đề tài mở rộng sang lĩnh vực khác kinh tế, nông nghiệp, y tế… 60 DANH MỤC TÀI LIỆU THAM KHẢO [1] Khai thác liệu ứng dụng, Khoa Công nghệ Thông tin, Đại học Khoa học Tự nhiên – Đại học Quốc gia Thành phố Hồ Chí Minh, 8-2011 [2] Trương Ngọc Châu – Phan Văn Dũng, Nghiên cứu tính ứng dụng khai thác luật kết hợp sở liệu giao dịch, Trường Đại học Bách Khoa, Đại học Đà Nẵng, 2005 [3] Lập trình trình sở liệu Visual Studio, Pham Hữu Khang chủ biên, nhà xuất lao động xã hội [4] Lập trình sở liệu Visual Studio, Dương Quang Thiện chủ biên, Nhà xuất Tổng hợp TP HCM [5] Tự học Microsoft Visual Studio C#, Trần Tường Thụy Phạm Phương Hoa đồng chủ biên, Nhà xuất từ điển bách khoa Tài liệu Internet [6] http://bis.net.vn/forums/p/378/661.aspx [7] http://luanan.nlv.gov.vn [8] https://vi.wikipedia.org/wiki ...ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THANH PHONG XÂY DỰNG HỆ THỐNG HỖ TRỢ TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT TỈNH TRÀ VINH Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN... tài luận văn cao học Xây dựng hệ thống hỗ trợ tư vấn hướng nghiệp cho học sinh trung học phổ thông tỉnh Trà Vinh 2 Mục tiêu nhiệm vụ a Mục tiêu Mục tiêu đề tài từ sở liệu kết tốt nghiệp trung học. .. Nguyễn Thanh Phong ii TÓM TẮT LUẬN VĂN XÂY DỰNG HỆ THỐNG TƯ VẤN HƯỚNG NGHIỆP CHO HỌC SINH THPT TỈNH TRÀ VINH Nguyễn Thanh Phong, học viên cao học khố 31, chun ngành Khoa học máy tính Tóm tắt - Nhằm