i ĐẠI HỌC ĐÀ NẴNG ĐẠI HỌC BÁCH KHOA ĐÀ NẴNG LÊ QUỐC HOÀNG ỨNG DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU ĐỂ TƯ VẤN HỌC TẬP CHO SINH VIÊN TẠI TRƯỜNG ĐẠI HỌC QUẢNG BÌNH Chuyên ngành:Khoa học máy tính Mã số:8480101 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS PHẠM XUÂN HẬU Đà Nẵng - Năm 2018 LỜI CAM ĐOAN Tôi xin cam đoan: Những nội dung luận văn thực hướng dẫn trực tiếp TS Phạm Xuân Hậu Mọi tham khảo dùng luận văn trích dẫn rõ ràng trung thực tên tác giả, tên cơng trình, thời gian địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo, tơi xin chịu hồn tồn trách nhiệm Tác giả Lê Quốc Hồng MỤC LỤC TRANG BÌA LỜI CAM ĐOAN TRANG TÓM TẮT LUẬN VĂN MỤC LỤC DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT DANH MỤC BẢNG DANH MỤC CÁC H NH MỞ ĐẦU 1 Lý chọn đề tài Tính cấp thiết đề tài Mục tiêu đề tài Nội dung nghiên c u Đối tượng phạm vi nghiên c u hư ng ph p nghiên c u Ý nghĩa khoa học, tính khả thi đề tài Bố cục luận văn CHƯƠNG TỔNG QUAN KHAI HÁ DỮ LIỆU 1.1 Giới thiệu 1.2 C c ng dụng khai ph liệu 1.3 C c bước qu trình khai ph liệu 1.4 C c phư ng ph p khai phá liệu 1.4.1 hân lớp (classification) 1.4.2 Hồi qui (regression) 1.4.3 Phân nhóm (clustering) 1.4.4 Tổng hợp (summarization) 1.4.5 Mơ hình ho phụ thuộc (dependency modeling) 1.4.6 h t biến đổi độ lệch (change and deviation dectection) 1.5 C c Kỹ thuật khai ph liệu 1.5.1 C c thành phần qu trình khai ph liệu 10 1.5.2 Kỹ thuật suy diễn/quy nạp 11 1.5.3 Kỹ thuật ng dụng K-l ng giềng gần 12 1.5.4 Kỹ thuật sử dụng định luật 12 1.5.5 Kỹ thuật ph t luật kết hợp 13 1.6 Những th ch th c nghiên c u ng dụng kỹ thuật khai ph liệu 14 1.7 Một số vấn đề th ch th c khai ph liệu 16 CHƯƠNG 2: NGHIÊN CỨU MẠNG NƠRON NHÂN TẠO VÀ XÂY DỰNG MÔ H NH DỰA TRÊN MẠNG NƠRON 18 2.1 Giới thiệu mạng n ron nhân tạo 18 2.1.1 Kh i niệm 18 2.1.2 Lịch sử ph t triển mạng n ron nhân tạo 18 2.2 Mạng n ron nhân tạo 20 2.2.1 Mơ hình mạng n ron nhân tạo 20 2.2.2 hân loại cấu trúc mạng n ron nhân tạo 22 2.3 C c hình th c học mạng n ron nhân tạo 26 2.3.1 Kh i niệm 26 2.3.2 Học có giám sát 26 2.3.3 Học khơng có gi m s t 28 2.3.4 Học tăng cường 28 2.4 Một số phư ng ph p huấn luyện mạng n ron nhân tạo: 32 2.5 Mô tả to n đào tạo Trường Đại học Quảng Bình 33 2.6 Áp dụng mơ hình để tư vấn chọn môn học tự chọn CCNN dựa ANN 35 2.7 Phân tích tốn 38 2.8 Áp dụng mơ hình để tư vấn mơn tự chọn cho sinh viên Đại học Quảng Bình 41 2.9 Huấn luyện mơ hình thuật to n lan truyền ngược 42 2.10 Kết luận 43 CHƯƠNG HÁT TRIỂN ỨNG DỤNG 44 3.1 Thiết kế hệ thống 44 3.1.1 Ch c Quản lý User 44 3.1.2 Ch c xây dựng tập liệu 47 3.1.3 Ch c dự b o kết 49 3.2 Công nghệ ng dụng đề tài 51 3.3 Chư ng trình thực nghiệm kết 52 3.3.1 Môi trường cài đặt 52 3.3.2 Cấu trúc tập tin 52 3.3.3 Một số giao diện hệ thống 52 3.3.4 Kết thực nghiệm 56 KẾT LUẬN VÀ HƯỚNG HÁT TRIỂN 59 TÀI LIỆU THAM KHẢO 61 QUYẾT Đ NH GIAO Đ TÀI LUẬN VĂN THẠC (BẢN AO) BẢN AO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN AO NHẬN XÉT CỦA CÁC HẢN BIỆN TRANG TÓM TẮT LUẬN VĂN ỨNG DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU ĐỂ TƯ VẤN HỌC TẬP CHO SINH VIÊN TẠI TRƯỜNG ĐẠI HỌC QUẢNG BÌNH Học viên: Lê Quốc Hồng Chuyên ngành: Khoa học m y tính Mã số: 8.01.01 Khóa: Trường Đại học B ch khoa - ĐHĐN Tóm tắt - Trong học chế tín ch , qu trình chọn mơn học tự chọn sinh viên xem hệ thống với nhiều đầu vào đầu ra, c c kết điểm tổng kết t ng môn học qu kh đầu vào kết điểm tổng kết môn tự chọn đầu Để giải to n, luận văn tập trung vào nghiên c u tổng quan khai ph liệu cụ thể c c phư ng ph p, kỹ thuật khai ph liệu ng dụng khai ph liệu, lựa chọn phư ng ph p để ng dụng cho đề tài T nghiên c u khai ph liệu t c giả sâu vào tìm hiểu thuật to n mạng n ron nhân tạo nhiều lớp, c c hình th c học phư ng ph p huấn luyện mạng n ron nhân tạo với giải thuật học lan truyền ngược p dụng vào thực ch c tư vấn môn tự chọn cho sinh viên dựa vào kết học tập c c k trước Và t tư vấn cho giảng viên, cố vấn học tập chọn cho sinh viên sinh viên tự chọn cho mơn tư chọn đạt kết cao t chọn học phần tự chọn phù hợp với lực sinh viên Từ khóa – mạng n ron nhân tạo; khai ph liệu; lan truyền ngược; tư vấn học tập; dự b o kết APPLICATION OF DATA MINING TECHINQUE TO RECOMMEND SUBJECTS FOR STUDENT AT QUANGBINH UNIVERSITY Abstract - In the course credit, students’ seclecting an optional course is considered as a system with multiple inputs and one output, in which the results of the final credits of each subject in the past are inputs and the final scores of the optional course are outputs To address the issue, the thesis focuses on studying data mining overview, namely methods, techniques in data mining and application of data mining, and selecting the method to apply for topic From the previous studies, the author emphasizes on getting a deep insight in data mining to the study of artificial neural network multiplicity algorithms, learning methods and methods of artificial neural network training with backpropagation algorithm that could be possibly applied to the reality It is a function of counseling electives for students based on the results of previous studies From then on, faculty advisors, learning adviser students can choose their own electives to achieve the highest results, thereby selecting the appropriate electives for the students Key words - artificial neural networks; Data mining; back propagation; academic counseling; Forecast results DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT T viết t t Ý nghĩa ANN Mạng n ron nhân tạo CCNN Mơ hình thuật to n CSDL C s liệu SQL Ngôn ngữ truy vấn QL CVHT Cố vấn học tập SV Sinh viên DANH MỤC BẢNG Bảng 2.1 Chư ng trình đào tạo học k 33 Bảng 2.2 Học phần tự chọn học k 34 Bảng 2.3 Dữ liệu điểm môn tự chọn văn học 36 Bảng Dữ liệu điểm môn tự chọn mỹ học 36 Bảng 2.5 Dữ liệu điểm môn tự chọn gi o dục dân số môi trường .37 Bảng Dữ liệu điểm sinh cần tư vấn 38 Bảng 2.7 Học phần b t buộc học k ngành gi o dục mầm non 38 Bảng 2.8 Bảng tổng hợp kết học k sinh viên .39 Bảng 2.9 Học phần b t buộc học k 40 Bảng 2.10 Nhóm học phần tự chọn 40 Bảng 3.1 Kịch “Quản lý User” 45 Bảng 3.2 Kịch “xây dựng tập liệu” 47 Bảng 3.3 Kịch “dự b o kết quả” 49 DANH MỤC CÁC HÌNH Hình 1.1 Quy trình ph t tri th c Hình 2.1 Mơ hình mạng n ron nhân tạo 21 Hình 2.2 Hàm dạng dấu 22 Hình 2.3 Hàm bước nhị phân .23 Hình 2.4 Hàm sigmoid 23 Hình 2.5 Mạng n ron truyền thẳng nhiều lớp 24 Hình Mạng hồi qui 25 Hình 2.7 Mơ hình dự b o kết học phần CCNN .37 Hình 2.8 Mơ hình dự b o chọn môn tự chọn .42 Hình 3.1 Mơ hình use case tổng qu t 44 Hình 3.2 Biểu đồ ch c Quản lý user 46 Hình 3.3 Biểu đồ cộng t c Quản lý user 47 Hình Biểu đồ ch c xử lý liệu 48 Hình 3.5 Biểu đồ cộng t c ch c xây dựng tập liệu 49 Hình Biểu đồ ch c dự b o .50 Hình 3.7 Biểu đồ cộng t c ch c dự b o 51 Hình 3.8 Màn hình 53 Hình 3.9 Ch c xử lý liệu 53 Hình 3.10 Thông số mạng 54 Hình 3.11 Huấn luyện mạng 54 Hình 3.12 Kiểm thử liệu 55 Hình 3.13 Dự b o cho sinh viên 55 Hình 3.1 Dự b o giảng viên/chuyên viên/cố vấn học tập 56 MỞ ĐẦU Lý chọn đề tài Trong năm gần đây, công nghệ thông tin ngày ph t triển mạnh mẽ vấn đề khai ph liệu tr thành hướng nghiên c u lĩnh vực khoa học m y tính cơng nghệ tri th c Khai ph liệu ng dụng thành công vào nhiều c c lĩnh vực kh c thư ng mại, tài chính, thị trường ch ng kho n, y học, sinh học, gi o dục viễn thông, Hình th c đào tạo tín ch phư ng ph p đào tạo tiên tiến giới p dụng rộng rãi số trường đại học Việt Nam Ưu điểm hình th c đào tạo tính liên thông c c hệ đào tạo, c c trường để tạo điều kiện cho việc hội nhập với gi o dục giới Vì lý mà chủ trư ng nhà nước m rộng p dụng hình th c đào tạo tín ch mạng lưới c c trường đại học, cao đẳng nước giai đoạn 2001- 2010 Trường Đại học Quảng Bình p dụng hình th c học theo tín ch t năm học 2008 đến Theo tinh thần học chế tín ch sinh viên tự xây dựng kế hoạch học tập cho qu trình học suốt khóa học Có nghĩa tùy theo lực điều kiện thân sinh viên đăng ký học phần nhiều hay học k đảm bảo thời hạn đào tạo theo qui định Nhà trường Nhưng thực trạng hầu hết sinh viên đăng ký học phần theo kế hoạch đào tạo chư ng trình khung theo học k mà chưa có định hình riêng đường học tập thân Trường hợp sinh viên giỏi đăng ký để đẩy nhanh tiến độ học tập rút ng n thời gian đào tạo mà đảm bảo kết học tập tốt, phù hợp với điều kiện thời gian lực Trường hợp sinh viên có lực yếu h n đăng ký dàn trải h n cho kết học tập giữ m c tốt tuân thủ thời gian đào tạo trường Việc tự xây dựng lộ trình tối ưu phù hợp với lực học tập t ng sinh viên theo tinh thần học chế tín ch chưa thể tính hiệu Do việc xây dựng cơng cụ hỗ trợ đề xuất cho sinh viên c c lộ trình học tập phù hợp theo lực điều kiện thời gian suốt khóa học nhu cầu cần thiết h a hẹn công cụ đ c lực giúp cho sinh viên quản lý kế hoạch học tập c ch hiệu để chủ động h n việc chuẩn bị hành trang cho tư ng lai Trước th ch th c đặt khai ph liệu, để hỗ trợ tốt cho sinh viên tăng cường ng dụng công nghệ thông tin hoạt động quản lý đào tạo nhằm tăng hiệu nâng cao chất lượng đào tạo Trường Đại học Quảng Bình việc xây dựng c c hệ thống phục vụ sinh viên cần thiết Vì định lựa chọn chọn đề tài “Ứng dụng kỹ thuật khai ph liệu để tư vấn học tập cho sinh viên Trường Đại học Quảng Bình” làm đề tài tốt nghiệp luận văn cao học Tính cấp thiết đề tài Với thực trạng nêu trên, việc xây dựng công cụ hỗ trợ đề xuất cho sinh viên c c lộ trình học tập phù hợp theo lực điều kiện thời gian suốt khóa học nhu cầu cần thiết h a hẹn công cụ đ c lực giúp cho sinh viên quản lý kế hoạch học tập c ch hiệu quả, chủ động h n việc chuẩn bị hành trang cho tư ng lai Đối với hình th c đào tạo tín ch sinh viên phải đăng ký học phần b t buộc tự chọn tư vấn CVHT Vậy để đảm bảo sinh viên chọn học phần phù hợp với lực thân s p xếp lộ trình học cho đạt hiệu ? Liệu CVHT tư vấn cho sinh viên lớp chọn kế hoạch học tập phù hợp tiếp cận toàn liệu điểm sinh viên? Để giải c c vấn đề nêu trên, tiến hành nghiên c u thực đề tài Ứng dụng kỹ thuật khai ph liệu để tư vấn học tập cho sinh viên Trường Đại học Quảng Bình Mục tiêu đề tài - Hiểu c c vấn đề liên quan đến khai ph liệu - Nghiên c u lý thuyết mạng n ron - Áp dụng thuật to n mạng n ron để xây dựng ng dụng tư vấn chọn môn học tự chọn cho sinh viên - Hỗ trợ phòng Đào tạo, c c Khoa chuyên ngành c c CVHT, gi o viên chủ nhiệm tư vấn cho sinh viên việc chọn học phần - Nâng cao chất lượng đào tạo Trường Đại học Quảng Bình 57 Sai số huấn luyện 0.0463556522803432 Sai số kiểm thử 0.319027059721728 158 mẫu liệu; Tập huấn luyện 80%; Kiểm thử 20% Số lần lặp 800000 Sai số huấn luyện 0.0337536865147774 Sai số kiểm thử 0.355273355343168 Kết thực nghiệm cho môn “Văn học” số mẫu liệu 70 470 mẫu liệu; Tập huấn luyện 90%; Kiểm thử 10% Số lần lặp 800000 Sai số huấn luyện 0.0935591798666177 Sai số kiểm thử 0.18821469327686 470 mẫu liệu; Tập huấn luyện 80%; Kiểm thử 20% Số lần lặp 800000 Sai số huấn luyện 0.0824096257200462 Sai số kiểm thử 0.217176331624468 Với kết hồn tồn chấp nhận qu trình tư vấn điểm học phần cho sinh viên Như tư vấn học phần tự chọn dùng mạng n ron cho kết tốt c c thuật to n kiểm thử Kết luận: Thực nghiệm chư ng trình phân tích tầm quan trọng đ nh gi dự b o điểm để t tư vấn môn tự chọn cho sinh viên khó khăn việc đ nh gi lựa chọn môn tự chọn thực nghiệm thủ công Nghiên c u c c 58 điểm mạnh, điểm yếu mạng n ron để giải to n đ nh gi điểm môn tự chọn cho sinh viên Việc ng dụng mạng n ron để giải to n tư vấn môn tự chọn phư ng ph p mang tính khả quan cao Qu trình cài đặt chư ng trình đ nh gi thu số kết định Đồng thời qua việc tiến hành thử nghiệm thu gi trị dự b o có độ x c kh cao Cho thấy tính ưu việt việc ng dụng kỹ thuật mạng n ron để đ nh gi tư vấn chọn môn tự chọn M hướng khả quan cho việc ng dụng m y học vào giải to n tư vấn cho sinh viên nhiều vấn đề kh c nhà trường Kết luận chương 3: Nghiên c u xây dựng ng dụng, chư ng c c nội dung đề cập đến là: h t triển xây dựng demo ng dụng thực ch c tư vấn môn tự chọn cho sinh viên dựa vào kết học tập c c k trước Và t tư vấn cho giảng viên, CVHT chọn cho sinh viên V tự chọn cho mơn tư chọn đạt kết cao nhất, t chọn học phần tự chọn phù hợp với sinh viên 59 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Khai ph liệu lĩnh vực quan trọng, bao gồm nhiều lĩnh vực nhiều kỹ thuật kh c Đề tài tập trung nghiên c u ph t tri th c khai ph liệu điểm sinh viên Trường Đại học Quảng Bình Đề tài nghiên c u c s lý thuyết liên quan đến ph t tri th c khai ph liệu, tập trung vào kỹ thuật khai phá liệu sử dụng mạng n ron nhân tạo, nghiên c u quy trình triển khai ng dụng khai ph liệu Ngoài ra, đề tài tìm hiểu c c vấn đề c Microsoft Visual Studio c c công cụ liên quan Đối với to n tư vấn môn học tự chọn cho sinh viên, đề tài đề xuất xây dựng mơ hình tư vấn dựa kỹ thuật mạng n ron nhân tạo truyền thẳng với liệu đầu vào bao gồm thông tin c nhân, điểm học phần bao gồm hoạ c khơng bao gồm lộ trình học Với liệu huấn luyện ban đầu, mơ hình cho phép phân tích c c yếu tố ảnh hư ng đến kết học tập sinh viên, m c độ t c động t ng yếu tố đầu vào, t tư vấn cho sinh viên chọn học phần tự chọn phù hợp với khả năng, đạt kết cao học tập Nhìn chung, đề tài c hoàn thành c c mục tiêu đề Để đưa mơ hình dự đo n vào ng dụng cách hiệu h n cần tiếp tục đầu tư thu thập liệu sinh viên nhiều h n Triển khai dự đo n, kiểm ch ng thực tế đ nh gi kết cách thường xuyên Thực tế triển khai thử nghiệm cho thấy hướng tiếp cận đ n có tính thực tiễn cao Với việc triển khai hệ thống thử nghiệm cho thấy khả ng dụng kết việc dự đo n kết học tập t tư vấn mơn tự chọn cho sinh viên Hệ thống khơng ch hỗ trợ cho sinh viên mà cịn hỗ trợ cho gi o viên chủ nhiệm, khoa chuyên ngành, phòng đào tạo quan tâm + Đối với sinh viên: giúp cho sinh viên lựa chọn cho lộ trình học phù hợp với điều kiện lực thân để đạt kết học tập tối ưu + Đối với gi o viên chủ nhiệm: hỗ trợ cho gi o viên chủ nhiệm, cố vấn học tập tư vấn cho sinh viên việc chọn lộ trình học phù hợp +Đối với c c khoa chuyên ngành phòng đào tạo: hỗ trợ việc đ nh gi chất lượng cho t ng lộ trình học nhằm nâng cao, cải thiện h n việc xây dựng 60 lộ trình học để phù hợp với điều kiện lực sinh viên Hướng phát triển đề tài m rộng tư vấn chọn chuyên ngành cho sinh viên Tư vấn chọn tất học phần tự chọn Đưa c c kỹ thuật khai phá liệu khác vào đ nh gi nhằm so sánh chọn phư ng ph p tối ưu cho qu trình tư vấn Kết hợp hệ chuyên gia, hệ hỗ trợ định vào qu trình tư vấn Đồng thời nghiên c u thuật to n học kh c để so s nh tính tối ưu chi phí thời gian thực 61 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đỗ húc (2005) Giáo trình khai phá liệu, Nhà xuất Đại học Quốc gia thành phố Hồ Chí Minh [2] Đỗ Thanh Nghị (2008) Giáo trình khai phá liệu, Nhà xuất Đại học Cần Th [3] hạm, T (2010) Khai ph liệu cho tư vấn lựa chọn học phần, Học viện Công nghệ Bưu Viễn thơng Tiếng Anh [4] Russell, S J., & Norvig, P (2016) Artificial Intelligence: A Modern Approach Malaysia; Pearson Education Limited [5] Pieter Adriaans, Dolf Zantinge (1998) Data Mining, Addison - Wesley [6] Thuraisingham, B (2014) Data Mining: Technologies, Techniques, Tools, and Trends CRC press [7] Han, J., Pei, J., & Kamber, M (2011) Data Mining: Concepts and Techniques, Elsevier Inc [8] Tan, P N., Steinbach, M., & Kumar, V (2006) Introduction to Data Mining, Addison Wesley Publishers [9] hạm, C V (2012) Ứng dụng khai ph liệu để tư vấn học tập trường cao đẳng kinh tế-kỹ thuật Quảng Nam (Doctoral dissertation) [10] Nguyễn, T T H (2015) Ứng dụng khai ph liệu để xây dựng hệ thống tư vấn học tập trường đại học công nghiệp Hà Nội [11] Nguyễn, Đ T V.(201 ) Ứng dụng khai ph dự liệu chọn ngành nghề cho học sinh THPT [12] Nguyễn, V (2017) Ứng dụng mạng N ron xây dựng hệ thống hỗ trợ chẩn đo n rối loạn phổ tự kỷ (Doctoral dissertation, Trường Đại học B ch khoa-Đại học Đà Nẵng) ... VĂN ỨNG DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU ĐỂ TƯ VẤN HỌC TẬP CHO SINH VIÊN TẠI TRƯỜNG ĐẠI HỌC QUẢNG BÌNH Học viên: Lê Quốc Hồng Chun ngành: Khoa học m y tính Mã số: 8.01.01 Khóa: Trường Đại học B... học tập nhà trường lưu trữ liệu kết học tập sinh viên Vì cần thuật to n khai phá liệu lực học tập để t tư vấn phù hợp môn tự chọn 2.8 Áp dụng mơ hình để tư vấn mơn tự chọn cho sinh viên Đại học. .. Trường Đại học Quảng Bình việc xây dựng c c hệ thống phục vụ sinh viên cần thiết Vì tơi định lựa chọn chọn đề tài ? ?Ứng dụng kỹ thuật khai ph liệu để tư vấn học tập cho sinh viên Trường Đại học Quảng