Đang tải... (xem toàn văn)
Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề Mạng nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của học sinh, sinh viên trường cao đẳng nghề
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2 LÊ SƠN THẢO MẠNG NƠ RON ỨNG DỤNG CHO PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ HỌC TẬP CỦA HỌC SINH, SINH VIÊN TRƯỜNG CAO ĐẲNG NGHỀ LUẬN VĂN THẠC SĨ MÁY TÍNH HÀ NỘI, 2014 LÊ SƠN THẢO KHOA HỌC MÁY TÍNH KHÓA: K16KHMT 2 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2 LÊ SƠN THẢO MẠNG NƠ RON ỨNG DỤNG CHO PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ HỌC TẬP CỦA HỌC SINH, SINH VIÊN TRƯỜNG CAO ĐẲNG NGHỀ Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 60 48 01 01 LUẬN VĂN THẠC SĨ MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Lê Bá Dũng HÀ NỘI, 2014 1 LỜI CẢM ƠN Đầu tiên tôi xin gửi lời cảm ơn chân thành đến thầy PGS.TS Lê Bá Dũng - Viện Công nghệ thông tin - Viện khoa học và công nghệ Việt Nam đã tận tình hướng dẫn, chỉ bảo cho tôi trong suốt quá trình tôi làm luận văn. Tôi cũng xin gửi lời cảm ơn đến các thầy cô trường Đại học sư phạm Hà Nội 2, các thầy cô Viện Công nghệ thông tin - Viện khoa học và công nghệ Việt Nam đã truyền đạt những kiến thức và giúp đỡ tôi trong suốt quá trình học của mình. Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp, gia đình và bạn bè những người đã động viên tạo mọi điều kiện giúp đỡ tôi trong suốt hai năm học. 2 LỜI CAM ĐOAN Tôi xin cam đoan toàn bộ nội dung trong luận văn này do tôi tự nghiên cứu, đọc, dịch tài liệu, tổng hợp và thực hiện, đây là công trình nghiên cứu của tôi dưới sự hướng dẫn khoa học của thầy PGS.TS Lê Bá Dũng. Các số liệu, kết quả trong luận văn là trung thực, rõ ràng. Trong luận văn tôi có sử dụng một số tài liệu tham khảo như đã trình bày trong phần tài liệu tham khảo. Tôi xin chịu trách nhiệm với những nội dung được viết trong luận văn này Hà Nội, ngày 16 tháng 12 năm 2014 Người viết luận văn Lê Sơn Thảo 3 MỤC LỤC LỜI CẢM ƠN 1 LỜI CAM ĐOAN 2 MỞ ĐẦU 7 1. Lý do chọn đề tài 7 Chương 1: GIỚI THIỆU VỀ MẠNG NƠRON NHÂN TẠO 10 1.1 Cấu trúc và mô hình mạng nơron 11 1.1.1 Mô hình một nơron sinh học 11 1.1.2 Cấu trúc và mô hình của một nơron nhân tạo 12 1.2 Cấu tạo và phương thức làm việc của mạng nơron 15 1.2.1 Mạng nơron một lớp 17 1.2.2 Mạng nơron truyền thẳng nhiều lớp 18 1.2.3 Mạng nơron phản hồi 19 1.2.4 Mạng nơron hồi quy 19 1.2.5 Mạng Hopfield 19 1.2.6 Mạng BAM 21 1.3 Các luật học 22 1.3.1 Học có giám sát 23 1.3.2 Học củng cố 24 1.3.3 Học không có giám sát 24 1.4 Thuật toán lan truyền ngược 26 1.5 Kết luận 33 Chương 2: MẠNG NƠRON KOHONEN VỚI BÀI TOÁN PHÂN TÍCH, ĐÁNH GIÁ 34 2.1. Giới thiệu về mạng nơron Kohonen 34 2.2. Các phương pháp phân tích, đánh giá. 35 2.2.1 Phân cụm và các thành phần trong phân cụm dữ liệu 35 2.2.2 Phương pháp phân cụm phân cấp 36 2.2.3 Phương pháp phân cụm phân hoạch 36 2.2.4 Phương pháp phân cụm dựa trên mật độ 36 2.2.5 Phân cụm dữ liệu dựa trên lưới 37 2.2.6 Phân cụm dữ liệu dựa trên sự ràng buộc 37 2.3. Ứng dụng mạng nơron Kohonen trong việc phân tích, đánh giá. 38 4 2.3.1. Cấu trúc mô hình mạng nơron Kohonen. 38 2.3.2. Thuật toán của mạng nơron Kohonen. 46 2.3.2.2 Thuật toán phân cụm phi tuyến tính không giám sát 53 2.3.3. Mạng nơron Kohonen với bài toán phân tích, đánh giá. 56 2.4. Kết luận chương 2. 60 CHƯƠNG 3: ỨNG DỤNG MÔ HÌNH MẠNG KOHONEN CHO BÀI TOÁN KHẢO SÁT, ĐÁNH GIÁ TÌNH HÌNH HỌC TẬP CỦA HỌC SINH, SINH VIÊN TRONG TRƯỜNG CAO ĐẲNG NGHỀ 61 3.1. Phát biểu bài toán 61 3.2. Một số ứng dụng của mạng nơron Kohonen trong việc phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên. 61 3.2.1. Thu thập dữ liệu 61 3.2.2. Phân tích dữ liệu 69 3.3. Thử nghiệm sử dụng mô hình mạng Kohonen để khảo sát, đánh giá, thống kê tình hình học tập của HSSV trường Cao đẳng nghề Cơ khí nông nghiệp 76 3.3.1. Các chức năng của chương trình 76 3.3.2. Giao diện chương trình 76 3.3.3. Kết quả và phân tích kết quả sau khi huấn luyện mô hình mạng Kohonen 77 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 89 TÀI LIỆU THAM KHẢO 90 5 DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT SOM (Self Organizing Maps) Mạng nơron tự tổ chức PE (Processing element) Phần tử xử lý U-matrix (unified distance matrix) Ma trận thống nhất khoảng cách EM (Expectation maximization) Thuật toán tối đa hóa MST (Minimum spanning tree) Thuật toán tối thiểu cây mở rộng BMU (Best – Matching unit) Đơn vị phù hợp nhất DBSCAN (Density Based Spatial Clustering of Applications with Noise) Phân cụm dữ liệu dựa trên không gian mật độ ứng dụng với nhiễu 6 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Một nơron sinh học 12 Hình 1.2. Sự liên kết các nơron 12 Hình 1.3 Mô hình một nơron nhân tạo 13 Hình 1.4 Đồ thị các dạng hàm truyền 15 Hình 1.5 Mạng nơron ba lớp 16 Hình 1.6 Một số dạng mạng nơron 18 Hình 1.7 Cấu trúc của mạng Hopfield 20 Hình 1.8 Cấu trúc của BAM 21 Hình 1.9 Cấu trúc huấn luyện mạng nơron 22 Hình 1.10 Học có giám sát 24 Hình 1.11 Học không có giám sát 24 Hình 1.12 Sơ đồ cấu trúc chung của quá trình học 25 Hình 1.13 Mạng 3 lớp lan truyền ngược 26 Hình 2.1 Cấu trúc của mạng SOM 38 Hình 2.2 Cập nhật BMU và lân cận của nó với mẫu đầu vào x 40 Hình 2.3 Hàm tỉ lệ học theo thời gian 41 Hình 2.4 Giá trị của hàm lân cận Gausian(a) và hàm bubble(b) 43 Hình 2.5 Bảo toàn cấu trúc liên kết các cụm 46 Hình 3.1 Kết quả phân cụm môn học, mô đun sử dụng phương pháp trực quan U-Matrix 78 Hình 3.2 Kết quả phân cụm sử dụng phương pháp trực quan các bản đồ thành phần 84 Hình 3.3 Kết quả phân cụm sinh viên theo môn học, mô đun sử dụng phương pháp trực quan U-Matrix 85 DANH MỤC CÁC BẢNG Bảng 3.1 Dữ liệu thống kê phân cụm môn học, mô đun 72 Bảng 3.2 Dữ liệu thống kê phân cụm học sinh theo điểm thi kết thúc môn học, mô đun 75 Bảng 3.3 Kết quả các cụm sau khi huấn luyện mạng Kohonen 79 Bảng 3.4 Kết quả phân cụm sinh viên sau khi huấn luyện mạng Kohonen 88 7 MỞ ĐẦU 1. Lý do chọn đề tài Ngày nay, cùng với sự phát triển của mô hình dữ liệu, chúng ta ngày càng có nhiều kho dữ liệu với lượng dữ liệu rất lớn. Để khai thác có hiệu quả những dữ liệu khổng lồ này, đòi hỏi chúng ta (những người sử dụng) phải biết khai thác và chọn lọc dữ liệu có ích cho mình. Đó cũng chính là lý do mà Data Mining (DM) ra đời và đã được áp dụng trong thực tế theo nhiều hướng quan trọng và một trong các hướng đó là phân cụm dữ liệu (Data Clustering). Phân cụm dữ liệu là quá trình nhóm một tập các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một cụm là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không tương đồng. Phân cụm dữ liệu là một ví dụ của phương pháp học không có thầy. Hiện nay, có rất nhiều các phương pháp phân cụm dữ liệu đã và đang được phát triển và áp dụng trong các lĩnh vực khác nhau, bao gồm: nhận dạng, phân tích dữ liệu, nghiên cứu thị trường, xử lý ảnh,… Các phương pháp phân cụm đó như phương pháp phân cụ thống kê, phân cụm khái niệm, phân cụm mờ, phân cụm sử dụng mạng Kohonen. Trong số này, mạng Kohonen (hay còn gọi là Self-Organizing Maps viết tắt là: SOMs) là một giải thuật được phát triển bởi Giáo sư Teuvo Kohonen, nó có thể được áp dụng cho nhiều lớp bài toán khác nhau như dự báo thông tin thị trường, thời tiết, phụ tải điện…. nó giúp giảm số chiều (kích thước) của dữ liệu, qua đó giúp chúng ta hiểu được dữ liệu có kích thuớc lớn đó. Một trong những khía cạnh thú vị nhất đó là: Kohonen là một dạng của thuật toán học để phân loại dữ liệu huấn luyện mà không cần bất cứ sự giám sát bên ngoài nào - học không giám sát và rất hiệu quả trong việc phân cụm và rút gọn kích thước dữ liệu. 8 Trong nhiều biện pháp để cải cách, nâng cao chất lượng giáo dục phải kể đến vai trò của công nghệ thông tin. Công nghệ thông tin đã được ứng dụng để hỗ trợ các công tác giảng dạy, kiểm tra đánh giá, quản lý dữ liệu học tập, thống kê, báo cáo,… Việc phân tích, đánh giá, phân loại kết quả học tập của học sinh, sinh viên có ý nghĩa quan trọng trong công tác quản lý, giúp ta có thể thấy được toàn cảnh về các môn học trong chương trình, từ đó có sự đánh giá đúng đắn về tính chất môn học và khả năng nhận thức của người học, từ đó có biện pháp tác động phù hợp để cải thiện chất lượng dạy và học. Ngoài ra, việc phân cụm cũng có thể giúp thấy được khả năng học tập của mỗi Học sinh, Sinh viên với từng môn học, từ đó có biện pháp áp dụng phương pháp dạy học cá biệt hóa thích hợp, dựa trên kết quả phân cụm này cũng có thể giúp người học có định hướng phù hợp cho quá trình học tập tiếp theo. Chính vì lý do đó tác giả chọn đề tài “Mạng Nơ ron ứng dụng cho phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên trong trường Cao đẳng nghề”. 2. Mục đích nghiên cứu - Hiểu rõ các khái niệm, các thuật toán liên quan đến phân cụm dữ liệu, hình thành luật từ các cụm đã được phân. - Dựa trên kiến thức đã nghiên cứu, thiết kế mạng nơron Kohonen ứng dụng để phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên trong trường Cao đẳng nghề Cơ khí nông nghiệp, từ đó có những nhận xét và các biện pháp tác động phù hợp để cải thiện chất lượng dạy và học. 3. Nhiệm vụ nghiên cứu - Nghiên cứu lý thuyết về mạng nơron Kohonen, các giải pháp kết hợp giữa mạng nơron Kohonen SOM với logic mờ, giải thuật di truyền để nâng cao hiệu quả và tốc độ hội tụ của mạng. [...]... phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên sử dụng mạng n ron nhân tạo truyền thẳng huấn luyện bằng thuật toán lan truyền ngược - Phạm vi nghiên cứu là lý thuyết ứng dụng mạng Nơ ron nhân tạo cho bài toán phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên trong trường Cao đẳng nghề 5 Giả thuyết khoa học - Phát hiện những yêu cầu và thách thức trong thực tế đối với vấn đề phân. .. mô hình mạng n ron Kohonen’s SOM phục vụ cho việc phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên trong trường Cao đẳng nghề Từ đó đưa ra những nhận xét, biện pháp dựa trên những phân tích từ việc phân cụm môn học, phân nhóm các Học sinh, Sinh viên theo kết quả học tập và khả năng học để từ đó có những định hướng và các biện pháp tác động phù hợp để cải thiện chất lượng dạy và học 4 Đối... phân tích, đánh giá được kết quả học tập của học sinh, sinh viên - Cài đặt và thử nghiệm đánh giá kết quả học tập của Học sinh, Sinh viên sử dụng mạng n ron nhân tạo truyền thẳng huấn luyện bằng thuật toán lan truyền ngược 6 Phương pháp nghiên cứu - Phương pháp nghiên cứu chính là tìm hiểu các tài liệu bài báo viết về mạng SOM và sử dụng công cụ SOM Toolbox để huấn luyện mạng SOM phân cụm các trường. .. động chơi cờ, hành động của các nhân vật ảo - Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo nên hệ thần kinh/bộ não của người máy - Các nhóm giải thuật học máy: Học có giám sát, học không giám sát, học nửa giám sát, học tăng cường,… 1.1 Cấu trúc và mô hình mạng n ron 1.1.1 Mô hình một n ron sinh học Phần tử xử lý cơ bản của một mạng n ron sinh học là một n ron, phần tử này có thể... là n ron nội hay n ron ẩn Đầu ra của các n ron này được đưa đến 2 n ron đưa tín hiệu ra môi trường bên ngoài Các n ron trong lớp đầu ra này được gọi là n ron đầu ra Hình 1.5 Mạng n ron ba lớp Mạng n ron được xây dựng như trên là mạng gồm 3 lớp mắc nối tiếp nhau đi từ đầu vào đến đầu ra Trong mạng không tồn tại bất kỳ một mạch hồi tiếp nào Một mạng n ron có cấu trúc như vậy gọi là mạng một hướng hay mạng. .. mạng mà đầu ra của mỗi n ron được quay trở lại nối với đầu vào của các n ron cùng lớp được gọi là mạng Laeral như hình 1.6b 1.2.4 Mạng n ron hồi quy Mạng n ron phản hồi có thể thực hiện đóng vòng được gọi là mạng n ron hồi quy như hình 1.6d Mạng n ron hồi quy có trọng số liên kết đối xứng như mạng Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 1.6.b) Mạng BAM thuộc nhóm mạng n ron hồi quy, gồm... việc của mạng n ron Dựa trên những phương pháp xây dựng n ron đã trình bày ở mục trên, ta có thể hình dung mạng n ron như là một hệ truyền đạt và xử lý tín hiệu Đặc tính truyền đạt của n ron phần lớn là đặc tính truyền đạt tĩnh Khi liên kết các đầu vào/ra của nhiều n ron với nhau, ta thu được một mạng n ron, việc ghép nối các n ron trong mạng với nhau có thể là theo một nguyên tắc bất kỳ Vì mạng n ron. .. n ron Mạng có ba đầu vào là x1, x2, x3 và hai đầu ra y1, y2 Các tín hiệu đầu vào được đưa đến 3 n ron đầu vào, 3 n ron này làm thành lớp đầu vào của mạng Các n ron trong lớp này được gọi là n ron đầu vào Đầu ra của các n ron này được đưa đến đầu vào của 3 n ron tiếp theo, 3 n ron này không trực tiếp tiếp xúc với môi trường bên ngoài mà làm thành lớp ẩn, hay còn gọi là lớp trung gian Các n ron 16 trong... khác nhau quan trọng nhất giữa mạng n ron Kohonen và mạng n ron lan truyền ngược là phương thức huấn luyện Phương thức lan truyền ngược sử dụng phương thức huấn luyện có giám sát Còn mạng n ron Kohonen sử dụng phương thức huấn luyện không giám sát 34 Chương 2 MẠNG N RON KOHONEN VỚI BÀI TOÁN PHÂN TÍCH, ĐÁNH GIÁ 2.1 Giới thiệu về mạng n ron Kohonen SOM là một mô hình mạng n ron do GS Kohonen tìm ra như... có thể phân biệt các loại n ron khác nhau, các n ron có đầu vào nhận thông tin từ môi trường bên ngoài khác với các n ron có đầu vào được nối với các n ron khác trong mạng, chúng được phân biệt với nhau qua vector hàm trọng số ở đầu vào w Nguyên lý cấu tạo của mạng n ron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều n ron có cùng chức năng trong mạng Hình 1.5 là mô hình hoạt động của một mạng n ron 3 lớp . thức trong thực tế đối với vấn đề phân tích, đánh giá được kết quả học tập của học sinh, sinh viên. - Cài đặt và thử nghiệm đánh giá kết quả học tập của Học sinh, Sinh viên sử dụng mạng n ron. SINH, SINH VIÊN TRONG TRƯỜNG CAO ĐẲNG NGHỀ 61 3.1. Phát biểu bài toán 61 3.2. Một số ứng dụng của mạng n ron Kohonen trong việc phân tích, đánh giá kết quả học tập của Học sinh, Sinh viên. 61. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2 LÊ SƠN THẢO MẠNG NƠ RON ỨNG DỤNG CHO PHÂN TÍCH, ĐÁNH GIÁ KẾT QUẢ HỌC TẬP CỦA HỌC SINH, SINH VIÊN TRƯỜNG CAO ĐẲNG NGHỀ