Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÃNH LAN HƢƠNG MẠNG KOHONEN VÀ ỨNG DỤNG TRONG QUẢN LÝ TRỢ CẤP XÃ HỘI CỦA SINH VIÊN TRƢỜNG CAO ĐẲNG SƢ PHẠM CAO BẰNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÃNH LAN HƢƠNG MẠNG KOHONEN VÀ ỨNG DỤNG TRONG QUẢN LÝ TRỢ CẤP XÃ HỘI CỦA SINH VIÊN TRƢỜNG CAO ĐẲNG SƢ PHẠM CAO BẰNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH HƢỚNG DẪN KHOA HỌC: P G S . TS LÊ BÁ DŨNG THÁI NGUYÊN - 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ i LỜI CAM ĐOAN Tôi xin cam đoan luận văn là công trình nghiên cứu của riêng cá nhân tôi, không sao chép của ai do tôi tự nghiên cứu, đọc, dịch tài liệu, tổng hợp và thực hiện. Nội dung lý thuyết trong trong luận văn tôi có sử dụng một số tài liệu tham khảo nhƣ đã trình bày trong phần tài liệu tham khảo. Các số liệu, chƣơng trình phần mềm và những kết quả trong luận văn là trung thực và chƣa đƣợc công bố trong bất kỳ một công trình nào khác. Thái Nguyên, tháng 7 năm 2014 Học viên thực hiện Lãnh Lan Hƣơng Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ii LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS.TS Lê Bá Dũng ngƣời đã tận tình hƣớng dẫn, chỉ bảo, giúp đỡ em trong suốt quá trình làm luận văn. Em cũng xin gửi lời cảm ơn đến các thầy cô giáo trƣờng Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên, các thầy cô Viện Công nghệ thông tin đã truyền đạt những kiến thức và giúp đỡ em trong suốt quá trình học của mình. Tôi cũng xin gửi lời cảm ơn tới Ban giám hiệu trƣờng Cao đẳng Sƣ phạm Cao Bằng đã tạo điều kiện thuận lợi cho tôi tham gia khóa học và trong suốt quá trình hoàn thành luận văn. Và cuối cùng tôi xin gửi lời cảm ơn tới các đồng nghiệp, gia đình và bạn bè những ngƣời đã ủng hộ, động viên tạo mọi điều kiện giúp đỡ để tôi có đƣợc kết quả nhƣ ngày hôm nay. Thái Nguyên, tháng 7 năm 2014 Học viên Lãnh Lan Hƣơng Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU 1 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG KOHONEN VÀ BÀI TOÁN PHÂN CỤM 2 1.1. Giới thiệu chung về mạng Nơron 2 1.1.1 Lịch sử phát triển của mạng nơron 2 1.1.2. Mạng Nơron sinh học 3 1.1.3. Mạng Nơron nhân tạo 5 1.1.4 Ứng dụng 14 1.2. Mạng Kohonen và bài toán phân cụm 15 1.2.1 Giới thiệu về mạng nơron Kohonen 15 1.2.2 Bài toán phân cụm 16 1.3 Các phƣơng pháp phân cụm 18 CHƢƠNG 2: SOM VÀ KĨ THUẬT PHÂN CỤM DỮ LIỆU DỰA VÀO SOM 20 2.1. Thuật toán phân cụm dữ liệu 20 2.2. Một số thuật toán cơ bản trong phân cụm dữ liệu 21 2.2.1 Thuật toán phân cụm phân cấp 21 2.2.2 Thuật toán phân cụm phân hoạch (Thuật toán K-means) 22 2.2.3 Thuật toán phân cụm dựa trên mật độ (Thuật toán DBSCAN) 25 2.2.4 Thuật toán phân cụm dựa trên lƣới (Thuật toán STING) 26 2.2.5 Thuật toán phân cụm dựa trên mô hình (Thuật toán EM) 27 2.3. Thuật toán phân cụm bằng mạng Kohonen (SOM) 28 2.3.1 Mạng Kohonen là gì? 28 2.3.2. Cấu trúc mô hình mạng Kohonen 29 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iv 2.3.3. Thuật toán phân cụm bằng mạng Kohonen 30 2.4 Một số vấn đề phân cụm với mạng Kohonen 33 2.4.1. Khởi tạo mạng Kohonen (SOM) 33 2.4.2. Huấn luyện mạng Kohonen 34 2.4.3. Tỉ lệ học 35 2.4.4. Cập nhật lại trọng số 36 2.4.5. Xác định nơron chiến thắng 37 2.5. Kohonen (SOM) và công việc phân cụm dữ liệu 38 2.5.1. SOM phân cụm với bản đồ 1 chiều 38 2.5.2. SOM phân cụm với bản đồ 2 chiều 38 2.5.3. Xác định ranh giới các cụm 39 2.5.4. Trực quan mạng 40 2.5.5. Số lƣợng nhóm khi phân cụm 42 CHƢƠNG 3: ỨNG DỤNG MẠNG SOM TRONG CÔNG VIỆC QUẢN LÝ TRỢ CẤP XÃ HỘI CỦA SINH VIÊN TRƢỜNG CAO ĐẲNG SƢ PHẠM CAO BẰNG 43 3.1. Phát biểu bài toán 43 3.2 Khảo sát, đánh giá, thống kê tình hình trợ cấp xã hội của sinh viên trƣờng Cao đẳng Sƣ phạm Cao Bằng 43 3.2.1 Thu thập dữ liệu 43 3.2.2. Phân tích dữ liệu 45 3.3. Thử nghiệm sử dụng mô hình mạng Kohonen để khảo sát, đánh giá, thống kê tình hình trợ cấp xã hội của học sinh, sinh viên trƣờng Cao đẳng Sƣ phạm Cao Bằng 51 3.3.1. Các chức năng của chƣơng trình 51 3.3.2. Giao diện chƣơng trình 51 3.3.3. Kết quả và phân tích kết quả sau khi huấn luyện mô hình mạng Kohonen. Trực quan mạng U-Matrix 53 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 73 TÀI LIỆU THAM KHẢO 74 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ v DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT HSSV: Học sinh, sinh viên CSDL: Cơ sở dữ liệu KPDL: Khai phá dữ liệu PCDL : Phân cụm dữ liệu SOM(Self Organizing Maps): Mạng nơron tự tổ chức PE (Processing element): Phần tử xử lý BMU(Best - Matching unit): Đơn vị phù hợp nhất U-matrix (unified distance matrix): Ma trận thống nhất khoảng cách EM (Expectation maximization): Thuật toán tối đa hóa STING (STatistical INformation Grid): Thuật toán thống kê thông tin lƣới DBSCAN (Density Based Spatial Clustering of Applications with Noise): Phân cụm dữ liệu dựa trên không gian mật độ ứng với nhiễu Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC BẢNG Bảng 3.1. Dữ liệu thống kê phân cụm theo các lớp trong trƣờng 48 Bảng 3.2. Dữ liệu thống kê phân cụm trong 1 lớp 50 Bảng 3.3. Kết quả các cụm lớp và tính chất cụm sau khi huấn luyện mạng Kohonen 57 Bảng 3.4. Kết quả các cụm sinh viên và tính chất cụm sau khi huấn luyện mạng Kohonen 68 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ vii DANH MỤC CÁC HÌNH Hình 1.1. Cấu tạo mô hình nơron sinh học 4 Hình 1.2. Cấu trúc mô hình một nơron nhân tạo cơ bản 5 Hình 1.3. Đồ thị các dạng hàm chuyển 8 Hình 1.4. Mô hình mạng nơron 3 lớp 9 Hình 1.5. Cấu trúc huấn luyện mạng nơron 10 Hình 1.6. Học có giám sát 11 Hình 1.7. Học không có giám sát 11 Hình 1.8. Sơ đồ cấu trúc chung của quá trình học 13 Hình 2.1. Các thiết lập để xác định ranh giới các cụm ban đầu 22 Hình 2.2. Tính toán trọng tâm của các cụm mới 23 Hình 2.3. Hình dạng các cụm đƣợc khám phá bởi thuật toán DBSCAN 25 Hình 2.4. Cấu trúc mạng Kohonen 29 Hình 2.5. Phần tử nơron chiến thắng BMU 30 Hình 2.6. Các vùng lân cận 31 Hình 2.9: Hàm tỉ lệ học theo thời gian 36 Hình 3.1. Kết quả phân cụm theo các lớp trong trƣờng sử dụng phƣơng pháp trực quan U-Matrix 54 Hình 3.2. Kết quả phân cụm các lớp sử dụng phƣơng pháp trực quan các bản đồ thành phần 59 Hình 3.3 Kết quả phân cụm các nhóm sinh viên trong một lớp sử dụng phƣơng pháp trực quan U-Matrix 66 Hình 3.4. Kết quả phân cụm sinh viên sử dụng phƣơng pháp trực quan các bản đồ thành phần 69 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 1 MỞ ĐẦU Thực tế hiện nay tại các trƣờng cao đẳng thuộc khu vực miền núi, đa phần sinh viên là dân tộc thiểu số, có hoàn cảnh khó khăn và đƣợc hƣởng chính sách trợ cấp xã hội của nhà nƣớc. Hàng năm số lƣợng sinh viên đƣợc tuyển vào các trƣờng ngày càng đông. Công việc quản lý trợ cấp xã hội ở đây chủ yếu thông qua các bảng biểu, thống kê khó có thể phân tích theo yêu cầu của quản lý công việc một cách nhanh chóng. Với sự phát triển mạnh mẽ của Công nghệ thông tin và sự ra đời của mạng Nơron đã giúp cho công việc quản lý nói chung và quản lý trợ cấp xã hội cho sinh viên nói riêng có một cái nhìn trực quan. Ngƣời quản lý dựa vào đó đƣa ra đƣợc những đánh giá nhanh chóng, chính xác. Luận văn với đề tài “Mạng Kohonen và ứng dụng trong quản lý trợ cấp xã hội của sinh viên trƣờng Cao đẳng Sƣ phạm Cao Bằng” khảo sát lĩnh vực KPDL dùng mạng nơron. Luận văn tập trung vào tìm hiểu về mạng nơron Kohonen (SOM) và dùng thuật toán SOM để giải quyết bài toán phân cụm dữ liệu theo mô hình mạng nơron. Nội dung luận văn gồm có 3 chƣơng: Chƣơng I. Tổng quan về mạng Kohonen và bài toán phân cụm dữ liệu Chƣơng II. SOM và kĩ thuật phân cụm dữ liệu dựa vào SOM Chƣơng III. Ứng dụng mạng Kohonen trong công việc quản lý trợ cấp xã hội của sinh viên trƣờng Cao đẳng Sƣ phạm Cao Bằng Do thời gian nghiên cứu và trình độ có hạn, luận văn không tránh khỏi hạn chế và thiếu xót. Em rất mong nhận đƣợc sự chỉ bảo, đóng góp ý kiến của các thầy, cô giáo cũng nhƣ bạn bè và đồng nghiệp. Em xin chân thành cảm ơn! Thái Nguyên, tháng 7 năm 2014 Ngƣời viết luận văn Lãnh Lan Hƣơng [...]... tố này Tự tổ chức trong mạng nơron là một trong những chủ đề cuốn hút trong mạng nơron Một mạng nơron nhƣ vậy có thể đƣợc luyện để tìm ra các quy luật và các tƣơng quan, các giá trị nhập vào và dự đoán các kết quả tiếp theo Các nơron của mạng thông qua quá trình luyện cạnh tranh để nhận ra một nhóm các đối tƣợng đầu vào tƣơng đƣơng nhau Mục đích chính của việc luyện trong mạng nơron Kohonen là nhận dạng... lớn cho mạng nơron trong giai đoạn này phải kể đến Stephen Grossberg, Teuvo Kohonen, Rumelhart và John Hopfield Trong đó đóng góp lớn của nhà vật lý học ngƣời Mỹ John Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 và mạng liên tục năm 1984 Đặc biệt, ông đã dự kiến nhiều khả năng tính toán lớn của mạng mà một nơron không có khả năng đó Cảm nhận của Hopfield đã đƣợc Rumelhart, Hinton và Williams... luyện mạng để góp phần tìm nghiệm cho nhiều lớp bài toán tối ƣu toàn cục Tóm lại, mạng nơron nhân tạo đƣợc xem là một cách tiếp cận đầy tiềm năng để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong tình hình các dữ liệu đầu vào không tƣờng minh 1.2 Mạng Kohonen và bài toán phân cụm 1.2.1 Giới thiệu về mạng nơron Kohonen Trong các kiểu khác nhau của mạng nơron, mạng nơron Kohonen. .. QUAN VỀ MẠNG KOHONEN VÀ BÀI TOÁN PHÂN CỤM 1.1 Giới thiệu chung về mạng Nơron 1.1.1 Lịch sử phát triển của mạng nơron Khái niệm mạng nơron đƣợc bắt đầu vào cuối thế kỷ 19, đầu thế kỷ 20 do có sự tham gia của ba ngành Vật lý học, Tâm lý học và Thần kinh học Các nhà khoa học nhƣ Hermann Von Hemholtz, Earnst Mach, Ivan Pavlov với các công trình nghiên cứu đi sâu vào lý thuyết tổng quát mô tả hoạt động của. .. điểm q nếu p nằm trong khoảng cách ε từ điểm q và q có đủ số điểm lân cận với khoảng cách trong phạm vi ε Khả năng kết nối mật độ: Một điểm p và q đƣợc cho là kết nối mật độ nếu có tồn tại một điểm r trong đó có đủ số điểm trong lân cận và cả hai điểm p và q nằm trong khoảng cách ε Nếu q là lân cận của r, r là lân cận của s, s là lân cận của t, t là lân cận của p có nghĩa là q là lân cận của p Hình 2.3... trƣng cho mạng Sau đây là 3 phƣơng pháp học: Học có giám sát Học có giám sát: là quá trình học có tín hiệu chỉ đạo bên ngoài d (Hình 1.6) Trong học có giám sát, thì tại mỗi thời điểm khi đầu vào đƣợc cung cấp tới mạng nơron, phản ứng đầu ra mong muốn d tƣơng ứng của hệ thống đƣợc đƣa ra Ở hình (1.6), khi mỗi đầu vào x(k) đƣợc đặt vào mạng, đầu ra mong muốn tƣơng ứng d(k) cũng đƣợc cung cấp tới mạng Hiệu... và các thuật toán phân cụm theo nhiều cách tiếp cận Mỗi cách tiếp cận cho ta kết quả phân cụm với ý nghĩa sử dụng khác nhau Không có một thuật toán phân cụm nào là tốt nhất và thích hợp cho tất cả mọi ứng dụng mà mỗi ứng dụng khác nhau thì ngƣời sử dụng phải lựa chọn một thuật toán phân cụm cụ thể phù hợp với ứng dụng đó Kết quả đánh giá cho từng thuật toán cũng phụ thuộc vào yêu cầu của từng ứng dụng. .. đƣợc nghiên cứu để ứng dụng mạng nơron vào các lĩnh vực cuộc sống, ví dụ nhƣ: Kỹ thuật tính, tối ƣu, sinh học, y học, thống kê, giao thông, hoá học… Cho đến nay, mạng nơron đã tìm đƣợc và khẳng định đƣợc vị trí của mình trong rất nhiều ứng dụng khác nhau 1.1.2 Mạng Nơron sinh học 1.1.2.1 Cấu trúc một nơron sinh học Theo các nghiên cứu sinh học về bộ não, hệ thống thần kinh của con ngƣời bao gồm khoảng... chung của quá trình học của ba phƣơng pháp học đã nêu ở trên Trong tín hiệu vào x j (j = 1,2, ,m), có thể đƣợc lấy từ đầu ra của các nơron khác hoặc có thể đƣợc lấy ra từ bên ngoài Trọng số của nơron thứ i đƣợc thay đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của vector wi là wi tỉ lệ với tín hiệu học r và tín... tuyến - Là hệ xử lý song song - Là hệ học và thích nghi: Mạng đƣợc luyện từ số liệu quá khứ, có khả năng tự chỉnh đầu vào khi số liệu đầu vào bị mất - Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MISO), rất tiện dùng khi điều khiển đối tƣợng có nhiều biến số Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 14 1.1.4 Ứng dụng Từ khi ra đời và phát triển, mạng nơron đã đƣợc ứng dụng trong nhiều lĩnh . đề tài Mạng Kohonen và ứng dụng trong quản lý trợ cấp xã hội của sinh viên trƣờng Cao đẳng Sƣ phạm Cao Bằng khảo sát lĩnh vực KPDL dùng mạng nơron. Luận văn tập trung vào tìm hiểu về mạng nơron. NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LÃNH LAN HƢƠNG MẠNG KOHONEN VÀ ỨNG DỤNG TRONG QUẢN LÝ TRỢ CẤP XÃ HỘI CỦA SINH VIÊN TRƢỜNG CAO ĐẲNG SƢ PHẠM CAO BẰNG. SOM và kĩ thuật phân cụm dữ liệu dựa vào SOM Chƣơng III. Ứng dụng mạng Kohonen trong công việc quản lý trợ cấp xã hội của sinh viên trƣờng Cao đẳng Sƣ phạm Cao Bằng Do thời gian nghiên cứu và