ðẠI HỌC THÁI NGUYÊN TRƯỜNG ðẠI HỌC CNTT&TT HÀ TUẤN VIỆT ỨNG DỤNG MẠNG NƠ RON HOPFIELD GIẢI BÀI TOÁN LẬP THỜI KHÓA BIỂU Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2011 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Công trình ñược hoàn thành tại: Trường ðại học CNTT & TT- ðại Học Thái Nguyên Người hướng dẫn khoa học: PGS TS. ðẶNG QUANG Á Phản biện 1: Phản biện 2: Luận văn sẽ ñược bảo vệ trước Hội ñồng chấm luận văn họp tại: Vào hồi giờ ngày tháng năm 2011. Có thể tìm hiểu luận văn tại trung tâm học liệu ðại học Thái Nguyên Và thư viện Trường/Khoa: ……………………………. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i LỜI CẢM ƠN Xin chân thành cảm ơn Thầy PGS TS. Đặng Quang Á đã tận tình chỉ dạy, hướng dẫn tôi trong suốt thời gian học tập và làm luận văn. Tôi cũng xin biết ơn chân thành đến các Thầy giáo Viện Công nghệ Thông tin đã giảng dạy, giúp đỡ trong suốt thời gian học tập. Xin cảm ơn tất cả các anh chị học viên Cao học khóa 8, cám ơn các cán bộ công chức, giảng viên Khoa Công nghệ thông tin- ĐH Thái Nguyên đã tạo điều kiện tốt cho tôi trong suốt trong hai năm học qua. Xin cám ơn các bạn bè, đồng nghiệp đã chỉ bảo tôi rất nhiều trong thời gian thực hiện luận văn này. Cuối cùng, xin chân thành cảm ơn các thành viên trong gia đình đã động viên và tạo mọi điều kiện thuận lợi để tôi có được kết quả như ngày hôm nay. THÁI NGUYÊN 10/2011 Người viết luận văn Hà Tuấn Việt Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii LỜI CAM ĐOAN Tôi xin cam đoan đề tài luận văn “ Ứng dụng mạng nơ-ron Hopfield giải bài toán thời khóa biểu” là công trình nghiên cứu của bản thân tôi. Các số liệu, kết quả nghiên cứu nêu trong luận văn này là trung thực và chưa từng được ai công bố trong một công trình nào khác. Tôi xin chịu trách nhiệm về luận văn của mình. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii MỤC LỤC TRANG PHỤ BÌA Trang LỜI CẢM ƠN ……………………………………………………………… i LỜI CAM ĐOAN………………………………………………………… ii MỤC LỤC………………………………………………………………… iii DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ………………………………… v MỞ ĐẦU 1 CHƯƠNG I 3 TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO 3 1.1. GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO 3 1.1.1 Lịch sử phát triển 3 1.1.2. Mô hình mạng nơ-ron nhân tạo 4 1.2. PHẠM VI ỨNG DỤNG CỦA MẠNG NƠ RON NHÂN TẠO 19 1.2.1. Những bài toán thích hợp 19 1.2.2. Các lĩnh vực ứng dụng mạng nơ ron 23 1.3. MẠNG HOPFIELD 24 1.3.1. Mạng Hopfield rời rạc 25 1.3.2. Mạng Hopfield liên tục. 27 1.3.3. Mạng Hopfield với bài toán tối ưu 28 1.3.4. Mạng Hopfield với bài toán lập thời khóa biểu 30 1.4. NHẬN XÉT 32 CHƯƠNG II 33 ỨNG DỤNG MẠNG NƠ-RON HOPFIELD TRONG BÀI TOÁN LẬP THỜI KHÓA BIỂU CHO TRƯỜNG ĐẠI HỌC 33 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv 2.1 Bài toán lập thời khóa biểu và những khó khăn trong việc lập thời khóa biểu cho trường đại học 33 2.2. Tình hình giải quyết bài toán lập thời khóa biểu 37 2.3. Xây dựng mô hình mạng Hopfield cho bài toán thời khóa biểu 38 2.3.1. Mạng nơ ron Hopfield 38 2.3.2. Ánh xạ bài toán thời khóa biểu lên mạng nơ-ron Hopfield 40 2.4. Thuật toán mạng nơ-ron Hopfield trong bài toán lập thời khóa biểu cho trường Đại học 43 2.5. Kết luận chương 2 46 CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM 47 3.1 Thiết kế chương trình ứng dụng mạng nơ ron Hopfield trong việc lập thời khóa biểu cho trường đại học. 47 3.2 Chuẩn bị dữ liệu 50 3.3. Kết quả thử nghiệm 50 3.4. Đánh giá kết quả 51 KẾT LUẬN VÀ ĐỀ NGHỊ 52 Kết quả đạt được của luận văn 52 Các định hướng nghiên cứu tiếp theo 52 TÀI LIỆU THAM KHẢO 53 PHỤ LỤC 55 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ Hình 1.1. Mô hình nơ-ron sinh học 6 Đồ thị hàm đồng nhất (Identity function) 8 Đồ thị hàm bước nhị phân (Binary step function) 8 Đồ thị hàm sigmoid 9 Đồ thị hàm sigmoid lưỡng cực 10 Hình 1.2. Mô hình một nơ-ron 11 Hình 1.3. Mạng truyền thẳng một lớp 13 Hình 1.4. Mạng truyền thẳng nhiều lớp 14 Hình 1.5. Mạng một lớp có nối ngược 15 Hình 1.6. Mạng nhiều lớp có nối 15 Hình 1.7. Mô hình mạng Hopfield 25 Đồ thị hàm Sigmoid 28 Đồ thị hàm Hàm y=tanh(x) 28 Hình 3.1: Giao diện chương trình thời khóa biểu 48 Hình 3.2: Danh sách các form dữ liệu 49 Hình 3.3: Minh họa tìm kiếm dữ liệu theo lớp 49 Hình 3.4: Nhập tham số công thức cho bài toán thời khóa biểu 50 Hình 3.5: Minh họa kết quả sau khi xếp thời khóa biểu 50 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 MỞ ĐẦU Nhờ các khả năng: học, nhớ lại và khái quát hóa từ các mẫu huấn luyện hoặc dữ liệu, mạng nơ-ron nhân tạo trở thành một phát minh đầy hứa hẹn của hệ thống xử lý thông tin. Các tính toán nơ-ron cho phép giải quyết tốt những bài toán đặc trưng bởi một số hoặc tất cả các tính chất sau: sử dụng không gian nhiều chiều, các tương tác phức tạp, chưa biết hoặc không thể biết về mặt toán học giữa các biến. Ngoài ra phương pháp này còn cho phép tìm ra nghiệm của nhưng bài toán đòi hỏi đầu vào là các cảm nhận của con người như: tiếng nói, nhìn và nhận dạng Bài toán lập thời khóa biểu đại học là một bài toán tối ưu dạng NP-hard và tìm được một thời khóa biểu có chất lượng tốt là một thử thách thực sự. Bài toán với một số lượng lớn các sự kiện và bao gồm nhiều ràng buộc cứng khác nhau để thực hiện việc tìm kiếm thời khóa biểu tối ưu là phức tạp và tốn nhiều thời gian. Để xử lý độ phức tạp của bài toán và để cung cấp việc tự động hỗ trợ con người trong xếp thời khóa biểu, đã có nhiều cách tiếp cận trong các tài liệu tập trung vào bài toán này. Những công việc nghiên cứu thể hiện trong luận văn nhằm xây dựng theo tình trạng phát biểu tìm kiếm phương pháp luận cho bài toán thời khóa biểu. Nghiên cứu tập trung vào phần xếp lịch dạy của thời khóa biểu nhằm đảm bảo lớp - giáo viên - phòng học tránh bị xung đột. Các tính toán nơ-ron cho phép giải quyết tốt các bài toán có nhiều tương tác phức tạp. Vì vậy, ứng dụng mạng nơ-ron Hopfield trong bài toán thời khóa biểu sẽ hứa hẹn là một giải pháp hiệu quả góp phần nâng cao khả năng xếp thời khóa biểu nhờ tính hội tụ nhanh đến một trạng thái ổn định của mạng nơ-ron Hopfield. Trên thế giới, đã có một số nghiên cứu ứng dụng mạng nơ-ron trong bài toán xếp lịch thời khóa biểu cho trường đại học. Tuy nhiên, lĩnh vực này còn khá mới mẻ và chưa được ứng dụng rộng rãi ở nước ta. Trong nước cũng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 chưa có một tài liệu chính thống nào về lĩnh vực này. Với những ứng dụng ngày càng rộng rãi của mạng nơ-ron, việc nghiên cứu và áp dụng vào bài toán thời khóa biểu trở nên cấp thiết, và đang rất được quan tâm. Chính vì những lý do trên em đã quyết định chọn đề tài: “Ứng dụng mạng nơ-ron Hopfield trong việc lập thời khóa biểu cho trường đại học“ làm hướng nghiên cứu. Với mục tiêu đưa những ý tưởng khác nhau nhằm tăng hiệu quả tổng quan với thuật toán xếp thời khóa biểu và tìm cách ứng dụng vào thực tế. Luận văn gồm 3 chương với các nội dung cơ bản sau: Chương 1: Trình bày tổng quan về cơ sở mạng nơ-ron nhân tạo, và nêu khái quát ứng dụng mạng nơ-ron trong bài toán xếp thời khóa biểu. Chương 2: Trình bày phương pháp giải bài toán lập thời khóa biểu, dùng mạng Hopfield sửa đổi nhằm giảm độ phức tạp và tăng tốc giải bài toán, đưa ra những nhận xét về hiệu quả của các mô hình bài toán. Chương 3: Thiết kế cài đặt thử nghiệm chương trình ứng dụng mạng nơ-ron Hopfield cho bài toán lập thời khóa biểu, đánh giá về kết quả đạt được. Ngoài ra, luận văn còn phần phụ lục và tài liệu tham khảo kèm theo ở cuối đề tài. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 CHƯƠNG I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO 1.1. GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO 1.1.1 Lịch sử phát triển Khái niệm mạng nơ-ron được bắt đầu vào cuối thế kỷ 19, đầu thế kỷ 20 do có sự tham gia của ba ngành Vật lý học, Tâm lý học và Thần kinh học. Các nhà khoa học như Hermann Von Hemholtz, Earnst Mach, Ivan Pavlov với các công trình nghiên cứu đi sâu vào lý thuyết tổng quát mô tả hoạt động của trí tuệ con người như: Học, nhìn, và lập luận, nhưng không đưa ra được mô hình toán học cụ thể mô tả hoạt động của nơ-ron. Về lịch sử, quá trình nghiên cứu và phát triển mạng nơ-ron nhân tạo có thể chia thành bốn giai đoạn như sau: + Giai đoạn một: Từ nghiên cứu của William (1890) về tâm lý học với sự liên kết các nơ-ron thần kinh. Năm 1943, nhà thần kinh học Warren MeCulloch và nhà logic học Walter Pitts đã chỉ ra rằng:về nguyên tắc mạng các nơ-ron nhân tạo có thể được mô hình hoá như thiết bị ngưỡng (giới hạn) để thực hiện tính toán bất kỳ một hàm số học hay các phép tính logic nào. Tiếp theo hai ông là Donald Hebb với giải thuật huấn luyện mạng ra đời năm 1949. + Giai đoạn hai: Vào khoảng những năm 1960, một số mô hình nơ-ron hoàn thiện hơn có tính ứng dụng thực tiễn đã được đưa ra như: mô hình Perceptron của Frank Rosenblatt (1958), mô hình Adaline của Bernard Widrow (1962). Trong đó mô hình Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nó cũng có hạn chế vì như Marvin Minsky và Seymour Papert của MIT (Massachurehs Insritute of Technology) đã phát hiện ra và Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn [...]... Chính vì vậy mà mạng Hopfield rất phù hợp với các bài tốn tối ưu tổ hợp, đặc biệt là đối với một số bài tốn thuộc lớp bài tốn NP-đầy đủ như: bài tốn thời khóa biểu, bài tốn người bán hàng, tìm đường đi tối ưu cho tuyến đường xe bus trường học, bài tốn người đưa thư, Tuy nhiên, khi sử dụng mạng Hopfield vào việc giải các bài tốn tối ưu trong thực tế còn gặp một số hạn chế sau: - Mạng Hopfield khơng... mình dựa trên các thơng tin bên ngồi hay bên trong chảy qua mạng trong q trình học Với việc giả lập các hệ thống sinh học, các cấu trúc tính tốn, mạng nơron có thể giải quyết được các lớp bài tốn nhất định, như: Bài tốn người du lịch, bài tốn tơ màu bản đồ, bài tốn xếp loại, bài tốn lập thời khóa biểu, bài tốn tìm kiếm, bài tốn nhận dạng mẫu Các bài tốn phức tạp cao, khơng Số hóa bởi Trung tâm Học liệu... trị nhị phân của các nơ-ron nên mạng Hopfield rời rạc được sử dụng cho các bài tốn tối ưu {0, 1} Số hóa bởi Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 27 Một mở rộng của mạng nhị phân là mạng lượng tử hố Đây là một loại mạng mới được đề xuất và thích hợp cho việc giải các bài tốn quy hoạch ngun 1.3.2 Mạng Hopfield liên tục Mạng Hopfield liên tục là mạng mà trạng thái của nó được... đầu ra là: Vi(t+1) = fi(Vi(t)) Mạng đạt trạng thái cân bằng nếu Vi(t+1) = Vi(t) , ∀ i Ta định nghĩa hàm năng lượng của mạng là: n 1 n n E = E (V1 ,V2 , ,Vn ) = − ∑∑WijViV j − ∑ E jVi 2 (1.13) Tuỳ theo phương thức hoạt động của mạng mà người ta phân mạng Hopfield ra thành mạng Hopfield rời rạc và mạng Hopfield liên tục 1.3.1 Mạng Hopfield rời rạc Mạng Hopfield rời rạc là mạng được tính rời rạc (đầu ra... tìm kiếm: Gồm cài đặt song song các bài tốn thỏa mãn ràng buộc, bài tốn lập thời khóa biểu cho trường đại học, bài tốn người đi du lịch, - Giải các bài tốn tối ưu: Vấn đề chính là tìm những thuật tốn huấn luyện mạng để góp phần tìm nghiệm cho nhiều lớp bài tốn tối ưu tồn cục Tóm lại, mạng nơ-ron nhân tạo được xem là một cách tiếp cận đầy tiềm năng để giải quyết các bài tốn có tính phi tuyến, phức tạp... tổng qt, có thể xây dựng một số bước cần phải thực hiện khi sử dụng mạng Hopfield vào việc giải bài tốn tối ưu như sau (ánh xạ bài tốn tối ưu lên mạng nơ ron): 1 Lập sơ đồ biểu diễn các đầu ra của mạng sao cho nó có thể giải mã thành nghiệm của bài tốn tối ưu 2 Tạo hàm năng lượng sao cho giá trị cực tiểu của nó ứng với nghiệm tốt nhất của bài tốn cần ánh xạ Số hóa bởi Trung tâm Học liệu – Đại học Thái... Đồ thị hàm Hàm y=tanh(x) 1.3.3 Mạng Hopfield với bài tốn tối ưu Sau cơng trình của Hopfield và Tank mạng Hopfield đã được sử dụng nhiều vào việc giải bài tốn tối ưu tổ hợp Ta đã biết mạng Hopfield sẽ đạt tới Số hóa bởi Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn 29 trạng thái cân bằng khi hàm năng lượng của nó đạt tới giá trị cực tiểu Vì vậy, từ bài tốn cho trước, ta xây dựng một... cho q trình học Kỹ thuật dịch chuyển cửa sổ có thể được sử dụng để giải quyết các vấn đề chuỗi các sự kiện và đối tượng như trong các lĩnh vực về mơi trường theo thời gian, kiểm sốt hỏng hóc 1.2.2 Các lĩnh vực ứng dụng mạng nơ ron Trong q trình phát triển, mạng nơ ron đã được ứng dụng thành cơng trong rất nhiều lĩnh vực Một số ứng dụng chính của mạng nơ-ron có thể liệt kê là: - Xử lý ảnh: Gồm trùng khớp... 1.3 MẠNG HOPFIELD Trong mạng hồi quy tín hiệu ra của một nơ-ron có thể được truyền ngược lại làm tín hiệu vào cho các nơ-ron ở các lớp trước, hoặc các nơ-ron trong cùng một lớp Phần này sẽ trình bày mơ hình mạng tiêu biểu thuộc lớp mạng hồi quy, đó là mạng Hopfield Mạng Hopfield được bắt đầu nghiên cứu từ năm 1982 Đây là mạng một lớp với thơng tin và q trình xử lý có nối ngược Chính cơng trình của Hopfield. .. nhiều lớp nhằm giải bài tốn mà mạng khác khơng thực hiện được Nhiều ứng dụng mạnh mẽ của mạng nơ-ron ra đời cùng với các mạng theo kiểu máy Boltzmann và mạng Neocognition của Fukushima + Giai đoạn bốn: từ năm 1987 - đến nay, hàng năm thế giới đều mở hội nghị tồn cầu chun ngành nơ-ron IJCNN (International Joint Conference on Neural Networks) Rất nhiều cơng trình được nghiên cứu để ứng dụng mạng nơ-ron . lập thời khóa biểu cho trường đại học 33 2.2. Tình hình giải quyết bài toán lập thời khóa biểu 37 2.3. Xây dựng mô hình mạng Hopfield cho bài toán thời khóa biểu 38 2.3.1. Mạng nơ ron Hopfield. trúc tính toán, mạng nơ- ron có thể giải quyết được các lớp bài toán nhất định, như: Bài toán người du lịch, bài toán tô màu bản đồ, bài toán xếp loại, bài toán lập thời khóa biểu, bài toán tìm. dụng mạng nơ-ron trong bài toán xếp thời khóa biểu. Chương 2: Trình bày phương pháp giải bài toán lập thời khóa biểu, dùng mạng Hopfield sửa đổi nhằm giảm độ phức tạp và tăng tốc giải bài toán,