báo TRƯỜNG …………………. KHOA………………………. [\[\ Báo cáo khoa học Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền MỤC LỤC I: MẠNG NƠRON 2 I.1 Giới Thiệu Mạng Nơron 2 I.1.1 Lịch sử phát triển 2 I.1.2 Căn nguyên sinh học 3 I.1.3 Đơn vị xử lý 5 I.1.4 Hàm xử lý 6 I.1.5 Ứng dụng 11 I.2 Mạng Norn Một Lớp 11 I.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network) 12 II: MẠNG NƠRON MỜ: 12 III: GIẢI THUẬT DI TRUYỀN 15 1: Các toán tử của giải thật di truyền 16 1.1 Chọn lọc 16 1.2 Lai ghép 17 1.3 Đột biến 19 1.4 Hàm thích nghi 20 2: Xét trong mối quan hệ giữa mạng nơron và giải thuật di truyền 21 2.1 Cross-over (Lai ghép) 22 2.2 Mutation (Đột biến) 23 2.3 Fitness function (Hàm thích nghi) 23 2.4 Selection (chọn lọc) 25 3: Chiến lược điều chỉnh mờ tự động 25 IV: KẾT LUẬN 26 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 1 BÁO CÁO NGHIÊN CỨU KHOA HỌC Tên đề tài: TỐI ƯU HOÁ CẤU TRÚC CỦA MẠNG NƠRON MỜ BẰNG GIẢI THUẬT DI TRUYỀN MỞ ĐẦU Lý do chọn đề tài: Gần đây suy diễn mờ được ứng dụng trong rất nhiều các vấn đề khác nhau như: điều khiển máy móc hay trong các hệ thống sản xuất. Một trong những suy diễn mờ đó là mạng nơron mờ. Có lẽ mạng noron không chỉ hấp dẫn đối với những người yêu thích công nghệ thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn trong cuộc sống của nó. Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành động, thậm chí là suy nghĩ của người ngồi trên xe v.v… nhờ có mạng noron nhân tạo. Mạng nơron ban đầu có cấu trúc thô, vấn đề quan trọng là chúng ta phải làm sao cho cấu trúc thô đó trở thành cấu trúc tương đối thích hợp. Do đó vấn đề tối ưu hoá cấu trúc của mạng nơron là rất cần thiết. Một trong những giải thuật dùng để tối ưu hoá cấu trúc của mạng nơron là giải thuật di truyền và giải thuật di truyền được xem là thích hợp nhất. Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 2 I: MẠNG NƠRON I.1 Giới Thiệu Mạng Nơron I.1.1 Lịch sử phát triển Sự phát triển của mạng nơron trải qua cả quá trình đưa ra các khái niệm mới lẫn thực thi các khái niệm này. Dưới đây là các mốc đáng chú ý trong lịch sử phát triển của mạng nơron. * Cuối thế kỷ 19, đầu thế kỷ 20, sự phát triển chủ yếu chỉ là các công việc có sự tham gia của cả ba ngành Vật lý học, Tâm lý học và Thần kinh học, bởi các nhà khoa học như Hermann von Hemholtz, Ernst Mach, Ivan Pavlov. Các công trình nghiên cứu của họ chủ yếu đi sâu vào các lý thuyết tổng quát về HỌC (learning), NHÌN (vision) và LẬP LUẬN (conditioning),…và không hề đưa ra những mô hình toán học cụ thể mô tả hoạt động của các nơron. * Mọi chuyện thực sự bắt đầu vào những năm 1940 với công trình của Warren McCulloch và Walter Pitts. Họ chỉ ra rằng về nguyên tắc, mạng của các nơron nhân tạo có thể tính toán bất kỳ một hàm số học hay logic nào. * Tiếp theo đó là Donald Hebb, ông đã phát biểu rằng việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) là hiện thực bởi do các thuộc tính của từng nơron riêng biệt. Ông cũng nêu ra một phương pháp học của các nơron nhân tạo. * Ứng dụng thực nghiệm đầu tiên của các nơron nhân tạo có được vào cuối những năm 50 cùng với phát minh của mạng nhận thức (perceptron network) và luật học tương ứng bởi Frank Rosenblatt. Mạng này có khả năng nhận dạng các mẫu. Điều này mở ra rất nhiều hy vọng cho việc nghiên cứu mạng nơron. Tuy nhiên nó có hạn chế là chỉ có thể giải quyết một số lớp hữu hạn các bài toán. * Cùng thời gian đó, Bernard Widrow và Ted Hoff đã đưa ra một thuật toán học mới và sử dụng nó để huấn luyện cho các mạng nơron tuyến tính thích nghi, mạng có cấu trúc và chức năng tương tự như mạng của Rosenblatt. Luật học Widrow-Hoff vẫn còn được sử dụng cho đến nay. Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 3 * Tuy nhiên cả Rosenblatt và Widrow-Hoff đều cùng vấp phải một vấn đề do Marvin Minsky và Seymour Papert phát hiện ra, đó là các mạng nhận thức chỉ có khả năng giải quyết các bài toán khả phân tuyến tính. Họ cố gắng cải tiến luật học và mạng để có thể vượt qua được hạn chế này nhưng họ đã không thành công trong việc cải tiến luật học để có thể huấn luyện được các mạng có cấu trúc phức tạp hơn. * Do những kết quả của Minsky-Papert nên việc nghiên cứu về mạng nơron gần như bị đình lại trong suốt một thập kỷ do nguyên nhân là không có được các máy tính đủ mạnh để có thể thực nghiệm. * Mặc dù vậy, cũng có vài phát kiến quan trọng vào những năm 70. Năm 1972 Teuvo Kohonen và James Anderson độc lập nhau phát triển một loại mạng mới có thể hoạt động như một bộ nhớ. Stephen Grossberg cũng rất tích cực trong việc khảo sát các mạng tự tổ chức (Self organizing network). * Vào những năm 80, việc nghiên cứu mạng nơron phát triển rất mạnh mẽ cùng với sự ra đời của PC. Có hai khái niệm mới liên quan tới sự hồi sinh này, đó là: + Việc sử dụng các phương pháp thống kê để giải thích hoạt động của một lớp các mạng hồi quy (recurrent network) có thể được dùng như bộ nhớ liên hợp (associative memory) trong công trình của nhà vật lý học Johh Hopfield. + Sự ra đời của thuật toán lan truyền ngược (back- propagation) để luyện các mạng nhiều lớp được một vài nhà nghiên cứu độc lập tìm ra như: David Rumelhart, James McCelland,…Đó cũng là câu trả lời cho Minsky-Papert. I.1.2 Căn nguyên sinh học Bộ não con người chứa khoảng 10 11 các phần tử liên kết chặt chẽ với nhau (khoảng 10 4 liên kết đối với mỗi phần tử) gọi là các nơron. Dưới con mắt của những người làm tin học, một nơron được cấu tạo bởi các thành phần: tế bào hình cây (dendrite), tế bào thân (cell body) và sợi trục thần kinh Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 4 (axon). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới tế bào thân, tế bào thân sẽ thực hiện gộp (sum) và phân ngưỡng (threshold) các tín hiệu đến. Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân ra ngoài. Điểm tiếp xúc giữa một sợi trục thần kinh của nơron này và tế bào hình cây của một nơron khác được gọi là khớp thần kinh (synapse). sự sắp xếp của các nơron và mức độ mạnh yếu của các khớp thần kinh được quyết định bởi các quá trình hoá học phức tạp, sẽ thiết lập chức năng của mạng nơron. Một vài nơron có sẵn từ khi sinh ra, các phần khác được phát triển thông qua việc học, ở đó có sự thiết lập các liên kết mới và loại bỏ các liên kết cũ. Cấu trúc của mạng nơron luôn luôn phát triển và thay đổi. Các thay đổi sau này có khuynh hướng bao gồm chủ yếu là việc làm tăng hay giảm độ mạnh của các mối liên kết thông qua các khớp thần kinh. Mạng nơron nhân tạo không tiếp cận đến sự phức tạp của bộ não. Mặc dù vậy có hai sự tương quan cơ bản giữa mạng nơron nhân tạo và sinh học. Thứ nhất, cấu trúc khối tạo thành chúng đều là các thiết bị tính toán đơn giản (mạng nơron nhân tạo đơn giản hơn nhiều) được liên kết chặt chẽ với nhau. Thứ hai, các liên kết giữa các nơron quyết định chức năng của mạng. Cần chú ý rằng mặc dù mạng nơron sinh học hoạt động rất chậm so với các linh kiện điện tử (10 -3 so với 10 -9 giây) nhưng bộ não có khả năng thực hiện nhiều công việc nhanh hơn nhiều so với các máy tính thông thường. Đó một phần là do cấu trúc song song của mạng nơron sinh học: toàn bộ các nơron hoạt động một cách đồng thời tại một thời điểm. Mạng nơron nhân tạo cũng chia sẻ đặc điểm này. Mặc dù hiện nay, các mạng nơron chủ yếu được thực nghiệm trên các máy tính số, nhưng cấu trúc song song của chúng khiến chúng ta có thể thấy cấu trúc phù hợp nhất là thực nghiệm chúng trên các vi Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 5 mạch tích hợp lớn (VLSI: very large scale integrated circuit), các thiết bị quang và các bộ xử lý song song. Mạng nơron đôi khi được xem như là các mô hình liên kết (connectionist models), là các mô hình phân bố song song (parallel-distributed models) có các đặc trưng phân biệt sau: * Tập các đơn vị xử lý; * Trạng thái kích hoạt hay là đầu ra của đơn vị xử lý; * Liên kết giữa các đơn vị. Xét tổng quát, mỗi liên kết được định nghĩa bởi một trọng số w jk cho ta biết hiệu ứng mà tín hiệu của đơn vị j có trên đơn vị k; * Một luật lan truyền quyết định cách tính tín hiệu ra của từng đơn vị đầu vào của nó; * Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại; * Một đơn vị điều chỉnh (độ lệch) (bias, offset) của mỗi đơn vị; * Phương pháp thu thập thông tin (luật học- learning rule); * Môi trường hệ thống có thể hoạt động I.1.3 Đơn vị xử lý Một đơn vị xử lí (Hình 1) cũng được gọi là một nơron hay một nút (node), thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ được lan truyền sang các đơn vị khác Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 6 Trong đó: x i : các đầu vào w ji : các trọng số tương ứng với các đầu vào θ j : độ lệch (bias) a j : đầu vào mạng (net-input) z j : đầu ra của nơron g(x) : hàm chuyển (hàm kích hoạt). Trong một mạng nơron có ba kiểu đơn vị: * Các đơn vị đầu vào (input units), nhận tín hiệu từ bên ngoài; * Cá đơn vị đầu ra (output units), gửi dữ liệu ra bên ngoài; * Các đơn vị ẩn (hidden units), tín hiệu vào (input) và ra (output) của nó nằm trong mạng. Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x 0, x 1 , x 2 ,…x n , nhưng chỉ có một đầu ra z j . Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó. I.1.4 Hàm xử lý  Hàm kết hợp Mỗi một đơn vị trong một mạng kết hợp các giá trị đưa vào nó thông qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là net-input. Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp (combination Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 7 function), được định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng nơron, chúng ta giả sử rằng mỗi một đơn vị cung cấp một bộ cộng như là đầu vào cho đơn vị mà nó có liên kết. Tổng đầu vào đơn vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối cộng thêm ngưỡng hay độ lệch θ j a j = ji 1 w n i j i x     Trường hợp w ji > 0, nơron được coi là đang ở trong trạng thái kích thích. Tương tự, nếu như w ji < 0, nơron ở trạng thái kiềm chế. Chúng ta gọi các đơn vị với luật lan truyền như trên là các sigma units. Trong một vài trường hợp người ta cũng có thể sử dụng các luật lan truyền phức tạp hơn. Một trong số đó là luật sigma-pi, có dạng như sau: a j = ji 1 w n i i x   1 m ik j k x     Rất nhiều hàm kết hợp sử dụng một “độ lệch” hay “ngưỡng” để tính net-input tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông thường θ j được chọn là hằng số và trong bài toán xấp xỉ đa thức θ j =1  Hàm kích hoạt (hàm chuyển) Phần lớn các đơn vị trong mạng nơron chuyển net-input bằng cách sử dụng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit’s activation). Loại trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt được đưa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp (squashing). Các hàm kích hoạt hay được sử dụng là: + Hàm đồng nhất (Linear function, Identity function) g(x) = x Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 8 Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một hằng số được nhân với net-input để tạo ra một hàm đồng nhất + Hàm bước nhị phân (binary step function, hard limit function) Hàm này cũng được biết đến với tên “hàm ngưỡng”. Đầu ra của hàm này được giới hạn vào một trong hai giá trị: 1 nếu (x ≥ 0) g(x) = 0 nếu (x ≤ 0) Dạng hàm này được sử dụng trong các mạng chỉ có một lớp. Trong hình vẽ sau, θ được chọn bằng 1. [...]... Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền + Xây dựng mạng NNmemb để biểu thị hàm phụ thuộc cho phần IF của các luật Huấn luyện mạng NNmemb tương ứng với phần IF của luật mờ + Đơn giản phần THEN của các luật theo phương pháp loại bỏ ngược + Xác định kết quả ra và di n giải mờ III: GIẢI THUẬT DI TRUYỀN Giải thuật di truyền (Genetic Algorithsm- GA) là kĩ thuật giúp giải quyết... Hệ mờ nơron, mạng nơron mờ và các hệ lai Trong mạng nơron mờ có thể là tín hiệu vào, tín hiệu ra hay trọng số là những số mờ Cũng có trường hợp mạng nơron mờ với tất cả các yếu tố * Mạng nơron như một công cụ suy di n Nói mạng nơron như một công cụ suy di n vì: mạng nơron có khả năng suy di n Với mỗi tín hiệu vào thì mạng nơron sẽ cho một đầu ra tương ứng * Suy di n mờ dựa trên mạng nơron:  Biểu di n... Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền  Mạng Kiểu Bộ Nhớ Hai Chiều Kết Hợp Thích Nghi (Adaptive Bidirectional Associative)  Mạng Kohonen  … I.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network) Mạng nơron có từ 2 lớp trở lên được gọi là mạng nơron nhiều lớp Mạng nơron nhiều lớp bao gồm một lớp vào, một lớp ra, một hoặc nhiều lớp ẩn  Mạng noron nhiều lớp lan truyền. .. luật mờ và thu được cấu trúc nhỏ nhất của mô hình mờ bởi thao tác này Theo cách này, một chuỗi mới được sinh ra bằng các thao tác lai ghép và đột biến Các thao tác này nhằn đưa ra một cấu trúc thích hợp của mô hình mờ, tương ứng với quá trình điều chỉnh thô 2.3 Fitness function (Hàm thích nghi) Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 23 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền. .. lai ghép thực hiện việc tạo các chuỗi mới Thuật toán di truyền xác định cấu trúc của mô hình mờ thô và số luật Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 25 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền mờ nhỏ nhất Các toán tử này phù hợp với quá trình điều chỉnh thô, như đã đề cập trước đó (3) Sử dụng các chuỗi trải qua các toán tử di truyền, các hàm thành viên và các giá trị... luật mờ: Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 12 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Keller (1992) đề xuất mô hình mạng nơron truyền thẳng nhiều lớp biểu di n các luật suy di n cơ sở: If X1 = A1 then Y = B Lớp vào Lớp kiểm tra từng mệnh đề a11' a1m1' an1' w11 w1m1 anmn' wn1 wnm d1 Kết hợp các mệnh đề Lớp ra dn 1-t u1 b 1' uk b k' Mạng noron biểu di n một luật mờ. .. có giới hạn các lời giải Giải thuật di truyền xét đến toàn bộ các lời giải, bằng cách xét trước nhất một số lời giải, sau đó loại bỏ một số thành phần không thích hợp Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 15 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền và chọn những thành phần thích nghi hơn để chọn lọc và biến hoá nhằm mục đích tạo ra nhiều lời giải mới có hệ số thích nghi... 9 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu di n sự phi tuyến vào trong mạng Lý do là hợp thành của các hàm đồng nhất là một hàm đồng nhất Mặc dù vậy nhưng nó mang tính chất phi tuyến (nghĩa là khả năng biểu di n các hàm phi tuyến) làm cho các mạng nhiều tầng có khả năng rất tốt trong biểu di n các ánh... giữa mạng nơron và giải thuật di truyền Các toán tử lai ghép, đột biến, chọn lọc và hàm thích nghi được áp dụng một cách cụ thể Một cá thể bao gồm các thông tin: các hàm thuộc hình tam giác và các giá trị thực Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 21 Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền 2.1 Cross-over (Lai ghép) Toán tử lai ghép nghĩa là thay đổi vị trí đỉnh của hàm... giúp giải quyết bài toán bằng cách mô phỏng theo sự tiến hoá của con người hay của sinh vật nói chung (Dựa trên thuyết tiến hoá con người của Darwin) trong điều kiện môi trường sống luôn thay đổi Thuật giải di truyền là một hướng tiếp cận tính toán gần đúng, nghĩa là mục tiêu của thuật giải di truyền không nhằm đưa ra lời giải chính xác tối ưu mà là đưa ra lời giải tương đối tối ưu Lý thuyết này do Johm . thành cấu trúc tương đối thích hợp. Do đó vấn đề tối ưu hoá cấu trúc của mạng nơron là rất cần thiết. Một trong những giải thuật dùng để tối ưu hoá cấu trúc của mạng nơron là giải thuật di truyền. báo TRƯỜNG …………………. KHOA ……………………. [[ Báo cáo khoa học Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền MỤC LỤC I: MẠNG NƠRON 2 I.1. truyền và giải thuật di truyền được xem là thích hợp nhất. Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền Sinh viên: Trần Thị Thu Hoài_K54C_CNTT 2 I: MẠNG NƠRON