Đang tải... (xem toàn văn)
Kỹ thuật mạng Nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng
bộ giáo dục đào tạo trờng đại học bách khoa hà nội Dơng thị hiền Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Luận văn thạc sỹ công nghệ thông tin Hà nội 2008 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Mục lục Môc lôc Danh môc từ viết tắt Danh mơc c¸c b¶ng Danh mục hình vẽ ®å thÞ Lời nói đầu Chơng khai phá liệu ph¸t hiƯn tri thøc csdl 1.1 tổng quan khai phá liệu phát tri thức CSDL .8 1.1.1 Tại cần phát hiÖn tri thøc? 1.1.2 Khai phá liệu phát tri thức sở liệu 1.2 Quá trình pháT HIệN TRI THứC CƠ Së D÷ LIƯU 10 1.2.2 Thu thập tiền xử lý liệu .10 1.2.3 Khai phá liÖu 12 1.2.4 Minh hoạ đánh giá 12 1.2.5 Đa kết vào thực tế .13 1.3 c¸c kü thuật Khai phá liệu 13 1.3.1 KiÕn tróc cđa hƯ thống khai phá liệu .13 1.3.3 Nhiệm vụ khai phá liÖu 17 1.3.4 Một số phơng pháp khai phá liệu phổ biến 19 1.3.5 Nh÷ng −u thÕ khó khăn thách thức nghiên cứu ứng dụng kỹ thuật khai phá liệu .24 KÕt luËn ch−¬ng 27 Ch−¬ng kü thuËt khai phá liệu sử dụng mạng nơron giải thuật di truyÒn 21 2.1 Mạng nơron khai phá liệu 28 2.1.1 Khái niệm mạng nơron .28 2.1.2 N¬ron sinh häc mạng nơron sinh học 29 2.1.3 Mô hình trình xử lý nơron nhân tạo .30 2.1.4 Cấu trúc phân loại mạng nơron 33 2.1.5 Häc vµ lan trun m¹ng 36 2.1.6 Đánh giá mạng nơron .40 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thư nghiƯm øng dơng 2.2 Gi¶i tht di trun khaI PHá Dữ LIệU 42 2.2.1 Cơ giải thuật di truyền .42 2.2.2 Mét sè cách biểu diễn lời giải giải thuật di truyền .45 2.2.3 C¸c to¸n tư di trun 46 2.2.4 Cơ sở toán học giải thuật di trun .52 2.2.5 Nh÷ng c¶i tiÕn cđa gi¶i tht di trun .54 KÕt luËn ch−¬ng 56 Chơng tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron truyền thẳng nhiều lớp 50 3.1 Đặt vÊn ®Ị 57 3.2 mạng nơron truyền thẳng nhiều lớp với giải thuật lan truyền ngợc sai số số cải tiến 57 3.2.1 KiÕn tróc mạng nơron truyền thẳng nhiều lớp 57 3.2.2 Cơ chế học mạng nơ ron trun th¼ng nhiỊu líp 59 3.2.3 Thuật toán lan truyền ngợc sai số .60 3.2.2 Mét sè c¶i tiÕn cđa gi¶i tht BP 71 3.3 Kết hợp giải thuật di truyền víi gi¶i tht BP 73 3.3.1 Giải thuật GA huấn luyện mạng nơron truyền thẳng nhiều lớp 73 3.3.2 Ghép nối với giải tht lan trun ng−ỵc sai sè 75 KÕt luËn ch−¬ng 76 Ch−¬ng ứng dụng toán dự báo liệu .71 4.1 giới thiệu toán 78 4.2 mô hình hoá toán, thiết kế liệu giải thuật 80 4.2.1 Mô hình hoá toán 80 4.2.2 ThiÕt kÕ d÷ liƯu 81 4.2.3 ThiÕt kÕ gi¶i thuËt .82 4.3 chơng trình dự báo liệu .93 KÕt luËn ch−¬ng 98 KÕt luËn 99 Tài liệu tham khảo 100 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục từ viết tắt STT Tõ viÕt t¾t NghÜa tiÕng viƯt tiÕng anh ANN Mạng nơron nhân tạo Artficial Neural Network BNN Mạng nơron sinh học Biological Neural Network BP Giải thuật lan trun Back-Propagation of error ng−ỵc cđa sai sè Csdl Cơ sở liệu Data Base dm Khai phá liệu Data Mining GA Giải thuật di trun Genetic Algorithm Kdd Ph¸t hiƯn tri thøc Knowledge CSDL Dơng Thị Hiền Thanh CNTT 2006 Database Discover in Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục bảng Bảng 1.1: Dữ liệu học ví dụ định chơi tennis 20 B¶ng 2.1: VÝ dơ dïng phÐp tái tạo 48 Bảng 2.2: Quá trình tái tạo 51 Bảng 2.3: Quá trình lai ghép 51 B¶ng 3.1: Các hàm kích hoạt 69 B¶ng 4.1: Sè liƯu thư nghiệm toán dự báo 79 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục hình vẽ đồ thị Hình 1.1: Quá trình phát tri thức CSDL 10 H×nh 1.2: KiÕn tróc cđa hệ thống khai phá liệu 14 Hình 1.3: Quá trình khai phá liÖu 15 Hình 1.4: Kết phân cụm 18 H×nh 1.5: Cây định chơi tennis 20 H×nh 2.1: CÊu tạo nơron 29 H×nh 2.2: Thu nhËn tÝn hiƯu n¬ron 30 Hình 2.3: Mô hình nơron nhân t¹o 31 Hình 2.4: Hàm Sigmoidal 33 Hình 2.5: Mạng nơron trun th¼ng nhiỊu líp 35 Hình 2.6: Mạng hồi quy 35 Hình 2.7: Sơ đồ học tham số có giám sát 37 Hình 2.8: Sơ đồ học tăng cờng 38 H×nh 2.9: Sơ đồ học không giám sát 38 Hình 3.1: Mạng nơron trun th¼ng líp 58 Hình 3.2: Sơ đồ hiệu chỉnh träng sè cđa gi¶i tht BP 59 Hình 3.3: Sơ đồ mà hoá trọng số mạng nơron 74 Hình 3.4: Sơ đồ giải thuật lai 76 Hình 4.1: Sơ đồ khối giải thuật Phân hệ 84 H×nh 4.2: Sơ đồ khối giải thuật Phân hệ 1.1 86 Hình 4.3: Sơ đồ khối giải thuật Phân hệ 1.2 89 Hình 4.4: Sơ đồ khối giải thuật Phân hệ 91 Hình 4.5: Màn hình chơng trình dự báo 93 Hình 4.6: Dữ liệu tệp huấn luyện 94 H×nh 4.7: Màn hình nhập tham số cho mạng nơron 94 Hình 4.8: Màn hình nhËp tham sè cho gi¶i thuËt GA 95 Hình 4.9: Tìm kiếm giải thuËt GA 95 Hình 4.10: Huấn luyện giải thuật BP 96 H×nh 4.11: Màn hình dự báo 98 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Lời nói đầu Trong năm gần đây, vai trò máy tính việc lu trữ xử lý thông tin ngày trở nên quan trọng Bên cạnh đó, thiết bị thu thập liệu tự động phát triển mạnh góp phần tạo kho liệu khổng lồ Dữ liệu đợc thu thập lu trữ ngày nhiều nhng ngời định lại cần có thông tin bổ Ých, nh÷ng “tri thøc” rót tõ nh÷ng ngn d÷ liệu liệu cho việc định Với yêu cầu đó, mô hình CSDL truyền thống ngôn ngữ thao tác liệu không thích hợp Để có đợc tri thức từ CSDL, ngời ta đà phát triển lĩnh vực nghiên cứu tổ chức kho liệu kho thông tin, hệ trợ giúp định, phơng pháp khai phá liệu phát tri thức CSDL Trong số đó, khai phá liệu phát tri thức đà trở thành lĩnh vực nghiên cứu sôi động Luận văn tập trung nghiên cứu kỹ thuật sử dụng mạng nơron giải thuật di truyền khai phá liệu, đặc biệt giải pháp tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron Trên sở đó, luận văn xây dựng chơng trình dự báo liệu sử dụng mạng nơron truyền thẳng huấn luyện giải thuật lai GABP Luận văn đợc trình bầy gồm chơng với nội dung nh sau : Chơng 1: Trình bầy cách tổng quan khai phá liệu phát tri thức CSDL Trong đề cập đến khái nệm, trình phát tri thức, nhiệm vụ phơng pháp khai phá liệu nh vấn đề thách thức nghiên cứu áp dụng kỹ thuật khai phá liệu vào thực tế Chơng 2: Nghiên cứu kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền, cụ thể vấn đề lựa chọn cấu trúc mạng tham số, xây dựng giải thuật học lan truyền mạng nơron, nh cách biểu diễn lời giải, toán tử di truyền cải tiến giải thuật di truyền Đồng thời, chơng đa đánh giá hiệu kỹ thuật sử dụng mạng nơron giải thuật di truyền khai phá liệu, qua định hớng cho việc lựa chọn phơng pháp khai phá thích hợp cho vấn đề thực tế Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chơng : Giới thiệu kiến trúc mạng nơron truyền thẳng nhiều lớp, giải thuật BP, vấn đề sử dụng giải thuật BP trình bầy giải pháp tích hợp giải thuật GA với giải thuật BP huấn luyện mạng nơron truyền thẳng nhiều lớp Chơng : Giới thiệu toán ứng dụng dự báo lũ sông, từ mô hình hoá toán, thiết kế thuật toán, liệu cài đặt chơng trình thử nghiệm với công cụ mạng nơron truyền thẳng huấn luyện giải thuật lai GA-BP Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chơng 1: khai phá liệu phát tri thức CSDL 1.1 tổng quan khai phá liệu phát tri thức Cơ Sở Dữ Liệu 1.1.1 Tại cần phát tri thức? Hơn hai thập niên trở lại đây, lợng thông tin đợc lu trữ thiết bị điện tử không ngừng tăng lên Việc tích luỹ liệu diễn với tốc độ bùng nổ Ngời ta ớc đoán lợng thông tin toàn cầu tăng gấp đôi sau khoảng hai năm theo kích thớc sở liệu (CSDL) tăng lên cách nhanh chóng, vỊ sè b¶n ghi cđa CSDL lÉn sè tr−êng, thc tính ghi Lợng liệu khổng lồ thực nguồn tài nguyên giá trị thông tin yếu tố then chốt hoạt động Tuy nhiên, liệu đầy đủ ý nghĩa không phát tri thức tiềm ẩn có giá trị Những tri thức thờng nhỏ so với lợng liệu, phát chúng vấn đề khó khăn Việc xây dựng hệ thống có khả phát đợc mẩu tri thức có giá trị khối liệu đồ sộ nh gọi phát tri thức sở liƯu (Knowledge Discover in Database_KDD) C¸c kü tht xư lý kỹ thuật khai phá liệu (Data Mining_DM) Việc phân tích liệu cách tự động mang tính dự báo KDD có u hẳn so với phơng pháp phân tích thông thờng, dựa kiện khứ hệ hỗ trợ định truyền thống trớc Với tất u đó, KDD đà chứng tỏ đợc tính hữu dụng môi trờng đầy tính cạnh tranh ngày KDD đà trở thành hớng nghiên cứu lĩnh vực khoa học máy tính công nghệ tri thức Phạm vi ứng dụng KDD ban đầu lĩnh vực thơng mại tài Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Cho đến nay, KDD đà đợc ứng dụng rộng rÃi lĩnh vực khác nh viễn thông, giáo dục, điều trị y học, Có thể nói, KDD cố gắng để giải vấn đề nan giải kỷ nguyên thông tin số: vấn đề tràn liệu 1.1.2 Khai phá liệu phát tri thức sở liệu Khái niệm phát tri thức sở liệu đợc đa lần vào năm 1989, nhấn mạnh tri thức sản phẩm cuối trình khai phá liệu Phát tri thức sở liệu đợc định nghĩa nh trình chắt lọc tri thức từ lợng lớn liệu Nói cách khác, quan niệm KDD ánh xạ liệu từ mức thấp thành dạng cô đọng hơn, tóm tắt hữu ích Một ví dụ trực quan thờng đợc dùng việc khai thác vàng từ đá cát, ngời khai thác muốn chắt lọc vàng từ đá cát điều kiện lợng đá cát lớn Thuật ngữ data mining ám việc tìm kiếm tập hợp nhỏ tri thức, thông tin có giá trị từ lợng lớn liệu thô [7] Nó bao hàm loạt kỹ thuật nhằm phát thông tin có giá trị tiềm ẩn CSDL lớn Nhiều thuật ngữ đợc dùng có nghĩa tơng tự với từ data mining nh− knowledge mining (khai ph¸ tri thøc), knowledge extraction (chắt lọc tri thức), data/patern analysis (Phân tích liệu/mẫu), data archaeology (khảo cổ liệu), data dredging (nạo vÐt d÷ liƯu) Nh− vËy, nÕu quan niƯm tri thøc mối quan hệ phần tử liệu phát tri thức trình chiết suất tri thức từ sở liệu, trải qua nhiều giai đoạn khác Khai phá liệu sử dụng giải thuật đặc biệt để chiết xuất mẫu, mô hình từ liệu giai đoạn trình phát tri thøc CSDL Ph¸t hiƯn tri thøc CSDL khai phá liệu kỹ thuật xuất có tốc độ phát triển nhanh Ngoài lĩnh vực đa ngành, liên quan đến nhiều lĩnh vực khác nh: lý thuyết thuËt to¸n, Data Warehouse, OLAP, tÝnh to¸n song song, … nhng chủ yếu dựa tảng xác suất thống kê, sở liệu học máy Dơng ThÞ HiỊn Thanh – CNTT 2006 87 - Kü tht mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Tính bảng sức khỏe Fitness( ) từ bảng giá trị hàm giá objective( ) (Thủ tục 1.1.3) Thủ tục 1.1.1 ã Chức năng: - Giải mà chuỗi nhị phân thành bảng tuyến tính trọng số W ã Vào: - Chuỗi nhị phân độ dài Lchrom - Tổng số trọng số M ã Ra: - Bảng W( ) trọng số (số thực) ã Giải thuật: - Lặp i =1 đến M + Cắt liên tiếp chuỗi độ dài 20 bít từ chuỗi cá thể + Tính giá trị x chuỗi nhị phân (x số nguyên dài) + Giá trị W(i) = (20.x / (220 - 1)) 10 Thủ tục 1.1.2 ã Chức năng: - Tính sai số cho cấu trúc mạng m, n, a bé träng sè W víi mét tËp lun cho tr−íc ã Vào: - Cấu trúc mạng m, n, a bé träng sè - TËp sè liÖu huÊn luyÖn gåm P mẫu (hai véc tơ vào X, y) • Ra: - Sai sè e sinh sau lan truyền toàn mẫu qua mạng ã Giải thuật - Gán e = - Lặp i = đến P + Gán tín hiệu c¸c bias = + G¸n tÝn hiƯu ë lớp vào out0 tín hiệu vào X Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 88 + Lặp nơ ron thứ j lớp ẩn lớp m Tính tổng tín hiệu vào theo công thức Net lj = ∑ w lji x il i =1 TÝnh tÝn hiÖu Out lj = 1 + exp − Net lj + TÝch luü sai sè vµo e: E = E + ( ( ) n i ∑ y j − Out last j j =1 ) Thủ tục 1.1.3 ã Chức năng: - Tính bảng giá trị sức khỏe Fitness( ) quần thể oldPop từ bảng giá trị hàm giá objective( ) ã Vào: - Bảng giá trị hàm giá objective( ) - Số cá thể quần thể PopSize ã Ra: - Bảng giá trị hàm sức khỏe Fitness( ) ã Giải thuật: - Tính giá trị Max bảng giá trị hàm giá objective( ) - Lặp j = ®Õn Popsize: Fitness[i] = Max – objective(i) - TÝnh gi¸ trị Max, giá trị trung bình ave bảng Fitness - NÕu Max > 2*ave th× a = ave / (Max - ave), b = (Max 2*ave)*a Không a = 1, b = - LỈp j = đến PopSize Fitness[j] = Fitness[j]*a + b Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 89 Phân hệ 1.2 ã Chức năng: - OldPop, Fitness( ) Sản sinh quần thể Chọn lọc (Thủ tục 1.2.1) NewPop tõ qn thĨ cị OldPop - ThÕ qn thĨ cị b»ng qn i=1 thĨ ã Vào: Tp lai (Th tc 1.2.2) - Quần thể cũ OldPop - Bảng giá trị sức khỏe t bin (Th tc 1.2.3) quần thể cũ ã Ra: - Quần thể OldPop đà đợc i=i+ i < Gen thế hệ OldPop:= NewPop ã Giải thuật: - To¸n tư chän läc Hình 4.3: Sơ dồ giải thuật Phân hệ 1.2 (Thđ tơc 1.2.1) - LỈp i = đến i lớn PopSize, bớc nhảy + Toán tử tạp lai (Thủ tục 1.2.2) + Toán tử đột biến (Thủ tục 1.2.3) - ThÕ qn thĨ cị OlpPop b»ng qn thĨ míi NewPop Thủ tục 1.2.1 ã Chức năng: - Chọn lọc quần thể bố mẹ từ quần thể con, cá thể đợc chọn với sác xuất tỷ lệ với sức khỏe cá thể ã Vào: - Quần thể cũ OldPop bảng giá trị sức khỏe cá thể quần thể Dơng Thị Hiền Thanh CNTT 2006 90 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng ã Ra: - Quần thể NewPop cá thể bố mẹ đợc chọn ã Giải thuật: - Tính tổng sức khỏe toàn quần thể Sumfitness - Lặp i = đến i lớn PopSize + Sinh số ngẫu nhiên p0 + Tính giá trị Su = p0*Sumfitness + Chỉ số j để tổng chạy sức khỏe cá thể lớn Su số cá thể đợc chọn + Đa cá thể đợc chọn vào quần thể NewPop Thủ tục 1.2.2 ã Chức năng: - Tạp lai hai chuỗi bố mẹ để tạo thành hai ã Vào: - Chỉ số hai chuỗi bố mẹ quần thể cũ - Xác suất tạp lai Pcross ã Ra: - Hai chuỗi ã Giải thuật - Sinh số ngẫu nhiên p0 - Nếu p0 < Pcross + Sinh mét sè ngÉu nhiªn míi p1 + TÝnh vị trí tạp lai l = p1*(Lchrom -1) Không Vị trí tạp lai Lchrom - Sao chép gen tõ ®Õn l cđa bè mĐ sang vµ bè mĐ sang - Sao chÐp gen tõ l+1 ®Õn Lchrom cđa bè mĐ sang vµ tõ bè mĐ sang Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 91 Thủ tục 1.2.3 ã Chức năng: - Làm đột biến gen hai chuỗi đợc sinh ã Vào: - Hai chuỗi sinh sau tạp lai - Xác suất đột biến Pmutation ã Ra: - Hai chuỗi sau đột biến ã Giải thuật: - Duyệt từ gen hai chuỗi đợc sinh sau tạp lai - Sinh sè ngÉu nhiªn p0 - NÕu p0 < Pmutation Gen đợc biến đổi từ sang ngợc lại Không Gen đợc giữ nguyên Phân hệ ã Chức năng: - Luyện tham sè b»ng gi¶i - Cấu trúc mạng m,n,A - M = 0.05*PopSize trọng số tht BP víi hƯ sè häc i=1 biÕn ®ỉi ®èi víi bé träng sè chun tõ kÕt qu¶ lun cđa gi¶i tht GA Học tham số giải thuật BP chuyÓn sang - với hệ số học biến đổi L−u tr÷ bé träng sè tốt (Th tc 2.1) ã Vào: 0.05*PopSize trọng số cấu trúc mạng m, n, a ã Ra: Một trọng số W ã Giải thuật: i=i+1 i= th× = * (1 - a) gán k = 4.3 chơng trình dự báo liệu Màn hình chơng trình nh sau : Hình 4.5 Màn hình chơng trình dự báo Chơng trình xây dựng gồm mục thực đơn : Khởi tạo tham số, Luyện mạng nơ ron, Dự báo liệu Sau mô tả chi tiết chức chơng trình: ã Mở tệp huấn luyện Tệp liệu huấn luyện tệp có cấu trúc đợc lu tr÷ mét tƯp TXT, chøa 43 mÉu sè liƯu từ năm 2001 đến năm 2005 mực nớc đỉnh lũ, mực nớc chân lũ lợng ma trung bình đo đợc trạm Sơn Giang Số liệu đa vào mạng đợc mà hóa đoạn [0.1,0.9] theo nguyên tắc nêu phần 4.2.1 - Các trờng liệu đợc phân cách dấu ; - Trờng liệu dự báo trờng cuối cùng, đầu mạng Ví dụ : tệp liệu sau đợc mà hóa nh sau : Dơng Thị Hiền Thanh CNTT 2006 94 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Hình 4.6: Dữ liệu tệp huấnluyện ã Màn hình nhập tham số cấu trúc mạng Cho phép ngời sử dụng nhập tham số đầu vào cho mạng nơron Số lớp mạng ngầm định 2, số đầu vào số đầu lấy theo tệp huấn luyện Hình 4.7: Màn hình nhập tham số cho mạng nơron Với toán này, số nơ ron lớp ẩn chọn 4, giá trị tham số khác ngầm định hình nhập đợc coi giá trị khởi đầu tốt Sau nhập xong, nhấn OK để gán giá trị tham số cho mạng nơ ron ã Màn hình nhập tham số giải thuật di truyền Cho phép ngời sử dụng nhập tham số giải thuật di truyền nh kích thớc quần thể, xác suất tạp lai, xác suất đột biến, số hệ tiến hóa Các giá trị ngầm định hình dới đợc xem giá trị xuất phát tốt tìm đợc theo phơng pháp thử sai, kích thớc quần thĨ chän lµ 100, sè thÕ hƯ tiÕn hãa lµ 100 Tû lƯ chun giao sè c¸ thĨ sang lun tiếp giải thuật BP ngầm định 0.05 Số trọng số mạng tơng ứng với toán thử nghiệm chọn nơ ron Dơng Thị Hiền Thanh CNTT 2006 95 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiƯm øng dơng líp Èn lµ 4*2 + + 4*1 + = 17 träng sè, vËy độ dài chuỗi cá thể 17*20 = 340 Hình 4.8:Màn hình nhập tham số cho giải thuật GA Bớc thực thi giải thuật lai GA - BP ã Tìm kiếm giải thuật di truyền Màn hình tìm kiếm cá thể tốt giải thuật di truyền có dạng sau Hình 4.9: Tìm kiếm giải thuậ GA Tại hệ tiến hóa, hình thông báo số cá thể tốt có sức khỏe lớn sức khỏe trung bình toàn quần thể số cá thể trung bình có sức khỏe nhỏ sức khỏe trung bình Nhận thấy gai đoạn cuối số hệ tiến hóa, số cá thể tốt chiếm đại đa số, giá trị sức khỏe chúng gần với giá trị sức khoẻ trung bình Sau 100 thÕ hƯ tiÕn hãa, c¸ thĨ cã søc kháe tèt nhÊt sè 100 c¸ thĨ ë quần thể cuối đợc lu trữ lại làm đầu vào cho giải thuật BP Dơng Thị Hiền Thanh CNTT 2006 96 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng ã Huấn luyện giải thuật BP cá thể lần lợt đợc giải thuật BP sử dụng số học biến đổi luyện đến bÃo hòa với tham số ban đầu đà đợc khởi tạo Các đồ thị dới mô tả chu kỳ luyện cá thể Trên đồ thị, đờng màu xanh nhạt đầu mong muốn tập liệu, đờng màu xanh đậm trả lời mạng liệu đầu vào Đối với cá thể, điểm xuất phát luyện giải thuật BP, hai đờng đà gần nhau, giải thuật di truyền tìm kiếm cá thể đà gần lời giải Hình 4.10.a:Huấn luyện giải thuậi BP Tập liệu huấn luyện đồng thời dùng làm tập kiểm tra để kiểm tra khả tổng quát hóa mạng Việc kiểm tra đợc thực với việc cập nhật đồ thị đặn sau 50 chu kú hn lun Sau mét sè lín chu kỳ huấn luyện, khả tổng quát hóa mạng đà tốt so với ban đầu Trên hình vẽ, hai đờng gần nh trùng Đồng thời, lỗi MSE tiếp tục giảm nhỏ hệ số xác, tập trọng số đợc ghi lại thuật toán lại tiếp tục với cá thể Dơng Thị Hiền Thanh CNTT 2006 97 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Hình 4.10.b:Huấn luyện b»ng gi¶i tht BP KÕt thóc chu kú hn lun c¸ thĨ, c¸ thĨ cã tËp träng sè tèt (có sai số MSe nhỏ nhất) đợc chọn làm kết giải thuật Tập trọng số đợc ghi lại dới dạng tệp TXT ã Dự báo liệu Mạng sau đợc huấn luyện sử dụng để dự báo liệu Tệp liệu dự báo lµ tƯp TXT chøa sè liƯu vỊ mèi quan hƯ mực nớc đỉnh lũ với mực nớc chân lũ lợng ma đo đợc trạm Sơn Giang Tệp có cấu trúc đợc tỷ lệ hóa giống nh tệp huấn luyện Màn hình dự báo nh sau: Dơng Thị Hiền Thanh CNTT 2006 98 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Hình 4.11:Màn hình dự báo Trên hình, đờng biểu diễn đầu mong muốn trả lời mạng sát nhau, chứng tỏ khả tổng quát hóa mạng sau đợc học tốt Kết luận chơng Chơng giới thiệu tóan dự báo lũ sông Trà Khúc thực bớc xây dựng chơng trình dự báo dựa sở giải thuật lai GA-BP đà trình bầy chơng Kết chơng trình đà cho thấy, sau đợc huấn luyện giải thuật lai GA-BP, mạng cho kết dự báo tốt Dơng Thị Hiền Thanh CNTT 2006 99 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Kết luận Luận văn tập trung nghiên cứu kỹ thuật sử dụng mạng nơron giải thuật di truyền khai phá liệu Kết hợp tính chất tìm kiếm toàn cục giải thuật GA với tính hội tụ giải thuật BP, luận văn nghiên cứu giải pháp xây dựng giải thuật lai GA-BP huấn luyện mạng nơron truyền thẳng nhiều lớp áp dụng thử nghiệm mô hình cho toán dự báo lĩnh vực khí tợng thuỷ văn Một số kết đạt đợc luận văn: - Tổng kết vấn đề nghiên cứu khai phá liệu phát tri thøc CSDL - T×m hiĨu vỊ kü tht sử dụng mạng nơron, giải thuật di truyền khai phá liệu vấn đề liên quan Nghiên cứu giải pháp tích hợp giải thuật GA giải thuật BP thành giải thuật lai dùng để huấn luyện mạng nơron truyền thẳng nhiều lớp - áp dụng vấn đề đà nghiên cứu vào xây dựng mô hình cài đặt mạng nơron dự báo cho toán dự báo lũ sông Một số hớng phát triển: - Tích hợp giải thuật GA PB việc học cấu trúc mạng nơron nhằm tìm số nơron lớp ẩn tốt cho toán - Cải tiến toán tử giải thuật GA để nâng cao hiệu tìm kiếm cá thể tốt Dơng Thị Hiền Thanh CNTT 2006 100 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Tài liệu tham khảo Tài liệu tiếng Việt [1] Nguyễn Đình Thúc (2001), Lập trình tiến hóa, Nhà xuất giáo dục Tài liệu tiếng Anh [2] Back T and Schwefel H.-P (1993), “An overview of evolutionary algorithms for parameter optimization”, evolutionary Computation, vol 1, no 1, pp 123 [3] Bose N and Liang P (1996), Neural Network Foundamentals with Graphs, algorithms, and applications, McGraw-Hill [4] Fayyad, Gregory Piatetsky, Shapiro, Padhraic Smith, (1996), From Data mining to Knowledge Discovery: An overview [5] Gero J S., Kazakov V a., and Schinier T., (1997), “Genetic engineering and design problems”, In Evolutionary Algorithms in Engineering Applications, pages 47-68 Springer-Verlag [6] Goldberg D E., (1989), Genetic algorithm in search, optimization and machine learning, Addison-Wesley, Reading, Massachusets [7] Ho Tu Bao, Introduction to Knowledge Discovery and Data Mining, Institute of Information Technology, http://www.ebook.edu.vn/?page=1.39&view=1694 [8] Lawrence S., C L Giles, a C Tsoj, “What size Neural Network Gives optimal Generalization? Convergence Properties of Backpropagation”, Techni cal Report, Institute for Advanced Computer Studies - University of Maryland College Park, June 1996 [9] Oh S H., Lee yj., a modified error function to improve the error BackPropagation algorithm for Multi-layer perceptrons, eTRi Journal Vol 17, No 1, april 1995 [10] Patterson D (1996), Artifical Neural Networks, Theory and Application, Prentice Hall Dơng Thị Hiền Thanh CNTT 2006 101 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng [11] Randall S Sexton and Naheel A Sikander, “Data Mining using a Genetic algorithm trained Neural network”, Computer introduction system, Southwest Missouri State University, USA [12] Schalkoff R (1997), Artifical neural networks, McGraw-Hill [13] Udoseiffert, Michaelis B., On the gradient desert in back-propagation and its substitution by a genetic algorithm, Proceedings of the IASTED international Conference Applied Informatics 14-17/02/2000, InnsBruck, Austria Dơng Thị Hiền Thanh CNTT 2006 ... nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chơng 2: Kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền 2.1 Mạng nơron khai phá liệu Khi đề cập đến khai thác liệu, ... cho mạng nơron kết cực trị toàn cục Dơng Thị Hiền Thanh CNTT 2006 42 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU Giải thuật. .. mạng nơron .40 D−¬ng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU 42 2.2.1 Cơ giải
