1 Mở đầu Dự báo liệu toán quan trọng mang lại nhiều lợi ích thiết thực phục vụ ngời, giúp ngời nắm bắt đợc quy luật vận động tự nhiên đời sống kinh tế xà hội Trong năm gần đây, mạng nơ ron truyền thẳng nhiều lớp đợc thực tiễn chứng minh mạnh hiệu toán dự báo phân tích số liệu, đặc biệt toán dự báo sử dụng lợng, dự báo kinh tế, dự báo tự nhiên Các mạng nơ ron truyền thằng phải đợc hn lun tríc sư dơng ®Ĩ thùc thi mét toán dự báo thực tế Với cấu trúc mạng đợc chọn, trình huấn luyện mạng trình hiệu chỉnh trọng số mạng thờng đợc phát biểu dới dạng toán tối thiểu hoá hàm sai số huấn luyện Thủ tục huấn luyện cần giải thuật tìm kiếm có khả tìm lời giải toàn cục, không phụ thuộc vào trình khởi động số ban đầu Ngoài ra, giải thuật phải có khả tìm kiếm hiệu không gian nhiều chiều số lợng trọng số mạng nơ ron lớn Giải thuật GA giải thuật tìm kiếm dựa trình chọn lọc tự nhiên, di truyền tiến hóa Các nguyên lý giải thuật đợc tác giả J.H.Holland đề xuất lần đầu vào năm 1962, tảng toán học giải thuật GA đợc tác giả công bố sách Sự thích nghi hệ thống tự nhiên nhân tạo xuất năm 1975 Giải thuật GA đợc xem nh phơng pháp tìm kiếm có bớc chuyển ngẫu nhiên mang tính tổng quát để giải toán tối u hoá Với đặc thù riêng mình, giải thuật GA đợc sử dụng hiệu thủ tục huấn luyện mạng nơ ron Tuy nhiên, giải thuật GA gặp khó khăn hội tụ Giải thuật GA đơn giản Holland đề xuất đà đợc chứng minh không bảo đảm hội tụ không hội tụ tới lời giải toàn cục Ngoài ra, giải pháp cải tiến chiến lợc thay toán tử đột biÕn gióp cho gi¶i tht GA héi tơ, nhng hội tụ dễ dẫn đến tợng hội tụ sớm, nghĩa giải thuật kết thúc cực trị địa phơng mà khả tìm thấy cực trị toàn cục Giải thuật huấn luyện kinh điển lan truyền ngợc sai số (giải thuật BP) đợc sử dụng rộng rÃi việc huấn luyện mạng nơ ron truyền thẳng Giải thuật đảm bảo hội tụ nhng dễ hội tụ cực trị địa phơng mà khả tìm kiếm cực trị toàn cục Mặt khác, kết huấn luyện giải thuật phụ thuộc vào nhiều yếu tố, đặc biệt trình khởi động trọng số ban đầu Do nhu cầu cấp thiết phải xây dựng giải thuật vừa có khả tìm kiếm lời giải toàn cục, vừa phải đảm bảo hội tụ để huấn luyện cho mạng nơ ron truyền thẳng thực thi toán dự báo thực tế, luận văn tập trung nghiên cứu giải pháp tích hợp giải thuật GA với giải thuật BP việc huấn luyện mạng nơ ron truyền thẳng Trên sở đó, luận văn trình bày bớc để xây dựng mô hình mạng nơ ron dự báo liệu ứng dụng mô hình toán dự báo đỉnh lũ sông Trà Khúc trạm khí tợng Sơn Giang Những đóng góp luận văn ã Luận văn trình bày vấn đề lý thuyết mạng nơ ron, mạng nơ ron truyền thẳng nhiểu lớp thuật toán BP dạng tổng quát để huấn luyện mạng, số vấn đề sử dụng giải thuật BP để huấn luyện mạng thực thi toán thực tế ã Luận văn trình bày vấn đề lý thuyết giải thuật SGA cải tiến giải thuật SGA ã Luận văn xây dựng giải pháp tích hợp giải thuật GA với giải thuật BP thành giải thuật lai GA - BP dể huấn luyện mạng nơ ron truyền thẳng nhiểu lớp ã Luận văn trình bày ứng dụng giải thuật lai GA - BP mô hình mạng nơ ron dự báo Giải thuật lai GA - BP đà đợc cài đặt thử nghiệm để huấn luyện mạng nơ ron truyền thẳng toán dự báo khí tợng thuỷ văn Cấu trúc luận văn Phần mở đầu luận văn giới thiệu nội dung nghiên cứu, tính cấp thiết đề tài đóng góp luận văn Chơng giới thiệu khái niệm phạm vi ứng dụng mạng nơ ron Chơng giới thiệu giải thuật SGA cải tiến giải thuật SGA Chơng giới thiệu mạng nơ ron truyền thẳng nhiều lớp, giải thuật BP, vấn đề sử dụng giải thuật BP xây dựng giải pháp tích hợp giải thuật GA với giải thuật BP việc huấn luyện mạng nơ ron truyền thẳng nhiều lớp Chơng trình bày mô hình thuật toán cài đặt giải thuật lai GA BP Chơng trình bày bớc xây dựng mô hình mạng nơ ron dự báo thử nghiệm giải thuật GA - BP việc huấn luyện mạng nơ ron để thực thi toán dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang Phần kết luận nêu kết luận từ luận văn hớng nghiên cứu Phần phụ lục đa số chức chơng trình đợc viết Visual Basic Chơng Các khái niệm mạng nơ ron Chơng đề cập đến vấn đề sau: 1.1 Nơ ron sinh học mạng nơ ron sinh học 1.2 Nơ ron nhân tạo 1.3 Mạng nơ ron nhân tạo 1.4 Thủ tục học mạng nơ ron 1.5 Phạm vi ứng dụng mạng nơ ron 1.1 Nơ ron sinh học mạng nơ ron sinh học Hệ thần kinh ngời có khoảng 1010 tế bào thần kinh đợc gọi nơ ron [24] Mỗi nơ ron gồm có ba phần: thân nơ ron với nhân bên trong, đầu thần kinh hệ thống hình đầu thần kinh vào Độ lớn tín hiệu vào bị thay đổi đợc truyền qua khớp thần kinh có nhánh thần kinh vào Tỷ lệ biến đổi tín hiệu khớp thần kinh đợc gọi độ khuyếch đại khớp đợc gọi trọng số nơ ron nhân tạo Theo nghiên cứu sinh học, chức hệ thần kinh không phụ thuộc nhiều vào vai trò nơ ron đơn lẻ mà phụ thuộc vào cách mà toàn nơ ron đợc nối với nhau, gọi mạng nơ ron sinh học [24] 1.2 Nơ ron nhân tạo Nơ ron nhân tạo mô hình toán học mô nơ ron sinh học Mỗi nơ ron nhân tạo đợc gọi đơn vị xử lý với chức năng: nhận tín hiệu vào từ đơn vị phía trớc (hay nguồn bên ngoài), tính tín hiệu từ tín hiệu vào lan truyền tín hiệu sang đơn vị kh¸c x0 x1 xn θj wj0 wj1 j aj Σ wjn n aj = ∑wjixi +θj g(aj) zj zj = g ( a j ) i =1 Hình 1.1 : Đơn vị xử lý thứ j Mỗi tín hiệu đầu vào nơ ron thứ j đợc ký hiệu xi với trọng số tơng ứng wji Đại lợng đo tín hiệu tổng cộng vào nơ ron thứ j, ký hiệu aj, đợc xác định cách đơn giản nh sau : ã aj hàm tín hiệu xi trọng số wji, gọi Hàm kết hợp ã Hàm kết hợp tổng tích tín hiệu xi trọng sè t¬ng øng wj : n aj = ∑ wjixi + j i =1 Trong tham số đợc gọi ngỡng nơ ron Nếu wji>0, nơ ron đợc coi trạng thái kích thích Nếu wji < 0, nơ ron trạng thái kiềm chế Quá trình biến đổi giá trị aj thành tín hiệu đầu zj đợc thực hàm kích hoạt (hàm chuyển) phi tuyến zj= g(aj) Hàm kích hoạt phải thoả mÃn điều kiện sau: ã Tín hiệu đầu zj không âm với giá trị aj ã g hàm liên tục bị chặn khoảng [0,1] Những hàm thỏa mÃn điều kiện đợc gọi hàm nén theo nghĩa chúng nén tín hiệu đầu vào khoảng nhỏ Có nhiều hàm thoả mÃn ®iỊu kiƯn trªn, song thùc tÕ chØ cã mét số hàm thờng đợc sử dụng mạng nơ ron nh sau 1) Hµm tuyÕn tÝnh (Linear) : g ( x) = x 2) Hµm ranh giíi cøng (Hard-Limiter) : Hàm có hai giá trị 1, hàm có giá trị ngỡng Tín hiệu đầu phụ thuộc tổng tín hiệu đầu vào giá trị ngỡng g ( x) =  0 if( x ≥ θ ) if( x < ) Vì hàm thuận tiện đa câu trả lời có hay không nên thờng xuyên đợc sử dụng cho tín hiệu cuối mạng 3) Hàm ngỡng logic: if( x ≥ θ ) if( x < θ ) 1 g ( x) =  0 4) Hµm sigmoid (Sigmoid function (logsig)) g ( x) = 1 + e−x Hàm đặc biệt thuận lợi sử dụng cho mạng đợc huấn luyện giải thuật BP, dễ lấy đạo hàm, giảm đáng kể tính toán trình huấn luyện Mặt khác, hàm đợc ứng dụng cho toán mà đầu mong muốn rơi vào khoảng [0,1] 1.3 Mạng nơ ron nhân tạo Khái niệm Mạng nơ ron nhân tạo hệ thống bao gồm nhiều nơ ron nhân tạo kết hợp với Hệ thống có khả học số liệu tổng quát hóa từ số liệu đợc học Cấu trúc Mạng nơ ron nhân tạo đợc biểu diễn đồ thị gồm tập nút cung có hớng, nút tơng ứng với nơ ron, cung biểu diễn liên kết nơ ron Cấu trúc mạng nơ ron gồm cấu tổ chức sơ đồ kết nối Cơ cấu tổ chức thờng đợc xác định số lớp mạng số nơ ron lớp: ã Lớp vào : Các nơ ron lớp vào gọi nơ ron vào, chúng không xử lý thông tin mà mà hóa mẫu đa vào mạng để xử lý Thông thờng, số thuộc tính mẫu đa vào mạng số nơ ron vào, số đầu vào mạng ã Lớp ẩn : Các nơ ron lớp gọi nơ ron ẩn chúng quan sát trực tiếp đợc Mạng có hay nhiều lớp ẩn Chúng cung cấp mô hình toán học phi tuyến cho mạng ã Lớp : Các nơ ron lớp gọi nơ ron ra, nơ ron mà hoá giá trị hay khái niệm mẫu đa vào mạng Ví dụ, toán phân lớp, đầu đại diện cho lớp đối tợng Sơ đồ kết nối xác định phơng thức kết nối nơ ron mạng [21]: ã Mạng truyền thẳng : Luồng liệu từ nơ ron vào đến nơ ron đợc truyền thẳng Không có liên kết từ nơ ron tới nơ ron vào lớp hay líp tríc ®ã x0 bias h0 x1 bias y1 h1 x2 y2 h2 … … xl w Líp vµo (1 ) ji hm Líp Èn … yn w (2) kj Lớp Hình 1.2: Mạng nơron truyền thẳng nhiều lớp (Feed-Forward Neural Network) ã Mạng hồi quy: Có chứa liên kết ngợc, nghĩa liên kết từ nơ ron lớp tới nơ ron lớp vào lớp lớp trớc h0 x0 h1 x1 … xl Líp vµo y0 … y1 … yn hm Lớp ẩn Lớp Hình 1.3: Mạng hồi quy (Recurrent Neural Network) Các thông số cấu trúc mạng Dới thông số cấu trúc mạng nơ ron nhân tạo: ã Sơ đồ kết nối (mạng truyền thẳng hay hồi quy) ã Số tìn hiệu vào số tín hiệu ã Số lớp mạng ã Số nơ ron lớp ã Số lợng trọng số lớp 1.4 Thủ tục học mạng nơ ron Thành phần quan trọng thiếu mạng nơ ron thủ tục học (giải thuật huấn luyện mạng) Có thể chia thủ tục thành hai nhóm học tham số học cấu trúc Cả hai thủ tục học đợc thực đồng thời tách biệt Các thủ tục học tham số lại đợc chia thành ba lớp nhỏ học có thầy [24], học tăng cờng [6] học thầy [16] Học tham số Với cấu trúc mạng cho trớc, trọng số mạng (gọi tham số mạng) phải đợc xác định trớc sử dụng mạng để thực thi nhiệm vụ cụ thể Ngoại trừ trờng hợp mạng nơ ron lớp Hopfield (các trọng số đợc tính toán cách giải tích), thông thờng, trọng số mạng đợc khởi tạo ngẫu nhiên khoảng định Học tham số trình điều chỉnh trọng số để mạng nhận biết đợc mối quan hệ đầu vào đầu mong muốn Rất nhiều thuật toán học đợc đề xuất để tìm tập trọng số tối u toán, thuật toán chia thành hai nhóm : Học có thầy (Supervised learning) Học thầy (Unsupervised Learning) ã Học có thầy Mạng đợc học cách cung cấp cho cặp mẫu đầu vào đầu mong muốn Sai số đầu thực tế so với đầu mong muốn đợc thuật toán sử dụng để hiệu chỉnh trọng số mạng Tập mẫu tập cặp véc tơ vào - mong muốn M = {x i,yi)} đợc sử dụng để luyện mạng nơ ron Đối với véc tơ tín hiệu vào xi, mạng nơ ron tính toán tín hiệu out so sánh tín hiệu với tín hiệu mong muốn yi để tạo tín hiệu sai số Tín hiệu sai số xác định bề mặt sai số hàm trọng số, dùng nh hàm mục tiêu để hiệu chỉnh trọng số Các giải thuật tìm kiếm đợc áp dụng thủ tục học để hiệu chỉnh trọng số cho mạng nơ ron sản sinh tín hiệu out với sai số chấp nhận đợc so víi tÝn hiƯu mong mn [13] D÷ liƯu hn luyện Đầu vào Đầu mong muốn Đích Mạng Vào Sai sè + Ra Thay ®ỉi Träng sè - Hàm Mục tiêu Giải thuật luyện (Phương pháp tối ưu) Hình 1.4 Sơ đồ học có thầy ã Học thầy Với phơng pháp học thầy, thông tin phản hồi từ môi trờng bên để đầu out mạng hay sai Mạng nơ ron phải tự khám phá đặc trng, mối tơng quan, tính cân xứng mẫu học cách tự động Đối với phần lớn biến thể học thầy, đích trùng với đầu vào Nói cách khác, học thầy thực công việc tơng tự nh mạng tự liên hợp, cô đọng thông tin từ liệu vào Học cấu trúc Trong phần học tham số, giả định đà có cấu trúc mạng Thủ tục học tham số tinh chỉnh giá trị trọng số cho mạng hoạt động nh mong muốn Thủ tục học cấu trúc tìm kiếm tham số cấu trúc mạng để tạo mạng hoạt 10 động tốt Thực chất, học cấu trúc việc tìm số lớp ẩn số nơ ron lớp ẩn số đầu vào số đầu mạng xác định toán cụ thể Kết học cấu trúc phụ thuộc nhiều vào kết học tham số Do đó, việc xây dựng giải thuật tìm kiếm cho thủ tục học tham số cần thiết Giải thuật tìm kiếm phải có khả tìm kiếm lời giải toàn cục, tìm kiếm hiệu không gian nhiỊu chiỊu vµ cã thĨ sư dơng cho nhiỊu cấu trúc mạng khác Trong năm gần đây, số giải thuật tối u toàn cục mang tính tất định số giải thuật mang tính xác suất đà đợc đề xuất Các giải thuật mang tính xác suất bao gồm giải thuật tiến hóa{3] mà giải thuật GA ví dụ điển hình Giải thuật GA đợc trình bày chơng luận văn 1.5 Phạm vi ứng dụng mạng nơ ron Mạng nơ ron thờng đợc ứng dụng lĩnh vực nh phân loại (classification), mô hình hóa (modeling), biến đổi (transformation and mapping) dự báo kiện phụ thuộc thời gian Phân loại Phân loại cách xếp đối tợng vào tập vào lớp lớp lớn Việc phân loại thờng đợc tiến hành nhiều mức giống nh phép toán định, phân lớp đối tợng vào nhóm, nhóm con; vào chủng loại, chủng loại vào lớp, lớp Một đối tợng đồng thời thuộc vào nhiều lớp khác nhau, kết việc phân loại tích hai hay nhiều định Mô hình hóa Hệ thống phân loại thờng đa câu trả lời rời rạc nh có, không số nguyên định danh đối tợng đầu vào thuộc lớp Tuy nhiên, việc mô hình hóa yêu cầu hệ thống phải sản sinh câu trả lời mang tính liên tục Một số lợng nhỏ số liệu thực nghiệm đợc sử dụng để xây dựng mô hình, mô hình đa dự báo cho tất đối tợng đầu vào Việc tìm đờng cong phù hợp với số liệu thực nghiệm ví dụ ứng dụng thuộc dạng Các ứng dụng thuộc dạng phần lớn thủ tục biến vào vµ mét biÕn nh sau: y = f (x, a, b,, p) 52 Phân hệ 1.1 ã Chức : - Đối với chuỗi cá i=1 thể quần thể i=i+1 Tp luyn OldPop giải mà thành tập träng Giải mã chuỗi thứ i sè, sau ®ã lan thành tập trọng số W trun toµn bé (Thủ tục 1.1.1) tËp lun qua m¹ng, tÝch l sai sè theo hàm giá 3.3 chơng - Chuyển đổi giá trị hàm thành giá giá trị sức khỏe Quần thể OldPop - TËp lun • Ra : - lưu vào bảng Objective (Thủ tục 1.1.2) i< Gen Tính bảng Fitness t bng Objective (Th tc 1.1.3) ã Vào : - Tính giá trị hàm giá Ra Hình 4.2 Sơ d gii thut Phõn h 1.1 Giá trị sức khoẻ toàn quần thể đợc chứa bảng Fitness( ) ã Giải thuật - Lặp i = đến PopSize + Giải mà chuỗi thứ i quần thể oldPop thµnh tËp träng sè W (Thđ tơc 1.1.1) + TÝnh giá trị hàm giá cho mạng nơ ron có tập trọng số vừa đợc giải mà lu giá trị vào bảng obiective( ) (Thủ tục 1.1.2) 53 - Tính bảng sức khỏe Fitness( ) từ bảng giá trị hàm giá objective( ) (Thủ tục 1.1.3) Thủ tục 1.1.1 ã Chức : - Giải mà chuỗi nhị phân thành bảng tuyến tính trọng số W ã Vào : - Chuỗi nhị phân độ dài Lchrom - Tổng số trọng số M ã Ra : - Bảng W( ) trọng số (số thực) ã Giải thuật : - Lặp i =1 đến M + Cắt liên tiếp chuỗi độ dài 20 bít từ chuỗi cá thể + Tính giá trị x chuỗi nhị phân (x số nguyên dài) + Giá trị W(i) = (20.x / (220 - 1)) – 10 Thñ tục 1.1.2 ã Chức : - Tính sai số cho cấu trúc mạng m, n, a träng sè W víi mét tËp lun cho tríc • Vào : - Cấu trúc mạng m, n, a bé träng sè - TËp sè liÖu huÊn luyÖn gåm P mẫu (hai véc tơ vào X, y) • Ra : - Sai sè e sinh sau lan truyền toàn mẫu qua mạng ã Giải thuật - Gán e = - Lặp i = đến P + Gán tín hiệu cđa c¸c bias = + G¸n tÝn hiƯu ë líp vµo out0 b»ng tÝn hiƯu vµo X 54 + Lặp nơ ron thứ j lớp ẩn lớp m l l l Tính tổng tín hiệu vào theo công thức Net j = ∑ w ji xi i =1 l TÝnh tÝn hiÖu Out j = + exp( − Net l ) j + TÝch luü sai sè vµo e: E = E + ( n i y j − Out last ∑ j j =1 ) Thủ tục 1.1.3 ã Chức : - Tính bảng giá trị sức khỏe Fitness( ) quần thể oldPop từ bảng giá trị hàm giá objective( ) ã Vào : - Bảng giá trị hàm giá objective( ) - Số cá thể quần thể PopSize ã Ra : - Bảng giá trị hàm sức khỏe Fitness( ) ã Giải thuật : - Tính giá trị Max bảng giá trị hàm giá objective( ) - Lặp j = ®Õn Popsize : Fitness[i] = Max – objective(i) - Tính giá trị Max, giá trị trung bình ave bảng Fitness - Nếu Max > 2*ave a = ave / (Max - ave), b = (Max 2*ave)*a Không a = 1, b = - Lặp j = đến PopSize Fitness[j] = Fitness[j]*a + b 55 Ph©n hƯ 1.2 OldPop, Fitness( ) ã Chức : - Sản sinh quần thể Chọn lọc (Thủ tục 1.2.1) NewPop tõ qn thĨ cị OldPop - ThÕ qn thĨ cị b»ng i=1 qn thĨ ã Vào : Tp lai (Th tc 1.2.2) - Quần thể cũ OldPop - Bảng giá trị sức khỏe t bin (Th tc 1.2.3) quần thể cũ ã Ra : - i=i+2 Quần thể OldPop đà đợc bëi thÕ hƯ i< Gen OldPop := NewPop míi • Giải thuật : - Toán tử chọn lọc (Thủ tục 1.2.1) - Hình 4.3 Sơ dồ khối giải thuật Phân h 1.2 Lặp i = đến i lớn PopSize, bớc nhảy + Toán tử tạp lai (Thủ tục 1.2.2) + Toán tử đột biến (Thđ tơc 1.2.3) - ThÕ qn thĨ cị OlpPop b»ng quần thể NewPop Thủ tục 1.2.1 ã Chức : - Chän läc qn thĨ bè mĐ tõ qn thể con, cá thể đợc chọn với sác xuất tỷ lệ với sức khỏe cá thể ã Vào : 56 - Quần thể cũ OldPop bảng giá trị sức khỏe cá thể quần thể ã Ra : - Quần thể NewPop cá thể bố mẹ đợc chọn ã Giải thuật : - Tính tổng sức khỏe toàn quần thể Sumfitness - Lặp i = đến i lớn b»ng PopSize + Sinh mét sè ngÉu nhiªn p0 + Tính giá trị Su = p0*Sumfitness + Chỉ số j để tổng chạy sức khỏe cá thể lớn S u số cá thể đợc chọn + Đa cá thể đợc chọn vào quần thể NewPop Thủ tục 1.2.2 ã Chức : - Tạp lai hai chuỗi bố mẹ để tạo thành hai ã Vào : - Chỉ số hai chuỗi bố mẹ quần thể cũ - Xác xuất tạp lai Pcross ã Ra : - Hai chuỗi ã Giải thuật - Sinh số ngẫu nhiên p0 - NÕu p0 < Pcross th× + Sinh mét sè ngẫu nhiên p1 + Tính vị trí tạp lai l = p1*(Lchrom -1) Không Vị trí tạp lai Lchrom - Sao chép gen từ đến l cđa bè mĐ sang vµ bè mĐ sang - Sao chÐp gen tõ l+1 ®Õn Lchrom cđa bè mĐ sang vµ tõ bè mĐ sang 57 Thđ tục 1.2.3 ã Chức : - Làm đột biến gen hai chuỗi đợc sinh ã Vào : - Hai chuỗi sinh sau tạp lai - Xác suất đột biến Pmutation ã Ra : - Hai chuỗi sau đột biến ã Giải thuật : - Duyệt từ gen hai chuỗi đợc sinh sau tạp lai - Sinh số ngẫu nhiên p0 - Nếu p0 < Pmutation Gen đợc biến đổi từ sang ngợc lại Không Gen đợc giữ nguyên Phân hệ ã Chức : - - Cu trỳc mng m,n,A - M = 0.05*PopSize trọng số LuyÖn tham sè b»ng gi¶i tht BP víi hƯ sè häc i=1 biÕn ®ỉi ®èi víi bé träng sè chun tõ kÕt qu¶ lun cđa gi¶i tht GA Học tham số giải thuật BP với hệ số học biến đổi chuyÓn sang - (Thủ tục 2.1) Lu tr÷ bé träng sè tèt ã Vào : i=i+1 i< M Lu tr b trọng số tốt 58 - 0.05*PopSize bé träng sè cấu trúc mạng m, n, a ã Ra : - Mét bé träng sè W Hình 4.4 Sơ gii thut phõn h ã Giải thuật : - Lặp i = đến 0.05*PopSize + Học tham sè víi gi¶i tht BP víi hƯ sè häc biến đổi (Thủ tục 2.1) + Lu trữ trọng số cho giá trị sai số tích luỹ e nhỏ Thủ tục 2.1 ã Chức : - Häc tham sè b»ng gi¶i tht BP víi hƯ sè học biến đổi ã Vào : - Cấu trúc mạng m, n, a, W vµ tËp mÉu lun, sè bíc thùc hiƯn biÕn ®ỉi Step, hƯ sè häc α, bíc tăng giảm hệ số học a sai số tối thiểu làm tiêu chuẩn dừng ã Ra : - Bộ trọng số W sau học ã Giải thuật : Lặp bớc sau choi đến sai số MSe nhỏ tiêu chuẩn dừng - Khởi tạo tổng sai số tập huấn luyện e = 0, bíc thùc hiƯn biÕn ®ỉi k =0 - Lặp i = đến số mẫu có tập luyện + Gán tín hiệu lớp vào out0 = Xi + Lặp nơ ron thứ j lớp ẩn ( l = 1) líp ( l = 2) m l l l Tín tổng tín hiệu vào theo công thức Net j = ∑ w ji xi i =1 59 l Tín giá trị tín hiệu Out j = + exp( − Net l ) j last last + TÝnh sai sè ë líp ε = ∑ ( y j − Out j ) n j =1 + Bắt đầu từ lớp ( l = ) cho tíi líp Èn ( l = ) tÝnh : HÖ sè hiÖu chØnh δ ij l i l −1 Lỵng hiƯu chØnh ∆w ji = η.δ j Outi l l l HiƯu chØnh c¸c träng sè w ji = w ji + ∆w ji - TÝnh gi¸ trị hàm giá e theo Thủ tục 1.1.2 - Thực trình biến đổi hệ số học : + NÕu ∆e < 0, kiÕm tra nÕu k < Step k = k + 1, không gán k = vµ α = α + a + NÕu ∆e >= th× α = α * (1 - a) gán k = 60 Chơng ứng dụng mạng nơ ron truyền thẳng nhiều lớp dự báo liệu Chơng đề cập đến vấn đề sau: 5.1 Sơ lợc ứng dụng mạng nơ ron dự báo liệu 5.2 Các bớc việc thiết kế mô hình mạng nơ ron dự báo 5.3 ứng dụng mạng nơ ron truyền thẳng nhiều lớp dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang 5.4 Chơng trình dự báo liệu 5.1 Sơ lợc ứng dụng mạng nơ ron dự báo liệu Mạng nơ ron truyền thằng có ứng dụng rộng rÃi lĩnh vực dự báo liệu, đặc biệt ứng dụng toán dự báo tiêu thụ lợng, dự báo kinh tế, dự báo tợng tự nhiên Dự báo liệu toán phức tạp số lợng liệu nh độ xác liệu dự báo Dữ liệu thu thập thực tế đa dạng phong phú Để sử dụng luyện mạng nơ ron, liệu phải đủ, đảm bảo độ xác, phải đợc làm sạch, đợc lợng hóa mà hóa đa chúng đoạn [0,1] [-1,1] Để mạng có khả dự báo tốt, liệu huấn luyện phải quét hết không gian liệu thực Mặt khác, việc chọn cấu trúc mạng phù hợp với toán thực tế ảnh h ởng đến khả dự báo Đối với toán thực tế, việc chọn cấu trúc mạng việc chọn số nơ ron lớp ẩn (hay số nút ẩn), thông thờng sử dụng phơng pháp thử sai (trial and errors) Ngoài ra, việc khởi tạo tham số ban đầu mạng trình huấn luyện nh giá trị trọng số ban đầu, số học ban đầu, số học thích nghi, độ xác ảnh hởng không nhỏ tới khả 61 dự báo Trong dự báo liệu, ta có đợc kết dự báo với độ xác chấp nhận đợc đợc kết dự báo với độ x¸c 100% 5.2 C¸c bíc chÝnh viƯc thiÕt kÕ mô hình mạng nơ ron dự báo Bớc 1: Chọn lựa biến Nắm bắt đợc toán cách tờng minh định thành công việc thiết kế mô hình mạng nơ ron dự báo liệu Đối với toán cụ thể, cần xác định nhân tố ảnh hởng đến toán phân định rõ nhân tố nhân tố yếu tố ảnh hởng Từ xác định đợc biến đầu vào biến đầu mạng Về mặt liệu, biến đợc chia thành hai loại dựa đặc điểm tính chất chúng [15] Việc phân loại làm sở để mà hóa liệu đa vào mạng Biến phân loại (Categorical Variables) Giữa chúng không xác định đợc phép toán nh lớn hay nhỏ hơn, chúng trị số nhng đợc gán trị số đa vào mạng Ví dụ kiểu màu nhận giá trị xanh, đỏ vàng Các biến thuộc loại đợc đa vào mạng sơ đồ mà hóa 1-of-c, sơ đồ mà hóa giá trị biến thành xâu nhị phân có chiều dài số giá trị mà biến nhận phạm vi toán Một bit đợc bật lên tuỳ theo giá trị biến, bit lại đợc tắt Trong ví dụ trên, biến kiểu màu cần ba biến vào, tơng ứng với ba màu đợc thể xâu nhị phân 100, 010 001 Một cách khác để mà hóa biến phân loại thể tất giá trị vào biến đầu vào liên tục Ví dụ, giá trị đỏ, xanh, vàng đợc thể giá trị số 0.0, 0.5, 1.0 Điểm không tốt phơng pháp tạo trật tự nhân tạo liệu mà thực tế, thứ tự Nh ng biến với số lợng lớn phân loại, phơng pháp giảm nhiều số đơn vị đầu vào Các biến kiểu đợc đa vào mạng sơ đồ mà hãa 1-of-c BiÕn cã thø tù (ordinal Variables) 62 C¸c biến có thứ tự tự nhiên xác định Chúng đợc chuyển trực tiếp thành giá trị tơng ứng biến liên tục với tỷ lệ Bớc 2: Thu thập liệu Kế hoạch thu thập liệu chủ yếu bao gồm nhiệm vụ chính: Xác định yêu cầu liệu Bớc lập kế hoạch thu thập liệu định liệu cần thiết để giải toán Về tổng thể, cần trợ giúp chuyên gia lĩnh vực toán cần giải để xác định đợc liệu chắn có liên quan đến toán, liệu liên quan liệu phụ trợ Các liệu có liên quan liên quan đến toán đợc xem đầu vào hệ thống Xác định nguồn liệu Bớc xác định nơi lấy liệu, điều cho phép ớc lợng đợc khó khăn chi phí cho việc thu thập liệu Nếu ứng dụng yêu cầu liệu thời gian thực, ớc lợng cần tính đến khả chuyển đổi liệu tơng tự thành dạng số Xác định lợng liệu Cần phải có ớc lợng số lợng liệu cần thiết sử dụng để huấn luyện mạng Nếu liệu phản ánh toàn thuộc tính mà mạng cần phải học, mạng đợc phản ứng mong muốn liệu mà cha đợc huấn luyện Mặt khác, không cần thiết phải đa vào luyện mạng nhiều liệu Về tổng thể, lợng liệu cần thiết bị ảnh hởng số trờng hợp cần luyện cho mạng để mạng có đợc khả mong muốn Việc định lợng xác lợng liệu cần đa vào luyện mạng cần thiết Thông thờng, liệu thờng thiếu hoàn chỉnh, muốn mạng có khả thực xác điều mong muốn cần phải đợc luyện với lợng liệu lớn 63 Bớc 3: Tiền xử lý liệu Tiền xử lý liệu thờng mang lại hiệu định trớc liệu đợc đa vào mạng Có nhiều kỹ thuật liên quan đến tiền xử lý liệu Chuyển đổi liệu khuôn dạng phù hợp đầu vào mạng nơron Các chuyển đổi bao gồm: ã áp dụng hàm toán học cho đầu vào ã Mà hóa liệu văn sở liệu ã Chuyển đổi liệu cho có giá trị nằm khoảng [0, 1] ã Lấy biến đổi Fourier cho liệu thời gian Lựa chọn liệu xác đáng Việc lựa chọn bao gồm thao tác đơn giản nh lọc hay lấy tổ hợp đầu vào để tối u hóa nội dung liệu Điều đặc biệt quan trọng liệu có nhiễu chứa thông tin d thừa Tối thiểu hóa số đầu vào mạng Giảm tối đa số chiều liệu đầu vào số mẫu đa vào mạng đơn giản hóa đợc toán Bớc Phân chia liệu thành tập huấn luyện, kiểm tra xác nhận Dữ liệu sau đà qua tiền xử lý đợc chia thành ba tËp, tËp hn lun (training), tËp kiĨm tra (test) vµ tập xác nhận (validation) Tập huấn luyện tập lớn nhất, dùng để cập nhật trọng số mạng Tập kiểm tra có kích thớc khoảng 10% đến 30% tập huấn luyện, đợc dùng để đánh giá khả tổng quát hóa mạng Tập xác nhận kiểm tra hiệu mạng sau luyện Cần phải đảm bảo rằng: ã Tập huấn luyện chứa đủ liệu, liệu phân bố phù hợp cho biểu diễn thuộc tính mà mạng học đợc 64 ã Không có liệu trùng hay tơng tự liệu tập liệu khác Bớc 5: Xác định cấu trúc mạng Nh đà trình bày, việc chọn mô hình mạng nơ ron dự báo liệu việc chọn số nơ ron lớp ẩn Không có phơng pháp để chọn số tối u nơ ron sử dụng lớp ẩn Để có đợc số nơ ron lớp ẩn chấp nhận đợc phải thực nhiều thí nghiệm mô hình đà chọn, cuối chọn đợc mô hình tốt Công việc đợc thực cách bắt đầu với số dựa luật (xem chơng phÇn 3.1.3 mơc b) Sau thùc hiƯn hn lun, kiểm tra lỗi tổng quát hóa cấu trúc tiếp tục tăng giảm số nơ ron Mục tiêu cuối chọn cấu trúc mạng mà lỗi tổng quát hóa tập huấn luyện nhỏ Bớc 6: Huấn luyện mạng nơ ron Huấn luyện mạng cách lần lợt đa mẫu vào với giá trị mong muốn Mục tiêu tìm tập trọng số cho ta giá trị nhỏ toàn cục hàm lỗi Vấn đề đặt ngừng huấn luyện Quan điểm thứ cho nên ngừng huấn luyện chừng tiến triển hàm lỗi nữa, nói cách khác mạng đà đạt đến điểm cực tiểu toàn cục Quan điểm thứ hai cho cần thờng xuyên xem xét khả tổng quát hóa mạng cách thực kiểm tra định kỳ sau số chu kỳ Một phơng pháp khác thực vẽ đồ thị để theo dõi trạng thái lỗi mạng, từ quan sát vùng mà mạng có trạng thái không thay đổi với liệu vào Thông thờng, số lần tối đa thực huấn luyện mạng thờng có khoảng biến thiên lớn, từ vài nghìn đến vài chục nghìn chu kỳ, thực cập nhật đồ thị sau chu kỳ để theo dõi đợc tham số Bíc 7: Thùc thi 65 Bíc thùc thi thùc cần đợc xem xét trớc bớc thu thập liệu vì, việc xác định liệu, xác định hàm lỗi sử dụng thời gian huấn luyện đặc trng môi trờng triển khai mạng Sau cài đặt triển khai, khả hoạt động mạng nơ ron giảm theo thời gian không thực huấn luyện lại, tham biến đợc chọn không đảm bảo đóng vai trò định kết mong mn theo thêi gian TÇn sè thùc hiƯn hn lun lại mạng cần hợp lý cho mạng đạt đợc trạng thái hoạt động tốt 5.3 ứng dụng mạng nơ ron truyền thẳng nhiều lớp dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang Dự báo đỉnh lũ sông toán quan trọng lĩnh vực dự báo thuỷ văn, cã ý nghÜa to lín ®êi sèng x· héi giúp ngời dự báo đợc trận lũ lớn trớc thời gian dài, tránh đợc thiệt hại ngời vật chất chúng gây Dòng chảy sông suối đợc hình thành dới ảnh hởng nhiều nhân tố Song số lên hai nhân tố quan trọng lợng ma lợng trữ nớc lu vực sông Ma nhân tố định độ lớn đỉnh lũ, nhiên, lợng ma lu vực, sinh đỉnh lũ khác Ví dụ, sông Hồng l ợng ma sinh trận lũ lớn năm 1969 1996 tơng ứng 250 300 mm, lớn lợng ma gây trận lũ tháng 8/1971 218 mm, song lợng trữ nớc thời điểm trớc lũ năm 1971 lớn đà làm cho đỉnh lũ tháng 8/1971 lớn nhiều so với hai trận lũ Nh vậy, lợng trữ nớc trớc lũ, hay gọi chân lũ, xem nhân tố quan trọng thứ hai, định độ lớn đỉnh lũ Ngoài có yếu tố khác tác động đến lũ lụt nh điều kiện thời tiết chúng nhân tố gián tiếp Chơng trình dự báo liệu sử dụng mạng nơ ron truyền thẳng huấn luyện giải thuật lai GA - BP đợc thử nghiệm với toán dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang Sông Trà Khúc bắt nguồn từ vùng rừng núi Giá Vực, phía tây nam tỉnh Quảng NgÃi, vào khoảng 14 o3430B 108o2520Đ Độ cao nguồn sông khoảng 900 m, chiều dài sông 135 km, chiều dài lu vực 123 km, diƯn tÝch lu vùc 3240 km2, ®é dèc lu vùc 18,5%, chiỊu réng lu vùc 26,3 km Cã hai d¹ng lũ 66 sông, lũ đơn lũ kép Số liệu mực nớc đỉnh lũ đợc đo theo mực nớc chân lũ lợng ma tơng ứng trạm Sơn Giang từ năm 1997 đến làm số liệu huấn luyện mạng kiểm tra khả dự báo mạng Nguồn số liệu đợc lấy từ Trung tâm Thông tin t liệu - Tổng cục Khí tợng Thuỷ văn Dữ liệu đầu vào Dữ liệu đợc lấy trạm Sơn Giang từ năm 1995 đến đợc chia thµnh hai tËp, tËp hn lun vµ tËp kiĨm tra Số liệu đợc lu trữ dới dạng sau: Thời gian Bắt đầu Kết thúc 1995 1h/6/10 13h/6/10 1h/7/10 13h/7/10 19h/9/10 13h/10/10 7h/11/10 13h/11/10 19h/10/11 1996 1h/9/11 7h/22/10 7h/23/10 1h/12/9 13h/12/9 7h/2/11 1h/3/11 19h/17/10 7h/18/10 1h/25/10 13h/25/10 9h/28/10 19h/28/10 11h/29/10 11h/29/10 7h/16/11 19h/16/11 1h/19/11 7h/19/11 21h/19/11 7h/20/11 7h/30/11 19h/30/11 21h/30/11 3h/1/12 7h/19/12 3h/20/12 Năm Lợng ma trung bình 191.5 184.5 118.5 74.5 289 199 67 298 82 121.5 62 84.5 173.5 95.5 121 150.5 60 165.5 Mùc níc lị trung bình Chân lũ Đỉnh lũ 2831 3352 3088 3594 3041 3414 3185 3340 3025 3717 2931 3449 2820 3084 3077 4020 2955 3203 3143 3578 3159 3382 3312 3548 3112 3643 3362 3585 3433 3615 3097 3572 3519 3710 3004 3451 ã Năm : Năm lấy mẫu số liệu, không tham gia vào liệu dự báo ã Thời gian : khoảng thời gian đo số liệu, không tham gia vào số liệu dự báo ã Lợng ma trung bình : lợng ma trung bình đo đợc khoảng thời gian tính mm, đầu vào liệu dự báo ã Mực nớc chân lũ : giá trị mực nớc chân lũ tính cm, đầu vào thứ hai liệu dự báo ... để xây dựng mô hình mạng nơ ron dự báo liệu ứng dụng mô hình toán dự báo đỉnh lũ sông Trà Khúc trạm khí tợng Sơn Giang Những đóng góp luận văn ã Luận văn trình bày vấn đề lý thuyết mạng nơ ron, ... BP Chơng trình bày bớc xây dựng mô hình mạng nơ ron dự báo thử nghiệm giải thuật GA - BP việc huấn luyện mạng nơ ron để thực thi toán dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang Phần kết luận nêu... niệm mạng nơ ron Chơng đề cập đến vấn đề sau: 1.1 Nơ ron sinh học mạng nơ ron sinh học 1.2 Nơ ron nhân tạo 1.3 Mạng nơ ron nhân tạo 1.4 Thủ tục học mạng nơ ron 1.5 Phạm vi ứng dụng mạng nơ ron