Đang tải... (xem toàn văn)
Tìm hiểu về mạng nơron và ứng dụng bài toán thời tiết Dự báo thời tiết ra đời từ xa xưa, từ khi có sự xuất hiện của con người và càng ngày càng gắn bó với cuộc sống của chúng ta. Từ thủa ban đầu, con người đã có thể “dự đoán ” trước được các hiện tượng tự nhiên sẽ xảy ra trong khoảng thời gian gần. Dần dần kinh nghiệm quan sát được tích lũy, cộng thêm những tư duy sâu xa đã giúp họ có được các dự báo chính xác hơn cho các hiện tượng khí tượng trong tương lai. Những phân tích, kinh nghiệm tích lũy dần được đúc kết thành các bài toán dự báo, cho phép tính toán khá chính xác hiện tượng thời tiết sắp xảy ra.
Bài tập lớn – Trí tuệ nhân tạo nâng cao MỤC LỤC LỜI NÓI ĐẦU Dự báo thời tiết đời từ xa xưa, từ có xuất người ngày gắn bó với sống Từ thủa ban đầu, người “dự đốn ” trước tượng tự nhiên xảy khoảng thời gian gần Dần dần kinh nghiệm quan sát tích lũy, cộng thêm tư sâu xa giúp họ có dự báo xác cho tượng khí tượng tương lai Những phân tích, kinh nghiệm tích lũy dần đúc kết thành tốn dự báo, cho phép tính tốn xác tượng thời tiết xảy Hiện giới hệ thống dự báo thời tiết nghiệp vụ thực nhiều phương pháp khác như: phương pháp Synôp, phương pháp thống kê, phương pháp số trị, … Trong phương pháp lại có nhiều phương pháp mơ hình dự báo cụ thể Mỗi phương pháp có ưu điểm nhược điểm riêng Việc ứng dụng phương pháp tùy thuộc vào tài nguyên hệ thống, trình độ người dự báo, yêu cầu mục đích người xây dựng hệ thống, Ứng dụng mạng nơron nhân tạo phương pháp thống kê Đó phương pháp mới, có nhiều ưu vượt trội việc giải vấn đề phi tuyến Các phương pháp thống kê nói chung ứng dụng mạng nơron nhân tạo nói riêng mang tính khách quan đáp ứng nhiều yêu cầu thực tiễn mà dự báo phương pháp khác không đáp ứng Khái niệm mạng nơron bắt đầu vào cuối năm 1890 người ta cố gắng mơ tả hoạt động trí tuệ người Từ đó, lý thuyết mạng nơron phát triển để áp dụng nhiều lĩnh vực có dự báo Trên giới, mạng nơron áp dụng nhiều lĩnh vực có khí tượng thủy văn từ nhiều năm trước thu nhiều thành tựu Với ưu vượt trội việc ứng dụng mạng nơron nhân tạo tính mềm dẻo, khả dung thứ lỗi cao, giải vấn đề phi tuyến thích hợp việc xử lý liệu có tính biến động lớn,… Đó lý để nhóm em chọn đề tài: Mạng nơron nhân tạo ứng dụng dự báo thời tiết Do thời gian nghiên cứu chưa nhiều hiểu biết hạn chế dẫn đến việc trình bày vấn đề khơng tránh khỏi việc thiếu sót chưa xác Nhóm em mong nhận ý kiến đóng góp Thầy bạn để nhóm em hồn thiện đề tài Nhóm thực đề tài xin chân thành cảm ơn giúp đỡ thầy khoa, bạn lớp đặc biệt hướng dẫn, bảo tận tình Thầy – Tiến Sĩ Nguyễn Mạnh Cường giúp em trình thực đề tài Xin chân thành cảm ơn! Bài tập lớn – Trí tuệ nhân tạo nâng cao CHƯƠNG I - BÀI TOÁN DỰ BÁO THỜI TIẾT Giới thiệu toán dự báo thời tiết Dự báo phát biểu tương lai Mỗi phát biểu có sở chắn định Các dự báo xây dựng nhiều phương pháp, kiểm chứng qua biểu thức đánh giá Vì vậy, dự báo lĩnh vực có tiềm rộng lớn Để phòng tránh giảm nhẹ tác hại thời tiết gây ra, việc dự báo thời tiết có ý nghĩa quan trọng Nhiều cần dự báo trước vài tiếng đồng hồ đủ để sơ tán người khỏi vùng nguy hiểm, cứu nhiều sinh mạng tài sản vậy, từ lâu người quan tâm đến việc theo dõi tìm cách dự báo thời tiết Dự báo thời tiết công việc phức tạp Mặc dù khoa học dự báo thời tiết đời 100 năm hàng trăm ngàn nhà khoa học nhiều nước nỗ lực nghiên cứu để tìm cách nâng cao chất lượng công tác dự báo thời tiết người ta chưa khẳng định xác thời tiết ngày hơm sau Dự báo thời tiết cần có hệ thống thu nhập trao đổi số liệu toàn cầu với công cụ để xử lý làm cho việc dự báo Hệ thống quan trắc sở hệ thống dự báo thời tiết Bên cạnh đó, hệ thống thơng tin liên lạc có vai trò quan trọng Khâu cuối hệ thống dự báo thời tiết chỉnh lý số liệu thu nhập sử dụng phương pháp khác đưa kết dự báo Như vậy, phương pháp dự báo thời tiết đề cập đến đề tài mắt xích cuối hệ thống dự báo thời tiết Một số phương pháp với toán dự báo thời tiết Dự báo thời tiết khoa học nghệ thuật Rất nhiều phương pháp ứng dụng cho dự báo thời tiết Phương pháp cụ thể nàp áp dụng phụ thuộc vào số yếu tố số lượng thông tin sử dụng, mức độ phức tạp mà ứng dụng dự báo thể kinh nghiệm người dự báo,… 2.1 Phương pháp quán tính Là phương pháp đơn giản dự báo thời tiết Phương pháp giả thiết thời tiết ngày mai giống thời tiết hôm nay, nghĩa điều kiện thời điểm dự báo không thay đổi Phương pháp quán tính làm việc tốt mẫu thời tiết thay đổi đặc tính đồ thời tiết thay đổi chậm Nếu điều kiện thời tiết thay đổi đáng kể ngày phương pháp sử dụng 2.2 Phương pháp dự báo theo xu hướng Một kỹ thuật dự báo thời tiết quan trọng khác thông qua đồ thời tiết Phương pháp xu hướng yêu cầu xác định hướng, tốc độ di chuyển khối khí, hệ thống áp suất vùng mây, lượng mưa Dựa vào thông tin mà người dự báo dự báo đặc tính thời tiết tương lai Các khác biệt miền, tăng tốc hay giảm tốc hệ thống bão, tác động cục địa hình, Bài tập lớn – Trí tuệ nhân tạo nâng cao khối nước độ nóng đảo ảnh hưởng đến dự báo, yếu tố xem xét 2.3 Phương pháp khí hậu học Phương pháp khí hậu học phương pháp đơn giản khác để dự báo thời tiết Điều biết đến dự báo vùng khí hậu (nhiệt độ cao, thấp, trung bình lượng mưa) Phương pháp cần đến thống kê thời tiết trung bình tính qua nhiều năm để thực dự báo Khí hậu học dự báo cho ngày cho, dự báo biến đổi cao thấp so với trung bình Phương pháp khí hậu học làm việc tốt mẫu thời tiết tương tự nahu thời điểm năm Nếu mẫu thời tiết bất thường với thời điểm cho năm phương pháp thất bại 2.4 Phương pháp tương tự Phương pháp tương tự phương pháp phức tạp để tạo nên dự báo Nó liên quan đến việc xác định kịch dự báo ngày nhớ đến ngày khứ kịch thời tiết tương tự Người dự báo dự báo thời tiết dự báo giống q khứ Ví dụ, hơm ấm có khối khí lạnh đến gần khu vực Ta đến điều kiện thời tiết tương tự tuần trước đó, ngày ấm có khối khí lạnh đến gần Vào ngày nhớ có sấm sét, mưa to vào buổi chiều khối khí lạnh tràn vào khu vực Do đó, sử dụng phương pháp tương tự, ta dự báo khối khí lạnh tạo sấm sét mưa to vào buổi chiều Phương pháp tương tự khó sử dụng khơng thể tìm tương tự hoàn toàn Hiện tượng thời tiết đa dạng lặp lại địa phương nơi mà chúng xảy Tuy nhiên qua thời gian dài, nhiều liệu thời tiết thu thập hội tìm tương tự tốt cho tình thời tiết dự báo tương tự cải thiện 2.5 Phương pháp dự báo sử dụng văn Văn đưa cách tổng quan thông tin thời tiết quan trọng 24 qua biểu thị quan trọng thời tiết 24 tới Tổng kết liệu ngày trước thành phố để biết lượng mưa nhiệt độ cao thấp Sau đó, đồ thị vẽ đồ số để tìm xu hướng chuyển động khối khí, hệ thống thời tiết Những đồ phân tích thời tiết tương lai dự báo Dự báo sử dụng văn khó thực dự báo sử dụng thông tin văn thời tiết Hầu hết phương pháp trình bày sử dụng từ vài thập kỷ trước máy tính chưa phát triển đủ mạnh để thực dự báo số trị Ngày nay, chúng sử dụng để đánh giá mức độ hiệu dự báo thời tiết: so sánh với dự báo quán tính với chuẩn khí hậu Sau xin giới thiệu số phương pháp dự báo thời tiết nghiệp vụ (những phương pháp mới, ứng dụng hệ thống lớn, chuyên nghiệp) 2.6 Phương pháp Synôp Đây phương pháp dự báo thời tiết cổ điển sử dụng chủ yếu 100 năm qua nhà khí tượng nhiều nước sử dụng, có Việt Nam, dựa việc thiết lập đồ thời tiết Việc dự báo phụ Bài tập lớn – Trí tuệ nhân tạo nâng cao thuộc lớn vào kinh nghiệm phân tích đánh giá chủ quan người làm dự báo bên cạnh thông tin bổ trợ từ sản phẩm mơ hình dự báo số phân tích ảnh mây vệ tinh,… Dự báo theo phương pháp cho kết tương đối tốt phần lớn trường hợp, riêng với mưa, sản phẩm dự báo mang tính định tính mưa vừa, mưa to, mưa to,…mà khơng có số định lượng cụ thể Hiện tin dự báo thời tiết đưa đài truyền hình Việt Nam kết phương pháp Dự báo theo phương pháp đòi hỏi người dự báo có kiến thức kỹ thuật dự báo phải có kinh nghiệm hiểu biết khí hậu thời tiết địa phương Đây hạn chế phương pháp Synôp, đặc điểm mà dẫn đến hạn chế khác dự báo trước nhiều ngày, dự báo cho nhiều vùng khác nhau,… 2.7 Phương pháp tổng hợp Dự báo tổng hợp hướng phát triển mạnh trung tâm dự báo khí tượng nghiệp vụ giới Với việc coi khí cảm nhận mơ (bởi quan trắc mơ hình số trị) hệ thống tập hợp thống kê thay hệ xác định, đặc trưng thống kê tập hợp dự báo khác cho kết tin cậy dự báo riêng biệt Nghiên cứu ứng dụng phương pháp dự báo tổng hợp Việt Nam nhận số kết ban đầu khả quan trung tâm Khí tượng Thủy văn quốc gia 2.8 Phương pháp số trị Phương pháp dự báo số trị - dự báo mơ hình thủy động lực học đại có độ phân giải cao áp dụng cho khu vực sử dụng nhiều quốc gia giới, đặc biệt nước phát triển Phương pháp sử dụng sức mạnh máy tính điện tử, nhiều cách khác để giải hệ phương trình mơ tả khí để suy biến khí áp suất, nhiệt độ, vận tốc gió,… Chất lượng dự báo mưa lớn cao hẳn phương pháp sản phẩm số mơ hình dự báo đảm bảo u cầu mơ hình dự báo thủy văn lũ lụt, lũ quét Một nhân tố định gây nên hình thành phát triển mưa lớn tượng thời tiết nguy hiểm xoáy thuận nhiệt đới,… đối lưu mây tích Các q trình đối lưu đóng vai trò quan trọng chu trình vận chuyển lượng khí phân bố lại đốt nóng khơng đồng bề mặt trái đất Ngoài phụ thuộc vào độ hội tụ ẩm mực thấp, đối lưu mạnh phụ thuộc vào tính bất ổn định khí quyển,…Các q trình quy mơ vừa tính mơ hình số trị Với phương pháp số trị, hiên trung tâm khí tượng lớn giới đưa dự báo thời tiết phạm vi toàn cầu trước hàng tuần mà phương pháp Synôp cổ điển thực 2.9 Phương pháp thống kê Phương pháp thống kê lấy số liệu khứ làm đầu vào Phương pháp có ưu điểm mang tính chất khách quan, đơn giản dễ xây dựng mơ sử dụng nghiệp vụ Độ xác mơ hình phụ thuộc nhiều vào việc lựa chọn tham số dự báo trình xử lý số liệu Bên cạnh đó, đặc điểm Bài tập lớn – Trí tuệ nhân tạo nâng cao phương pháp thống kê coi trình xảy tương lai tuân theo quy luật thu từ số liệu khứ, dẫn tới kết mơ hình dự báo phụ thuộc vào độ dài tập mẫu Chuỗi số liệu tập mẫu ngắn chứa quy luật mà khơng có, chuỗi số liệu q dài gây ổn định hệ thống Bài tập lớn – Trí tuệ nhân tạo nâng cao CHƯƠNG II - TỔNG QUAN LÝ THUYẾT MẠNG NƠ RON NHÂN TẠO Giới thiệu nơ ron mạng nơ ron nhân tạo 1.1 Giới thiệu Nghiên cứu não người, cụ thể tế bào thần kinh (nơron) ước muốn từ lâu nhân loại Từ đó, nhà khoa học khơng ngừng nghiên cứu tìm hiểu mạng nơron Lý thuyết mạng nơron hình thành phát triển, đặc biệt nghiên cứu ứng dụng chúng Cơ sở xây dựng mạng nơron nhân tạo cố gắng mơ lại trình diễn nơron sinh vật Quá trình nghiên cứu phát triển mạng nơron nhân tạo chia thành giai đoạn sau: - Giai đoạn một: Giai đoạn tính từ nghiên cứu William (1980) tâm lý học với liên kết nơron thần kinh Từ năm 1940 Mc.Colloch Pitts cho biết: nơron mơ hình hóa thiết bị ngưỡng (giới hạn) để thực phép tính logic Cũng thời gian Wiener xét mối liên hệ nguyên lý phản hồi chức não - Giai đoạn hai: Giai đoạn hai vào năm 1960, gần đồng thời số mơ hình nơron hồn hảo đưa ra, mơ hình Perceptron Rosenblatt hay Adaline Widrow Trong mơ hình Perceptron quan tâm ngun lý đơn giản, có hạn chế khơng dùng cho hàm logic phức tạp Còn Adaline mơ hình tuyến tính, tự chỉnh, dùng rộng rãi điều khiển thích nghi, tách nhiễu, mơ hình phát triển ứng dụng ngày - Giai đoạn ba: Giai đoạn ba tính khoảng đầu năm 80 kỷ 20 Những đóng góp lớn cho mạng nơron giai đoạn phải kể đến Grossberg, Kohonen Hopfield Đóng góp lớn Hopfield hai mạng phản hồi: mạng rời rạc năm 1983 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính tốn lớn mạng nơron mà nơron khơng có khả Cảm nhận Hopfield Rumelhart, Hinton đề xuất thuật toán truyền ngược sai số tiếng để huấn luyện mạng nơron nhiều lớp nhằm giải nhiều lớp toán phức tạp - Giai đoạn bốn: Giai đoạn bốn từ năm 1987 đến Hàng năm giới mở hộ nghị tồn cầu chun ngành nơron Các cơng trình nghiên cứu để hồn thiện thêm lý thuyết mạng nơron như: mở rộng hoàn thiện lớp mạng, phân tích tính ổn định mạng, kết hợp lý thuyết mạng nơron với lý thuyết khác Hàng loạt lĩnh vực khác như: kỹ thuật tính, tối ưu, sinh học, y học, thống kê, giao thơng, hóa học, truyền thơng, khí tượng, …đã đóng góp nhiều cơng trình nghiên cứu, ứng dụng mạng nơron vào lĩnh vực đem lại kết đáng khích lệ Ở nước, mạng nơron nghiên cứu từ năm 1980, vào ứng dụng lĩnh vực tin học, viễn thơng, đo lường, điều khiển, khí tượng, … Một số chip nơron dùng kỹ thuật lọc số ứng dụng khác Trong ngành khí tượng thủy văn, mạng nơron áp dụng cho dự báo lũ, dự báo trường nhiệt độ, dự báo xạ mặt trời Bài tập lớn – Trí tuệ nhân tạo nâng cao 1.2 Nơ ron sinh vật Nơron sinh vật có nhiều dạng khác dạng hình tháp, dạng tổ ong, dạng dễ Tuy khác hình dạng, chúng có cấu trúc nguyên lý hoạt động chung Một tế bào nơron gồm bốn phần hình 2.1 Các nhánh rễ: Các nhánh rễ phận nhận thông tin, đầu nhận đầu nơron khác bám vào rễ nhánh nơron Khi đầu vào từ ngồi có chênh lệch nồng độ K+, Na+ hay Cl- so với nồng độ bên xảy tượng thấm từ ngồi vào thông qua chế màng thấm đặc biệt Hiện tượng thẩm thấu tạo nên chế truyền đạt thông tin với hàng nàn hàng vạn nối vào nơron sinh vật, ứng với hàng nghìn hàng vạn liên kết khác nhau, mức độ thẩm thấu đặc trưng chế màng tượng trưng tỷ lệ Tỷ lệ gọi tỷ trọng hay đơn giản gọi trọng số Thân thần kinh: Thân thần kinh chứa nhân quan tổng hợp protein Các ion vào tổng hợp biến đổi Khi nồng độ ion đạt đến giá trị định, xảy trình phát xung (hay kích thích) Xung phát đầu nơron Dây dẫn đầu nơron gọi dây thần kinh Dây thần kinh: Dây thần kinh đầu Đó phương tiện truyền dẫn tín hiệu Dây thần kinh cấu tạo gồm đốt dài từ vài micro mét đến vài mét tùy kết cấu cụ thể Đầu truyền tín hiệu đến nơron khác Khớp thần kinh: Khớp thần kinh phận tiếp xúc đầu nơron với rễ, nhánh nơron khác Chúng có cấu trúc màng đặc biệt để tiếp nhận tín hiệu có chênh lệch nồng độ ion bên bên ngồi Nếu độ lệch nồng độ lớn việc truyền ion nhiều ngược lại Mức độ thẩm thấu ion coi đại lượng thay đổi tùy thuộc vào nồng độ giá trị đo thay đổi gọi trọng số Mơ hình mạng nơ ron nhân tạo 2.1 Mơ hình nơ ron nhân tạo Bài tập lớn – Trí tuệ nhân tạo nâng cao Trên sở mơ hình nơron sinh vật tổng qt, người ta đề xuất mơ hình nơron nhân tạo gồm thành phần chính: tổng liên kết đầu vào kích hoạt -1 W1 θ W2 v(t) y ∑ f(.) Wm Hình 2.2: Mơ hình nơron nhân tạo Mơ hình nơron nhân tạo Để mơ nơron ta coi hệ thống nhiều đầu vào đầu (hình trên) Bộ tổng: Bộ tổng hợp liên kết đầu vào phần tử nơron mơ tả sau: m v (t ) = ∑ w k xk ( t ) − θ k =1 Trong đó: v(t) tổng tất đầu vào mơ tả tồn tác động thân nơron x(t) đầu vào ngoài; k = 1, 2,…, m; m số lượng đầu vào tín hiệu vào từ đầu nhạy thần kinh từ nơron khác đưa vào wk: Trọng số liên kết ngoài, hệ số mô tả mức độ liên kết đầu vào tới nơron tại; k= 1, … m; m số đầu vào θ: số, gọi ngưỡng, xác định ngưỡng kích thích hay ức chế Tên hàm Công thức tương ứng Bước nhảy đơn vị f(x)= Hàm dấu (sgn) f(x)= Hàm đồng f(x)= x ≥ ≥ Bài tập lớn – Trí tuệ nhân tạo nâng cao Hàm tuyến tính bão hòa đối xứng f(x)= Hàm Sigmoid lưỡng cực f ( x) = ≤ −1 + e−λ x Bảng 2.1: Một số hàm kích hoạt thường sử dụng mơ hình nơron Phần sử dụng hàm quan hệ f(.) cho đầu y, để chặn tín hiệu đầu Các hàm đầu thông thường hàm có giới hạn ngưỡng phù hợp với đặc điểm đầu nơron sinh vật Hàm dạng thể đặc điểm kích hoạt hay ức chế nơron m y = f (u (t )) = f (∑ xi (t )w i − θ ) i =1 Với u(t)= v(t) y(t) đầu nơron mô tả tín hiệu đưa Hàm f(.) chia thành hai nhóm: nhóm hàm bước nhảy nhóm hàm liên tục Đặc điểm chung hàm thường tiến tới giá trị cố định với giá trị gán [0, 1] [-1, 1] Những dạng hàm kích hoạt hay dùng cung cấp bảng Một số dạng hàm khác sử dụng như: dạng hàm Gauss, hàm logarit, hàm mũ, hàm arctg 2.2 Cấu trúc mạng nơ ron nhân tạo Có thể xây dựng cấu trúc mạng nơron dựa theo yếu tố sau: • • Số lớp có mạng số nơron lớp Mạng lớp tập hợp phần tử nơron mà nơron có đầu vào đầu mạng phần tử nơron Nếu mạng nối đầu phần với đầu vào phần tử gọi mạng tự liên kết • Mạng nhiều lớp gồm lớp đầu vào lớp đầu riêng biệt Các lớp nằm lớp vào lớp đầu gọi lớp ẩn • Đường truyền tín hiệu mạng • Mạng truyền thẳng mạng hai hay nhiều lớp mà q trình truyền tín hiệu từ đầu đến đầu theo hướng Bài tập lớn – Trí tuệ nhân tạo nâng cao Hình 2.3: Mạng nơron truyền thẳng nhiều lớp (Feed-forward neural network) • Mạng phản hồi mạng hay nhiều đầu phần tử lớp sau truyền ngược tới đầu vào lớp trước Hình 2.4: Mạng hồi quy • Mạng tự tổ chức mạng có khả sử dụng kinh nghiệm khứ để thích ứng với biến đổi môi trường (không dự báo trước) Loại mạng thuộc nhóm tự học, thích nghi khơng cần có tín hiệu đạo từ ngồi Trong lớp mạng lại có nhiều mạng với tên gọi đặc trưng khác Một số mô hình mạng nơron mơ tả hình Như vậy, mạng nơron nhân tạo có cấu trúc khác tùy theo số lớp, số nơron lớp cách tổ chức đường truyền tín hiệu mạng Các hình thức học mạng nơ ron nhân tạo Thuật tốn học phần trí tuệ thơng minh mạng nơron mà cơng trình nghiên cứu chiếm số lượng lớn chục thập kỷ qua Thuật toán học chia làm loại: Học theo tham số học theo cấu trúc 3.1 Học theo tham số: Tư tưởng việc học theo tham số thay đổi, cập nhật trọng số liên kết Hầu hết luật học tồn thuộc kiểu học theo tham số Trong chương này, kiến trúc mạng điển hình đưa thuộc dạng học theo tham số Thơng thường, thuật tốn học theo tham số chia làm loại chính: học có giám sát, học không giám sát học củng cố 10 Bài tập lớn – Trí tuệ nhân tạo nâng cao m z q = f q (net q ) = f q (∑ v qj x j ) j =1 (2.11) Trong q = 1,…, l, l số nút lớp ẩn hàm kích hoạt nơron lớp ẩn hàm Sigmoid fq(.): f q (net q ) = 1+ e − netq (2.12) Đầu nơron lớp ẩn lại đưa tới lớp Tổng lớp vào nơron thứ i lớp là: m neti = ∑ wiq z q = ∑ wiq f q ∑ vqj x j q =1 q =1 j =1 (2.13) l l Trong i= 1, …, n; n số nơron lớp Các nơron tính tốn tạo đầu thực mạng nơron Với fi(.) hàm kích họat lớp ra, đầu lớp nơron thứ i lớp là: l l m y i = f i (net i ) = f i ∑ wiq z q = f i ∑ wiq f q ∑ v qj x j q =1 q =1 j =1 (2.14) - Hàm kích hoạt nơron lớp toán dự báo thời tiết chọn hàm Sigmoid Đó tồn q trình lan truyền tiến nơron trình huấn luyện Xây dựng cơng thức cho q trình lan truyền ngược Khi có giá trị đầu thực sự, tín hiệu lỗi tính tốn để lan truyền ngược trở lại, cập nhật trọng số liên kết Các tính tốn thực dựa hàm chi phí tồn cục Hàm chi phí sử dụng cho toán dự báo thời tiết xây dựng sau: E(w)=11Equation Section (Next) 2 n n n ( di − yi ) = ∑ ( di − fi ( neti ) ) = ∑ di − fi ( w qi zq ) ∑ i =1 i =1 i =1 (2.15) Theo phương pháp hạ Gradient – tức tiến trình cập nhật trọng số theo hướng giảm gradient, trọng số liên kết lớp ẩn lớp đầu cập nhật bởi: ∆w iq = −η ∂E ∂y ∂neti ∂E = −η i ∂w iq ∂yi ∂neti ∂w iq (2.16) Trong η số học tốc độ cập nhật Từ cơng thức ta có: ∆w iq = η [ d i − yi ] f ' ( neti ) zq = ηδ ti zq (2.17) Với δti tín hiệu lỗi nơron thứ i lớp ra: δti= (di - yi)f’(neti) (2.18) Do hàm kích hoạt nơron lớp ẩn hàm Sigmoid, tính tốn đạo hàm ta có: 17 Bài tập lớn – Trí tuệ nhân tạo nâng cao f’(neti)= yi(1 - yi) (2.19) nên: δti = (di - yi)yi(1 - yi) (2.20) Đối với trọng số liên kết nơron thứ j lớp vào nơron thứ q lớp ẩn cập nhật theo: ∆w iq = −η n ∂E ∂y ∂neti ∂E ' ' = −η i = η ∑ ( di − yi ) f ( neti ) w iq f ( netq ) x j ∂w iq ∂ y ∂ net ∂ w i =1 iq i i (2.21) Từ biểu thức (2.18) ta có: n ∆vqj = η ∑ δ ti w iq f ' ( net q ) x j = ηδ hq x j i =1 (2.22) Với δhq tín hiệu lỗi nơron thứ q lớp ẩn: n δhq= ∑ δ i =1 ti w iq f ' ( netq ) n ∑ δ ti (2.23) w iq Nhìn vào cơng thức (2.23), thành phần coi tổng trọng hóa tín hiệu lỗi lớp nơron Như vậy, rõ ràng việc cập nhật trọng số lớp phải dựa giá trị tín hiệu lỗi nơron lớp sau hay thực sau cập nhật trọng số lớp sau Điều có nghĩa tín hiệu lỗi lan truyền ngược từ lớp đầu trở lại lớp đầu vào để cập nhật trọng số liên kết lớp Q trình huấn luyện mạng lặp lặp lại hai pha tập mẫu huấn luyện tới đạt mức lỗi mong muốn • Thuật tốn lan truyền ngược: Xét mạng với q lớp truyền thẳng, q = 1, 2, …, Q ký hiệu qneti qyi tổng đầu vào đầu nơron thứ i lớp q Mạng có m nút đầu vào n nút đầu qwij biểu thị trọng số liên kết từ q-1yj tới qyi i =1 - Đầu vào: Một tập cặp huấn luyện {(x(k), d(k)| k = 1, 2, …, p)} Bước (khởi tạo): Chọn 0