ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC MÁY TÍNH Bài thu hoạch môn học Hệ hỗ trợ ra quyết định Đề tài TÌM HIỂU MẠNG NEURAL NHÂN TẠO VÀ THUẬT TOÁN LAN TRUYỀN NGƯỢC Giảng viên giảng dạy: PGS.TS. Đỗ Phúc Họ tên học viên: Lê Hoàng Vân Mã số học viên: CH1301071 Thành phố Hồ Chí Minh – 2014 Mục lục Bài thu hoạch môn Hệ hỗ trợ ra quyết định Danh mục hình ảnh Lê Hoàng Vân – CH1301071 Trang 2 Bài thu hoạch môn Hệ hỗ trợ ra quyết định LỜI MỞ ĐẦU Ngày nay với sự phát triển như vũ bão của khoa học kỹ thuật, đặc biệt là trong lĩnh vực công nghệ thông tin. Nhiều chương trình thông minh có khả năng hỗ trợ giải quyết những vấn đề khó khăn của con người đã ra đời và đóng góp những thành tựu to lớn. Những chương trình này được ứng dụng nhiều công nghệ tri thức tiên tiến. Một trong những công nghệ đó là mạng neural nhân tạo. Bài tiểu luận này xin được trình bày một số nội dung khái quát về mạng neural nhân tạo và thuật toán lan truyền ngược trong mạng neural nhân tạo cùng một chương trình demo nhỏ để minh họa thuật toán. Lê Hoàng Vân – CH1301071 Trang 3 Bài thu hoạch môn Hệ hỗ trợ ra quyết định CHƯƠNG I: MẠNG NEURAL NHÂN TẠO 1. Giới thiệu Neural nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra. Hình 1 : Mô hình neuron nhân tạo ở mức đơn giản Neural này sẽ hoạt động như sau: giả sử có N inputs, neural sẽ có N weights (trọng số) tương ứng với N đường truyền inputs. Neural sẽ lấy tổng cótrọng số của tất cả các inputs. Nói như thế có nghĩa là neural sẽ lấy input thứ nhất, nhân với weight trên đường input thứ nhất, lấy input thứ hai nhân với weight của đường input thứ hai v.v , rồi lấy tổng của tất cả các kết quả thu được. Đường truyền nào có weight càng lớn thì tín hiệu truyền qua đó càng lớn, như vậy có thể xem weight là đại lượng tương đương với synapse trong neural sinh học. Có thể viết kết quả lấy tổng của neural như sau: Kết quả này sẽ được so sánh với threshold t của neural , nếu nó lớn hơn t thì neural cho output là 1, còn nếu nhỏ hơn thì output là 0. Ngoài ra ta cũng có thể trừ Lê Hoàng Vân – CH1301071 Trang 4 Bài thu hoạch môn Hệ hỗ trợ ra quyết định tổng nói trên cho t, rồi so sánh kết quả thu được với 0, nếu kết quả là dương thì neural cho ouput bằng 1, nếu kết quả âm thì output là 0. Dưới dạng toán học ta có thể viết output của neural như sau: Trong đó f là hàm Heaviside: Hình 2: Hàm Heaviside f được gọi là threshold function hay transfer function của neural , còn giá trị (-t) còn được gọi là bias hay offset của neural . Nếu chúng ta đưa thêm một input nữa vào, input thứ 0, có giá trị luôn luôn bằng 1 và weight luôn luôn bằng bias (-t) thì output của neural còn có thể viết dưới dạng: Lưu ý là chỉ số của tổng bây giờ bắt đầu từ 0 chứ không phải bằng 1 như trước nữa. Lê Hoàng Vân – CH1301071 Trang 5 Bài thu hoạch môn Hệ hỗ trợ ra quyết định 2. Kiến Trúc Mạng Là một hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay còn gọi là neural) tựa như neural thần kinh của não người, hoạt động song song và được nối với nhau bởi các liên kết neural. Mỗi liên kết kèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt hoặc ức chế giữa các neural. Có thể xem các trọng số là phương tiện để lưu trữ thông tin dài hạn trong mạng neural và nhiệm vụ của quá trình huấn luyện của mạng là cập nhật các trọng số khi có thêm thông tin về mẫu học. Hay nói một cách khác, các trọng số đều được điều chỉnh sao cho dáng điệu vào ra của mạng sẽ mô phỏng hoàn toàn phù hợp với môi trường đang xem xét. 2.1. Mạng Một Tầng Mạng một tầng với S neural được minh họa trong hình 3.1. Chú ý rằng với mỗi một đầu vào trong số R đầu vào sẽ được nối với từng nơ-ron và ma trận trọng số bây giờ sẽ có S hàng. Một tầng bao gồm ma trận trọng số, các bộ cộng, vector ngưỡng b, hàm chuyển và vector đầu ra a. i a i b Mỗi phần tử của vector đầu vào p được nối với từng nơ-ron thông qua ma trận trọng số W. Mỗi nơ-ron có một ngưỡng , một bộ cộng, một hàm chuyển f và một đầu ra . Cùng với nhau, các đầu ra tạo thành một vector đầu ra a. Thông thường thì số lượng đầu vào của tầng khác với số lượng nơ-ron.(R#S). Có phải tất cả các nơ-ron trong cùng một tầng phải có hàm chuyển giống nhau ? Câu trả lời là không; bạn có thể định nghĩa các nơ-ron trong một tầng có hàm chuyển khác Lê Hoàng Vân – CH1301071 Trang 6 Bài thu hoạch môn Hệ hỗ trợ ra quyết định nhau bằng cách kết hợp song song hai mạng nơ-ron giống ở trên. Cả hai sẽ có đầu vào giống nhau, và mỗi mạng sản xuất ra vài đầu ra. Ma trận trọng số cho các phần tử trong vector đầu vào W: W =               RSSS R R www www www ,2,1, ,22,21,2 ,12,11,1 Lê Hoàng Vân – CH1301071 Trang 7 Bài thu hoạch môn Hệ hỗ trợ ra quyết định ∑ ∑ ∑ f f f 1 p 2 p 3 p 1,1 w RS w , 1 a 2 a S a 1 b 2 b S b 1 n 2 n S n 1 1 1 a = f(Wp+b) S p     Hình 3:Mô hình mạng 1 lớp Lê Hoàng Vân – CH1301071 Trang 8 Bài thu hoạch môn Hệ hỗ trợ ra quyết định Các chỉ số hàng của các phần tử trong ma trận W chỉ ra nơ-ron đích đã kết hợp với trọng số đó, trong khi chỉ số cột cho biết đầu vào cho trọng số đó. Vì vậy, các chỉ số trong 2,3 w nói rằng đây là trọng số của đầu vào thứ 2 nối với nơ-ron thứ 3. 2.2. Mạng Đa Tầng Hình 4:Ví dụ về một mô hình mạng đa tầng Mô hình mạng neural ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn(hidden) và lớp xuất (output). Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập và chuyển vào mạng. Dữ liệu từ tất cả các nút trong lớp nhập được tích hợp – ta gọi là tổng trọng số – và chuyển kết quả cho các nút trong lớp ẩn. Gọi là “ẩn” vì các nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất, và chỉ có người thiết kế mạng mới biết lớp này (người sử dụng không biết lớp này). Lê Hoàng Vân – CH1301071 Trang 9 Bài thu hoạch môn Hệ hỗ trợ ra quyết định Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong lớp ẩn. Mỗi nút trong lớp xuất tương ứng với một biến phụ thuộc. 3. Các luật học Mạng neural nhân tạo phỏng theo việc xử lý thông tin của bộ não người, do vậy đặc trưng cơ bản của mạng là có khả năng học, khả năng tái tạo các hình ảnh và dữ liệu khi đã học. Trong trạng thái học thông tin được lan truyền theo hai chiều nhiều lần để học các trọng số. Có 3 kiểu học chính, mỗi kiểu học tương ứng với một nhiệm vụ học trừu tượng. Đó là học có giám sát (có mẫu), học không giám sát và học tăng cường. Thông thường loại kiến trúc mạng nào cũng có thể dùng được cho các nhiệm vụ. 3.1. Học có giám sát. Một thành phần không thể thiếu của phương pháp này là sự có mặt của một người thầy (ở bên ngoài hệ thống). Người thầy này có kiến thức về môi trường thể hiện qua một tập hợp các cặp đầu vào - đầu ra đã được biết trước. Hệ thống học (ở đây là mạng neural) sẽ phải tìm cách thay đổi các tham số bên trong của mình (các trọng số và các ngưỡng) để tạo nên một ánh xạ có khả năng ánh xạ các đầu vào thành các đầu ra mong muốn. Sự thay đổi này được tiến hành nhờ việc so sánh giữa đầu ra thực sự và đầu ra mong muốn. 3.2. Học không giám sát. Trong học không có giám sát, ta được cho trước một số dữ liệu x và hàm chi phí cần được cực tiểu hóa có thể là một hàm bất kỳ của dữ liệu x và đầu ra của mạng, f – hàm chi phí được quyết định bởi phát biểu của bài toán. Phần lớn các ứng dụng nằm trong vùng của các bài toán ước lượng như mô hình hóa thống kê, nén, lọc, phân cụm. 3.3. Học tăng cường. Lê Hoàng Vân – CH1301071 Trang 10 [...]... thuật toán lan truyền ngược có thểphát biểu nhưsau: Lê Hoàng Vân – CH1301071 Trang 26 Bài thu hoạch môn Hệ hỗ trợ ra quyết định 2 Sửdụng thuật toán lan truyền ngược Trên đây là thuật toán lan truyền ngược cơ bản, sau đây ta sẽ bàn vềcác khía cạnh ứng dụng của thuật toán lan truyền ngược như chọn lựa cấu trúc mạng, sự hội tụ và khả năng tổng quát hóa 2.1 Chọn lựa cấu trúc mạng Nhưta đã biết, thuật toán. .. ta tìm được sốlượng đơn vịphù hợp cho lớp ẩn Lê Hoàng Vân – CH1301071 Trang 19 Bài thu hoạch môn Hệ hỗ trợ ra quyết định CHƯƠNG III: THUẬT TOÁN LAN TRUYỀN NGƯỢC Cần có một sựphân biệt giữa kiến trúc của một mạng và thuật toán học của nó, các mô tảtrong các mục trên mục đích là nhằm làm rõ các yếu tố về kiến trúc của mạng và cách mà mạng tính toán các đầu ra từ tập các đầu vào Sau đây là mô tả của thuật. .. rằng ở đây thuật toán lan truyền ngược lỗi sửdụng cùng một k thuật giảm theo hướng nh thuật toán LMS Sựphức tạp duy nhất là ởchỗ đểtính gradient ta cần phải lan truyền ngược độnhạy cảm từcác lớp sau vềcác lớp trước như đã nêu trên Bây giờta cần biết điểm bắt đầu lan truyền ngược, xét độnhạy cảm s M tại lớp cuối cùng: Lê Hoàng Vân – CH1301071 Trang 25 Bài thu hoạch môn Hệ hỗ trợ ra quyết định Bởi vì:... trên cho tới khi neural học thuộc bài mới thôi Lê Hoàng Vân – CH1301071 Trang 12 Bài thu hoạch môn Hệ hỗ trợ ra quyết định CHƯƠNG II: MẠNG NEURAL TRUYỀN THẲNG 1 Kiến trúc cơ bản Để đơn giản và tránh hiểu nhầm, mạng truyền thẳng xét trong chương này là các mạng truyền thẳng có nhiều lớp Kiến trúc mạng truyền thẳng nhiều lớp (Multilayer Feed Forward - MLFF) là kiến trúc chủ đạo của các mạng neural hiện tại... trúc và thuật toán học là đơn giản và nhanh (Masters 1993) 1.1 Mạng truyền thẳng Một mạng truyền thẳng nhiều lớp bao gồm một lớp vào, một lớp ra và một hoặc nhiều lớp ẩn Các neural đầu vào thực chất không phải các neural theo đúng nghĩa, bởi lẽchúng không thực hiện bất kỳmột tính toán nào trên dữliệu vào, đơn giản nó chỉtiếp nhận các dữliệu vào và chuyển cho các lớp kế tiếp Các neural ởlớp ẩn và lớp... tham sốcủa mạng, nghĩa là mạng sẽhọc thông qua những sai sót của nó Về cơ bản, thuật toán lan truyền ngược là dạng tổng quát của thuật toán trung bình bình phương tối thiểu (Least Means Square-LMS) Thuật toán này thuộc dạng thuật toán xấp xỉđể tìm các điểm mà tại đó hiệu năng của mạng là tối ưu Chỉ số tối ưu (performance index) thường được xác định bởi một hàm số của ma trận trọng s và các đầu vào nào... thu hoạch môn Hệ hỗ trợ ra quyết định Đểdẫn đến quan hệ đó, ta sửdụng ma trận Jacobisau: Xét phần tử(i, j) của ma trận trên: trong đó: Nhưvậy, ma trận Jacobicó thểviết lại nhưsau: Lê Hoàng Vân – CH1301071 Trang 24 Bài thu hoạch môn Hệ hỗ trợ ra quyết định trong đó: Bây giờta viết lại quan hệhồi quy cho độnhạy cảm dưới dạng ma trận: Đến đây có thểthấy độnhạy cảm được lan truyền ngược qua mạng từlớp... thuật toán lan truyền ngược đã thực hiện tối thiểu hóa trung bình bình phương lỗi Điềuđó là do khảnăng của mạng bịgiới hạn bởi s neural trong lớp ẩn Tuy nhiên, cũng có trường hợp mà thuật toán lan truyền ngược không cho ta các tham sốcó thểdẫn đến kết quảchính xác nhưng mạng vẫn có thểxấp xỉ được hàm số Điều này xảy ra là do trạng thái khởi đầu của mạng, sau khi luyện, mạng có thểrơi vào điểm cực tiểu. .. Bài thu hoạch môn Hệ hỗ trợ ra quyết định hơn một lớp Việc huấn luyện mạng thường rất chậm khi mà sốlớp ẩn sửdụng càng nhiều Lý do sau đây giải thích cho việc sửụng càng ít các lớp ẩn càng tốt là: 1) Phần lớn các thuật toán luyện mạng cho các mạng neural truyền thẳng đều dựa trên phương pháp gradient Các lớp thêm vào sẽthêm việc phải lan truyền các lỗi làm cho vector gradient rất không ổn định Sựthành... hoạch môn Hệ hỗ trợ ra quyết định chính là điểm bắt đầu của phương trình phía trên Đầu ra của lớp cuối cùng được xem là đầu ra của mạng: 1.1 Chỉ số hiệu năng (performance index) Cũng tương tựnh thuật toán LMS, thuật toán lan truyền ngược sửdụng chỉsốhiệu năng là trung bình bình phương lỗi của đầu ra so với giá trị đích Đầu vào của thuật toán chính là tập các cặp mô tảhoạt động đúng của mạng: {(p1, t1), . MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC MÁY TÍNH Bài thu hoạch môn học Hệ hỗ trợ ra quyết định Đề tài TÌM HIỂU MẠNG NEURAL NHÂN TẠO VÀ THUẬT TOÁN LAN TRUYỀN NGƯỢC Giảng viên giảng. nghệ tri thức tiên tiến. Một trong những công nghệ đó là mạng neural nhân tạo. Bài tiểu luận này xin được trình bày một số nội dung khái quát về mạng neural nhân tạo và thuật toán lan truyền ngược trong. ngược trong mạng neural nhân tạo cùng một chương trình demo nhỏ để minh họa thuật toán. Lê Hoàng Vân – CH1301071 Trang 3 Bài thu hoạch môn Hệ hỗ trợ ra quyết định CHƯƠNG I: MẠNG NEURAL NHÂN TẠO 1.