J NHÀ XUẤT BẢN BÁCH KHOA - HÀ NỘI PGS TSKH TRÀN HOÀI LINH MẠNG NƠ-RÔN VÀ ỦNG DỤNG TRONG x LÝ TÍN HIỆU NHÀ XUÁT BẢN BÁCH KHOA - HÀ NỘI Bán quyền thuộc trường Đại học Bách Khoa Hà Nội Mọi hình thức xuất bản, chép mà cho phép văn bàn trường vi phạm pháp luật Mã sổ: 22 - 2014/CXB/42 - 80/BKHN Biên mục trẽn xuất phám Thư viện Quốc gia Việt Nam Trần Hoài Linh Mạng nơ-rôn ứng dụng xử iý tín hiệu/Trần Hoài Linh - H : Bách khoa Hà Nội, 2014 - 204tr ; 24cm Thư mục: tr 198 ISBN 978-604-911-627-8 Mạng thần kinh nhân tạo ứng dụng Xử lý tín hiộu Giáo trình 006.3 -d c 14 BKF0037p-ClP LỜI NÓI ĐÀU Cuốn giáo trình Mạng nơ—rôn ứng dụng x lý tín hiệu sử dụng để giảng dạy môn học tên cho sinh viên ngành Điện trường Đại học Bách Khoa Hà Nội Cuốn sách bao gồm chưcmg, trinh bày số kiến thức chuyên ngành tương đối ngành Trí tuệ nhân tạo mạng nơ-rôn nhân tạo sổ khả ứng dụng thực tế công cụ mạng nơ-rôn nhân tạo toán xứ lý tín hiệu thực tế Chương giới thiệu số khái niệm chuyên ngành mạng nơ-rôn nhân tạo điểm qua trình phát triển chuyên ngành Chương chương trình bày mô hình toán học mô nơ-rôn mạng nơ-rôn truyền thẳng Chương giới thiệu qua khái niệm mạng nơ-rôn có phản hồi số mạng hoạt động theo mô hỉnh Chương tóm tắt nguyên tắc xây dựng mô hình theo thuật toán tự tổ chức mạng Kohonen hoạt động theo nguyên tắc Chương tóm tắt ý tưởng lô-gic mờ mạng nơ-rôn lô-gic mờ Một số ứng dụng thực tế gồm toán dự báo, ước lượng, xứ lý thông tin ảnh, trình bày chương Chương giới thiệu số giải pháp mạch tích hợp mô phòng nơ-rôn mạng nơ-rôn Thông qua giáo trinh, hy vọng người đọc tìm hiểu nắm ý tường mạng nơ-rôn nhân tạo, từ cỏ thể triển khai ứng dụng công cụ toán xử lý tín hiệu phức tạp mà công cụ kinh điển tỏ không hiệu Trong lần xuất đầu tiên, giáo trình tránh khỏi sai sót Tác già mong nhận ý kiến đóng góp cùa bạn đọc Các ý kiến xin gừi Bộ môn Kỹ thuật đo Tin học công nghiệp, Viện Điện, trường Đại học Bách Khoa Hà Nội Xin chân thành cảm ơn Tác giá Kính tặng ng Bà nội - ngoại cùa cháu, Tặng Em Con thương yêu! MỤC LỤC LỜI NỎIĐẰU CHƯƠNG MỘT SỐ CÁC KHÁI NIỆM c B Ả N 1.1 Vị trí chuyên ngành mạng nơ-rỏn ứng dụng xử lý tín hiệu 1.2 Theo dòng lịch sử 12 1.3 Các trinh CO’ cùa mạng no>-rôn 18 1.3.1 Quá trinh học 18 1.3.2 Quá trinh kiểm tra 19 1.4 Các ứng dụng mạng no>-rỏn 19 CHƯƠNG MÔ HÌNH NƠ-RỎN 22 2.1 No>-rôn sinh học mô hình toán học no>-rôn nhản tạo 22 2.1.1 Bộ não người 22 2.1.2 Mô hình nơ-rôn nhân tạo cùa McCulloch - Pitts 24 2.1.3 Các dạng hàm truyền đạt khác 27 2.1.4 Ví dụ tinh toán đáp ứng đầu nơ-rỏn với hàm truyền đạt khác 29 2.2 Các trình học kiểm tra cùa no>-rôn 30 2.2.1 Quá trình học cùa nơ-rôn 30 2.2.2 Thuật toản học có hướng dẫn nơ-rôn 33 2.2.3 Một số phương pháp nâng cao chất lượng cùa trình học sử dụng gradient 41 2.2.4 Quá trình kiểm tra mạng nơ-rôn khổ tổng quát hóa 46 CHƯƠNG MÓ HỈNH MẠNG PERCEPTRON MLP VÀ CÁC THUẠT TOÁN HOẠT ĐỌNG 49 3.1 No>-rôn mạng no>-rôn nhân tạ o 49 3.2 Các cấu trúc mạng no>-rôn 50 3.3 Cấu trúc mạng MLP 52 3.4 Quá trinh học cùa mạng MLP 55 3.5 Thuật toán học theo bước giảm cực đại cho mạng M LP 58 3.6 Thuật toán Levenberg - Marquardt 59 3.7 Thuật toán học cùa Hebb .59 3.8 Vần đề mạng học khớp (overtitting) mạng học không đủ (undertitting) 61 3.9 Ví dụ minh họa ứng dụng 68 CHƯƠNG MẠNG CÓ PHÁN HỒI 71 4.1 Mạng RM LP .71 4.1.1 Cấu trúc cùa mạng RMLP 71 4.1.2 Thuật toán học cùa mạng RMLP 73 4.1.3 Ví dụ ứng dụng mạng RMLP .74 4.2 Mạng ELMAN 77 4.2.1 Cấu trúc mạng Elman 77 4.2.2 Thuật toán học cùa mạng Elman 79 4.2.3 Ví dụ ứng dụng mạng Elman .81 4.3 Mạng R TR N 84 4.3.1 Cấu trúc mạng RTRN 84 4.3.2 Thuật toán học mạng RTRN 85 4.3.3 Ví dụ ứng dụng mạng RTRN .86 4.4 Mạng HOPFIELD .89 4.4.1 Cấu trúc cùa mạng Hopíield 89 4.4.2 Thuật toán học mạng Hoptield 91 4.4.3 Ví dụ áp dụng 93 4.5 Mạng HAMMING 95 4.5.1 Cấu trúc mạng Hamming .95 4.5.2 Ví dụ minh họa 97 4.6 Mạng BA M 100 4.6.1 cáu trúc mạng BAM 100 4.6.2 Thuật toán học mạng BAM 101 4.6.3 Ví dụ minh họa 102 CHƯƠNG CÁC MẠNG HOẠT ĐỌNG THEO NGUYÊN TÁC Tự TỐ CHỨC.105 5.1 Mạng KOHONEN 105 5.2 Quá trình học mạng KOHONEN 111 5.2.1 Các thuật toán phân nhóm trực tuyến .111 5.2.2 Thuật toán phân nhóm ngoại tuyến 114 5.3 Ví dụ ứng dụng mạng KOHONEN 121 5.3.1 Xác định mẫu cho số liệu hai chiều 121 5.3.2 Xác định mẫu cho số liệu đa chiều 123 CHƯƠNG LÔ-GIC MỜ VÀ MẠNG NƠ-RÒN LÔ-GIC M Ờ 125 6.1 Khái niệm lô-gic m 125 6.2 Biều thức lô-gic mờ 127 6.2.1 Một số toán tử mờ 127 6.2.2 Các toán tử lô—gic m 130 6.3 Quy tắc suy luận mờ giá trị cùa quy tắc suy luận mờ 135 6.4 Tinh đáp ứng trường hợp hệ nhiễu quy tắc suy luận m 137 6.5 Một số mạng nơ-rôn lò-gic mờ 139 6.5.1 Mô hình mạng Mamdani/RBF .140 6.5.2 Mô hình mạng TS K 147 CHƯƠNG MỘT SỐ ỨNG DỤNG THỰC TẾ CÙA MẠNG NƠ -RÓN 165 7.1 Bài toán nhận dạng ảnh 165 7.2 Bài toán dự báo đình đáy đồ thị phụ tải điện 24h 167 7.3 Bài toán ước lượng trữ lượng gió 170 7.4 Nhận dạng tín hiệu điện tâm dồ 174 7.5 Bài toán phân loại thành phần ừong hỗn họp 178 CHƯƠNG CÁC GIẢI PHÁP MẠCH MÔ PHỎNG NƠ-RÔN VÀ MẠNG NƠ-RỐN 181 8.1 Giới thiệu chung 181 8.2 Một số mõ hình mạch mô phòng khối no>-rôn 182 8.2.1 Các khối nơ-rôn mạng truyền thẳng 182 8.2.2 Mạch analog mô hoạt động cùa nơ-rôn Kohonen (mạng SOM) 187 8.3 Một số mạch tích hợp mỏ nơ-rôn mạng no^-rôn 189 8.3.1 Micro Devices MD1220 .191 8.3.2 NLX-420 Neural Processor Slice 191 8.3.3 MT19003 NISP Neural Instruction Set Processor 191 8.3.4 80170NW ETANN 191 8.3.5 NeuroClassifier 192 8.3.6 Các card PC Accelerator Neurocomputers 192 TÀI LIỆU THAM KHẢO 198 Chương MỘT SỐ CÁC KHÁI NIỆM c BẢN Trong chương giới thiệu cho người đọc vai trò, vị trí khả ứng dụng thực tế chuyên ngành mạng nơ-rôn nhân tạo Đồng thời số mốc lịch sử trình mạng nơ-rôn điềm qua 1.1 VỊ TRÍ CÙA CHUYẾN NGÀNH MẠNG NƠ-RÔN VÀ ỨNG DỤNG TRONG Xử LÝ TÍN HIỆU Xử lý thông tin (Information Processing) nhiệm vụ gần lĩnh vực, xuất gần vấn đề, toán Nhìn chung để mô tả xử lý vấn đề, ta cần có thông tin đầu vào, yêu cầu thông tin đầu cách thúc chuyến đổi từ thông tin đầu vào thành thông tin đầu Đặc biệt từ bắt đầu xuất máy tính điện tử, với tốc độ tính toán ngày nâng cao mật độ phần tử tích hợp tham gia máy tính trình hỗ trợ phân tích thông tin, đánh giá lựa chọn giải pháp cho người ngày phổ biến Các máy tính hệ thống máy tính có khả tính toán cực lớn, thực khối lượng công việc mà người đảm nhiệm thời gian ngắn Đồng thời mức độ tích hợp máy tính số tăng cao nên thiết bị tính toán ngày nhỏ gọn, thích hợp cho việc xây dựng hệ thống xử lý thông tin linh hoạt di động Mặc dù vậy, thời điểm này, nhiều khả người (và nhiều sinh vật khác) chưa thể mô phòng tái tạo cách hiệu quà máy móc thiết bị Có thể lấy ví dụ khả nhận biết người qua ảnh, khả phân tích tiếng nói đổ hiểu nội dung, đặc biệt khà xử lý tình dựa kinh nghiệm đúc kết từ khứ, Vì song song với phát triển thông tin hệ thống xử lý thông tin, ta thấy xuất ngành ngành nghiên cứu Trí tuệ nhàn tạo (Artificial Intelligence) Một mục đích ngành Trí tuệ nhân tạo nghiên cứu phát triển mô hình mô khả tư duy, phân tích xừ lý thông tin người, cần nhấn mạnh khó khăn hiệm chưa giải nghiên cứu “Trí tuệ nhân tạo”, ta chưa có định nghĩa thức “Trí tuệ gì” Khái niệm nhà khoa học nhiều lĩnh vực (kể Triết học) nghiên cứu hoàn thiện Vì dễ hiểu theo dõi tài liệu khác nhau, ta thấy nhiều định nghĩa khác Trí tuệ (Intelligence) Trí tuệ nhân tạo (.Artificial Intelligence) Hình 1.1 Vị trí chuyên ngành tĩnh vực xừ lý tín hiệu Từ việc chưa có định nghĩa chuẩn Trí tuệ dẫn tới thực tế khó có chuẩn để đánh giá giải pháp (hay thiết bị, ) có “thông minh” hay không Ngay việc so sánh trực tiếp mức độ “thông minh” hai giải pháp hai đối tượng khác khó khăn Trong giáo trinh này, ta sừ dụng quan điểm hệ thống thông minh hệ thống mô khả cùa người đối tượng thông minh khác Quá trình nghiên cứu khả trước tiên nhằm trả lời câu hỏi “Một khả người đâu mà có? Khả thực nhu nào” Sau ta chuyển sang trình tái tạo lại khả máy móc, thiết bị để tạo giải pháp “thông minh” Lấy ví dụ hệ thống khí mô chế dịch chuyển cùa người Trước tiên ta cần làm rõ để chuyển động người cần cấu chấp hành (chân, tay, ), phối hợp cấu nào, đặc biệt trường hợp đặc biệt xử lý (ví dụ giải pháp lấy thăng bằng, ước lượng khoảng cách, xác định tuyến đường dịch chuyển, ) Sau ta tiến hành chế tạo cấu hệ thống Ta lấy ví dụ hệ thống tự động xác định đường cho rô-bốt, rô-bốt cần tự phân tích môi trường xung quanh từ xác định đường tối ưu cho Trong lĩnh vực ngành Trí tuệ nhân tạo, nghiên cứu chế hoạt động khả não người tạo thành chuyên ngành gọi Mạng nơ-rôn nhân tạo Các kết cho thấy não người tính toán, tư theo chế khác với máy tính số Bộ não biết đến máy tính phức hợp, phi tuyến tinh toán song song Hệ thống thần kinh cùa người bao gồm khoáng 1012 nơ-rôn khoảng 1014 ghép nối thần kinh chúng Chính hệ thống ghép nối phức tạp đưa lại cho khả phân tích xử lý thông tin, càm xúc, Bộ não có khả tồ chức, điều khiển phần tử bàn cùa (các nơ-rôn đơn lè) để thực nhiệm vụ mà ta mong muốn nhận dạng, điều khiển, phân tích hiệu quà nhiều so với máy tính Ta có thổ xct lại ví dụ khả nhìn người Đây toán phân tích nhận dạng ảnh (tín hiệu hai chiều, ba chiều, ) nhiệm vụ người, giúp cho người giao tiếp với môi trường xung quanh Bộ não người có khả phân tích hình ảnh theo nhiều nhiệm vụ khác (ví dụ ta tìm khuôn mặt quen đám đông, ước lượng khoáng cách, ước lượng vận tốc chuyển động đối tượng quan sát, ) khoảng thời gian từ 100 đến 200 ms, tốc độ mà máy tính phần mềm tính toán chưa thê đạt tới gần Một ví dụ khả nghe phân tích âm Chì xét khả nghe hiểu ngoại ngừ tiếng địa phương người nhiệm vụ khó khăn xây dựng chương trinh mô Đen chương trình chi đạt kết định ban đầu Tiếp theo khả chọn lọc nguồn âm (ta phân biệt âm cùa nhạc cụ dàn hoà tấu, tập trung nghe lời nói môi trường nhiều tiếng ồn, phân biệt âm bất thường xung quanh, ) Như đà đề cập trên, việc tìm hiểu khả não người tìm cách tái tạo lại khả máy móc, thiết bị hay phần mềm tính toán nhiệm vụ nghiên cứu chuyên ngành “Mạng nơ-rôn nhân tạo” Trong khuôn khổ giáo trình này, ta tập trung riêng cho lĩnh vực khả xử lý tín hiệu hệ thống thần kinh phương pháp mô để tái tạo v ề mặt cấu trúc từ sinh ra, não có cấu trúc phức tạp Sau não tiếp tục phát triển số lượng nơ-rôn ghép nối thời gian ngắn (đến năm - tuổi) Sau thời gian đó, số lượng nơ-rôn nói - Mạch thực tính toán mạng nơ-rôn cách song song theo cấu trúc mạng Khi đỏ tốc độ tín toán xử lý đưa đáp ứng đầu tăng lên nhiều lần Neu ta phân chia theo khả mô phòng thông số: - Mạch chì mô thông số hệ số khuếch đại, hệ số trọng tâm, độ mở, Các thông số lưu trừ nhớ cùa mạch truy nhập để phục vụ tính toán cần - Mạch có thông số mã “cứng” thông qua giá trị thực phần từ mạch Các thông số thể qua giá trị điện trở giá trị điện dung tụ điện, tần số mạch tạo xung, Khi việc sử dụng thông số tính toán nhanh chóng thuận tiện hom so với trường hợp thông số lưu nhớ Đồng thời phần từ quan trọng mạng nơ-rôn hệ số ghép nối nên nhiều trường hợp, mạch mô mạng nơ-rôn xếp hạng đánh giá thông qua số lượng ghép nối xử lý đom vị thời gian (cps - connections per second) Ta cỏ hai trường hợp cùa cps cần ý phân biệt là: Số cps trình học (ta gọi cups - connection updates per second)', số cps trình kiểm tra Trên hình 8.9 số thông số hệ thống mạch mô tốc độ hoạt động mạch đo theo cps [Rojas 1996], 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: PC/AT SUN VAX Symbolics ANZA Delta Transputer Mark 111, V Odyssey MX-1/16 CM-2 (64K) Wirp(10) Butterfly (64) CRAY XMP 1-2 Hình 8.9 Số lượng trọng số ghép nối tốc độ cập nhật số giải pháp mạch Từ hình 8.9 ta thấy máy tính cá nhân (PC/AT) có khả cập nhật khoảng 103 cps, máy tính CM-2 thực tới 106 cps Đổ thuận 190 tiện, ta gặp bội số cùa cps kcps = 1.000 cps, Mpcs = 1.000.000 cps, Trong phần tiếp sau, ta giới thiệu số IC chế tạo để mô mạng nơ-rôn bàn 8.3.1 Micro Devices MD1220 IC Micro Devices MD1220 coi IC mô phòng mạng nơ-rôn Mỗi IC cỏ đầu vào hoạt động theo hàm ngưỡng, mồi đầu vào có kênh đầu với hệ số khuếch đại mã hóa 16—bit Tốc độ IC đạt khoảng 9.10fi MCPS Ta có thổ sử dụng nhiều IC đổ tạo thành mạng lớn 8.3.2 NLX-420 Neural Processor Slice Dòng 1C tương tự với MD1220 IC NLX-420 Neural Processor Slice Neeuralogix Mỗi 1C cỏ 16 khối ghép nối cho tín hiệu đầu vào 16 bít tín hiệu đầu vào nhân với trọng số khối ghép nối (các trọng số lưu trữ bên khối ghép nối nạp vào từ bên ngoài) Để thuận tiện cho việc xây dựng mạng, 16 kênh 1—bit đầu vào cấu hình thành 16 đầu vào bít đầu vào bít hay đầu vào bít hay đầu vào 16 bít Các tín hiệu đầu từ 16 khối ghép nối tổng lại đưa qua khối hàm truyền đạt tuyến tính đoạn (ở dạng LUT - Look Up Table) để tạo thành tín hiệu đầu 16 bít IC cho phép tạo kênh phản hồi để tạo thành cấu trúc mạng hồi quy Nhiều IC NLX-420 ghép nối phối hợp để tạo thành mạng có cấu trúc phức tạp 8.3.3 MT19003 NISP Neural Instruction Set Processor Công ty Micro Circuit Engineering sản xuất IC MT19003 NISP Neural Instruction Set Processor [MCE 1994] HWSI (Hitachi Wafer Scale Integration) [Yasungal990], IC N1SP có lõi vi xử lý dòng RISC với lệnh chuyên dùng cho mạng truyền thẳng Tốc độ tính toán NISP đạt tới 40MCPS Còn IC HWSI sừ dụng đổ mô phòng mạng Hopfield với 18 khối tính toán tốc độ đạt tới khoảng 300 MCUPS [Glesner94] 8.3.4 80170NW ETANN Mạch tương tự mô mạng nơ-rôn đau tiên sản xuất hàng loạt dòng sản phẩm 80170NW ETANN (Electrically Trainable Analog Neural Network) Intel với 64 nơ-rôn 10280 ghép nối khối [Intel91] Mạch có cấu trúc mềm dẻo, cho phcp ta cấu hình mạng hai lớp ba lớp với số nơ-rôn thay đổi lớp Tuy nhiên giá trị trọng số ghcp nối cần nạp từ bên mạch không trang bị chức học cho trọng số ghép nối 191 8.3.5 NeuroClassifier Viện MESA Research Institute Đại học Twente chế tạo NeuroClassificr với 70 đau vào tương tự, nơ-rôn ẩn đầu tương tự Các trọng số ghép nối mã hóa bít, tốc độ xử lý thông tin đạt 20 GCPS Công ty Ricoh Company sử dụng giải pháp thay đổi độ rộng xung đế mô phòng thay đổi trọng số ghép nối nơ-rôn Công ty chế tạo dòng RN-100 mô phòng nơ-rôn với tối đa đầu vào đầu ra, dòng RN-200 mô 16 nơ-rôn, nơ-rôn có tối đa 16 ghép vào/ra [Eguci90] 8.3.6 Các card PC Accelerator Neurocomputers Ngoài giải pháp IC mạch hoạt động độc lập, ta gặp giải pháp mạch chuyên dụng cắm trẽn PC Bàng lliệt kê số mạch chuyên dụng sử dụng Các mạch thường trang bị thư viện hàm xử lý tín hiệu cho nhiều dạng mạng khác Một sổ mạch tích hợp DSP đe tăng tốc độ tính toán trình xử lý tín hiệu (đặc biệt trình học) Ví dụ mạch CNAPS công ty Adaptive Solutions sử dụng từ đến IC, Inova N64000 chạy với máy tính có hệ điều hành UNIX, B ả n g M ộ t số c a rd c h u y ê n d ụ n g d ù n g tro n g m ô p h ò n g m n g n o *-rô n Tên card 192 Tên vi x lý trung tâm AND Hnct Transputer 1.0 Transputer T400 BrainMaker Accel TI TMS320C25 DSP Current Tech MM32k Prop 2048 PE/chip HNC Balbo 860 Intel i860 IBM ZISC ISA IBM ZISC036 Neural Tech NT6000 TI TMS320C20 DSP NeurodynamX XR50 Intel i860 Nestor Ni 1000 Nestor Bi 1000 Rapid Imageing 0491E1-ISA Intel ETANN Vision Harvest NeuroSim Intel i860 Ward Sys NeuralBoard InovaN64000 H N C SNAP HNC 100 NAP Siemens SYNAPSE-1 Siemens MA-16 a) Carci HNC SNAP Mạch HNC SNAP gồm hai mạch VME, mạch có IC NAP 100 Mạch PC điều khiển thông qua card điều khiển HNC Balboa kèm h) CNAPS cùa hãng Adaptive Solutions Đây hệ thống xây dựng dựa DSP CNAPS-1064 có 64 khối tính toán song song ghép nối theo chuẩn SIMD Mỗi khối tính toán có kB nhớ thực phép tính số nguyên với toán hạng bít, bít, 16 bít với tốc độ 1,28 triệu phcp tính nhàn cộng mili giây Ta sử dụng khối tính toán đề mô nơ-rôn Các thư viện kèm cho phép thực thuật toán học theo lan truyền ngược sai số với tốc độ 1,16 triệu phép tính nhân cộng mi li giây (tương đương với 293 nghìn trọng số ghép nối cập nhật) b) a) Hình 8.10 CNAPS - 1064 a) Mặt trên; b)Mặt c) IBM ZISC036 Dòng ZISC036 (Zero Instruction Set Computer) IC số 144 chân với 64 đầu vào bít 36 nơ-rôn (khối tính toán) với hàm truyền đạt xuyên tâm (mạng RBF) Mỗi khối tính toán lưu trữ véc-tơ mẫu bít đe tính khoảng cách tới véc-tơ đầu vào theo hai công thức: N - Khoảng cách Manhattan í/(x,c) = 2^\X' -C j| i=l - Khoảng cách Chebyshev d( x, c) = max lx - c l i=l+/v' ' Giá trị khoảng cách rời rạc hóa 14 bít đưa đầu nơ-rôn IC cho phép điều chinh thích nghi vị tri nơ-rôn mẫu trọng số để phù hợp với số liệu cho trước Thời gian học mẫu số liệu xấp xi / J S Thế hệ dòng sản phẩm ZISC78 (gồm 78 nơ-rôn, đóng gỏi IC ÌOO chân) CogniMem IK ( 1024 nơ-rôn, đóng gói IC ÌOO chân) 193 d) IC SAND DataFactory SAND/1 (Simple Applicable Neural Device) mạch có khâ mô phòng nhiều mạng nơ-rôn mạng MLP, RBF Kohonen SAND/1 có tốc độ xử lý 200 MCPS sử dụng song song nhân 16 bít cộng 40 bít với đồng hồ 50 MHz SAND mô phòng mạng truyền thẳng với ba lớp ẩn 512 nơ-rôn đầu vào Trên sờ SAND/1 ta có mạch Neuroboard ghép nối với PC theo chuẩn PCI Mạch có thổ tích hợp tới khối SAND/1 điều khiển bời thư viện NeuroLution kèm theo a) b) Hình 8.11 SAND IC SAND Board vói SAND IC e) 3DANN cùa Irvine Sensors Công ty Irvine Sensors dã thiết kế giải pháp xếp chồng nhiều tầng IC để nâng cao độ tích hợp mạch Cũng mà dòng sản phẩm có tên gọi 3D (ba chiều) Năm 1998, công ty thắng thầu cung cấp giải pháp tích hợp cho quân đội Mỹ Cũng lý mà ứng dụng phát triển không công bố rộng rãi Hình 8.12 Hình dạng bên IC 3DANN 194 Ị) ETANN 80170NX Mạch ETANN 80170NX Intel (Electrically Trainable Analog Neural Network): mạch tương tự có tới 64 đầu vào (từ đến 3V), 64 nơ-rôn với hàm truyền đạt sigmoid (có thề chia làm hai lớp ẩn) 64 nơ-rôn đầu Các trọng số ghép nối số hóa với độ phân giải thấp bít Hình 8.13 Board ETANN Intel IC không tích hợp thuật toán học nên trọng số ghép nối cấu trúc cần thiết kế bên (có phần mềm tích hợp kèm để hồ trợ) nạp xuống mạch Intel cung cấp bo mạch tích hợp IC ETANN để tăng khả ghép nối mở rộng cấu trúc mạng mô g) NeuFuz/COP8 National Semiconductor Đây sổ giải pháp dùng đổ mô hệ thống nơ-rôn lô-gic mờ IC cho phép xử lý hệ nhiều luật suy luận mờ dạng “if then ”, đồng thời thông số cúa hệ mờ điều chinh thích nghi (bàng phẩn mềm tích hợp PC) cho phù hợp với mẫu số liệu Mạch có tối đa bốn đầu vào, đầu vào có ba hàm phụ thuộc mờ hóa đầu h) NeuriCam NC3001 (TOTEM) Được phát triển công ty IRST phối hợp với trường Đại học Trento IC cỏ đầu vào 16 bít, trọng số ghép nối bít đầu 32 bít, 32 khối nhân/cộng xử lý song song IC có thổ mô mạng có tới 16 đầu vào, 16 nơ-rôn lớp ẩn đầu IC trang bị tích hợp thuật toán học mạng hoạt động với tốc độ l GCPS đồng hồ hệ thống 32 MHz 195 Hình 8.14 Hình dạng bên board mạch chứa 1C NeuriCam i) BraùĩMaker Accelerators BrainMaker Accelerators giải pháp bo mạch tích hợp với PC qua chuẩn ghép nối ISA, có tốc độ xừ lý lẽn tới GCPS, nhớ MB cho phép lưu trữ 600.000 trọng số ghép nối 250 KB liệu số Bộ nhớ mở rộng tới 32 MB Hình 8.15 Bo mạch BrainMaker tích hợp card chuấn ISA j) pRAM-256 UCLi Ltd IC pRAM-256 mô hệ có 256 nơ-rôn, có tích hợp thuật toán học bo mạch Khi hoạt động với đồng hồ hệ thống 33 MHz, IC thực bước lặp thuật toán học vòng không 0,25 ms Công ty UCLi Ltd cung cấp mạch tích hợp khối pRAM-256 có thồ ghép nối với PC đc thực mô phòng mạng nơ-rôn cỏ tới 1280 nơ-rôr Hình 8.17 IC đom pR A M -256 mạch tích hợp chứa IC đom 196 k) N l1000 cùa Nestor Có khả mô phòng nơ-rôn RBF Mạch có 256 đầu vào, lưu trừ tới 1024 mẫu tín hiệu Các tín hiệu rời rạc hóa với độ phân giải bít Mạng có tốc độ xử lý 25 / J S mẫu N 0 -0 Hình 8.16 Cấu trúc bên N1-1000 197 TÀI LIỆU THAM KHẢO Abuelma’ati M.T., Shwehneh A., A Reconfigurable Satlin/Sigmoid/Gaussian/Triangular Basis Functions Computation Circuit, IEEE Asia Pacific Conference on Circuits and Systems, p 1172 - 1175, 12/2006 Ackley D.H., Hinton G.E., Sejnowski T.J., A Learning Algorithm fo r Boltzmann Machines, Cognitive Science, vol 9, p 147 - 169, 1985 Aspray W., Burks A., Papers on John von Neumann on Computing and Computer Theory, Charles Babbage Institute Reprint Series for the History of Computing, vol 12, Cambridge, MA: MIT Press, 1986 Barto A.G., Sutton R.S., Anderson C.W., Neuronlike adaptive elements that can solve difficult learning control problems, IEEE Transactions on Systems, Man and Cybernetics, vol SMC-13, p 834 - 846, 1983 Bezdek J C., Pattern Recognition with Fuzzy Objective Function Algoritms, Plenum Press, New York, 1981 Blum, A (1992), Learning boolean functions in an infinite attribute space, Machine Learning, 9(4), p 373 -3 , 1992 Boger, Z., Guterman, H., Knowledge extraction from artificial neural network models, IEEE Systems, Man, and Cybernetics Conference, 1997 Boser 8., Guyon I., Vapnik V.N., A Training Algorithm fo r Optimal Margin Classifier Fifth Annual Workshop on Computational Learning Theory, p 4 -1 , 1992 Bozzola P., Bortolan G., Combi C., Pinciroli F va Brohct C., A hybrid neurofuzzy system fo r ECG classification o f myocardial infarction, Computers in Cardiology, p 241 -2 4 , 1996 10 198 Breiman L., Bagging predictors, Machine Learning, vol 24, p 123 - 140, 1996 11 Broomhead D.S., Lowe D., Multivariable functional interpolation and adaptive network, Complex Systems, vol 2, p 321 - 355, 1988 12 Brown T.H., Kairiss E W., Keenan C L., Hebbian synapses: biophysical mechanisms and algorithms, Annual Rev Neurosci., vol 13, p 475 - 511, 1990 13 Brudzewski K., Smart chemical sensing system fo r analysis o f multi-component mixtures o f gases, MST NEWS Poland 2, p - 11, 1996 14 Brudzewski K., Osowski S., Gas analysis system composed o f a solid state sensor array and hybrid neural network structure, Sensors and Actuators-B55, p - , 1999 15 Cajas Ramon y, Histologie du System Nerveux de 1'Homme et des Vertebres, Paris, 1911 16 Chow H S., Moody G B., va Mark R G., Detection o f ventricular ectopic beats using neural networks, Proc Computers in Cardiology, p 659 - 662, 1992 17 Deza E., Deza M M., Encyclopedia o f Distances, Springer, 2009 18 Dunn J C., A Fuzzy Relative o f the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters, Journal o f Cybernetics, vol 3, p 32 - 57, 1973 19 Eguci H., Furata T., Horiguchi H., Oteki S., Kitaguchi T., Neural Network LSI Chip with On-chip Learning, Proc Int Joint Conf on Neural Networks IJCNN'90, 1990 20 Faggin F., VLSI implementation o f neural networks, Tutorial Notes, International Joint Conference on Neural Networks, Seatle, 1991 21 Fischler M.A., Firschein O., Intelligence: The Eye, the Brain, and the Computer, Reading, MA: Addison - Wesley, 1987 22 Glencoe Science: Electricity and Magnetism, McGraw-Hill, 2001 23 Glcsner M., Pochmuller W., Neurocomputers: An Overview o f Neural Networks in VLSI, Chapman &Hall, London, 1994 24 Golub G.H., Van Loan C.F., Matrix computations, 3ed., The Johns Hopkins University Press, 1996 25 Grossberg S., How does a brain build a cognitive code?, Psychological Review, vol 87, p - , 1980 199 26 Hagan M., Mohammed B M., Training Feedforward Networks with the Marquardt Algorithm, IEEE Trans On Neural Networks 5(6), p 989 - 993, 1994 27 Hebb, D O., The organization o f behavior New York: Wiley & Sons, 1949 28 Heden B., Ohlin H., Rittner R va Edenbrandt L., Acute myocardial infarction detected in the 12-lead ECG by artificial neural networks, Circulation, vol 96, p 1798- 1802, 1997 29 Heim P., Vittoz E., Precise Analog Synapse fo r Kohonen Feature Maps, IEEE Journal on Solid State Circuits, vol 29, No 8, p 982 - 985, 8/2004 30 Intel, 80170NXETANN Data Sheet, Intel Corporation, 1991 31 Jane R., Olmos S., Laguna P va Caminal P., Adaptive Hermite models fo r ECG data compression: Performance and evaluation with automatic wave detection, Proc Computers in Cardiology, p 389 - 392, 1993 32 Kirkpatrick S., Gelatt C.D Jr., Vecchi M.P., Optimization by stimulated annealing, Science, vol 220, p 671 -6 , 1983 33 Kolmogorov A N., On the representation o f continuous functions o f several variables by superposition o f continuous functions o f one variable and addition, Dokl Akad Nauk SSSR, vol 114, p 953 - 956, 1957 34 Kosko B., Bidirectional Asociative Memories, IEE Trans On Systems, Man and Cybernetics, vol 18, No 1, p - , 1988 35 Lagerholm M., Peterson C., Braccini G., Edenbrandt L va Sornmo L., Clustering ECG Complexes Using Hermite Functions and Self-Organizing Maps, IEEE Transactions On Biomedical Engineering, vol 47, No 7, p 838 - 848, 2000 36 Laguna P., Jane R., Olmos S., Thakor N V., Rix H va Caminal P., Adaptive estimation o f the QRS complex wave features o f the ECG signal by the Hermite model, Med Biol Eng Comput., vol 34, p 58 - 68, 1996 37 Larson S., The shrinkage o f the coefficient o f multiple correlation, Journal of Educational Psychol., vol 22, p 45 - 5 , 1931 38 Li J., Michel A N., Porod W., Analysis and synthesis o f a class o f neural networks: linear systems operating on a closed hypercube, IEEE Transactions on Circuits and Systems, vol 36, no 11, p 1405 - 1422, 1989 200 39 Linh T H., Recurrent Neural Networks in classification and estimation problems, Master thesis, Warsaw University o f Technology, 1997 40 Linh T H., Neuro-fuzzy networks in classification and estimation problems, PhD thesis, Warsaw University of Technology, 2000 41 Linh T H., A Modified TSK Network and Its Application in Classification, International Journal of Information Technology, Vol 12, No 6, p 78 - 86, 2006 42 McCulloch W.S., w Pitts, A logical calculus o f the ideas immanent in nervous activity, Bulletin of Mathematical Biophysics, vol 5, p 11 -1 3 , 1943 43 Mark R., Moody G., MIT-BỈH arrhythmia database directory, MIT, 1988 44 MCE, MTI9003 Data Sheet, 1994 45 Mendel, J M., McLaren, R w., Reinforcement learning control and pattern recognition systems, Adaptive, Learning and Pattern Recognition Systems: Theory and Applications, p 287 - 318 Academic Press, New York, 1970 46 Minsky M.L., Papert S.A., Perceptrons: An Introduction to Computational Geometry, Cambridge, MA:MIT Press, 1969 47 Morabito M., Macerata A., Taddei A Marchesi c., QRS morphological classification using artificial neural networks, Proc Computers in Cardiology, p 181 - 184,1991 48 Nhu (Nguyễn Quân), ứng dụng trí tuệ nhân tạo toán dự bảo phụ tải cho hệ thống điện, Luận án Tiến sỹ Đại học Bách Khoa Hà Nội, 2011 49 Nhượng (Đinh Văn), Phương pháp xây dựng tự động hệ điều khiển mờ phân loại sản phẩm dây chuyển sản xuất gạch ôp lát, Luận án Tiên sỹ Đại học Bách Khoa Hà Nội, 2010 50 Nigrin A., Neural Networks For Pattern Recognition, Cambridge MA: The MIT Press, 1993 51 Osowski s., Tran Hoai Linh, Classical and fuzzy neural networks fo r classification, ISTET, Magdeburg, p 261 - 265, 1999 52 Osowski s., Brudzewski K., Tran Hoai Linh, Gas sensing system based on fuzzy hybrid neural network, XXII KKTOiUE, Stare Jablonki, p 605 - 610, 1999 53 Osowski s., Tran Hoai Linh, Signal processing using neurofuzzy networks, Ukrainian-PolishWorkshop, Aluszta, p 67 - 73, 1999 201 54 Osowski S., Tran Hoai Linh, Selforganizing neural and neurofuzzy networks - a comparative study, Archives o f Electrical Eng., vol 48, p 9 -2 , 1999 55 Rochester N., Holland J.H., Haibt L.H., Duda W.L., Tests on a cell assembly theory o f the action o f the brain, using a large digital computer, IRE Transactions on Information Theory, vol IT-2, p 80 - 93, 1956 56 Rojas R., Neural Networks, Springer - Verlag, 1996 57 Rumelhart D.E., Hinton G.E., Williams R J., Learning representations o f backpropagation errors, Nature, vol 323, p 533 - 536, 1986 58 Sejnowski, T J., Storing covariance with nonlinearly interacting neurons, J 59 Math Biol Vol.4, p 303 - 321, 1977a Sejnowski, T J., Statistical constraints on synaptic plasticity, J Theoret Biol Vol 69, p -3 , 1977b 60 Shepherd G M., Koch C., Introduction to synaptic circuits, in “ The Synaptic Organization o f the Brain", p - 31, New York - Oxford University Press, 1990 61 Sornmo L Borjesson P O., Nygards M E va Pahlm O., A method fo r evaluation o f QRS shape features using a mathematical model fo r the ECG, IEEE Trans Biomed Eng., vol BME-28, p 713 - 717, 1981 62 Swingler K., Applying Neural Networks: A Practical Guide, Morgan Kaufmann, 1996 63 von der Malsburg C., Self—organization o f orientation sensitive cells in the striate cortex, Kybemctik, vol 14, p 85 - 100, 1973 64 Wang A., Ramsay B., A neural network based estimator fo r electricity spot­ pricing with particular reference to weekend and public holiday, Ncurocomputing, vol 23, p 47 - 57, 1998 65 Werbos P.J., Beyond regression: New tools fo r prediction and analysis in the behavioral sciences, PhD Thesis, Harvard University, Cambridge, MA, 1974 66 Williams R J., Zipser D., Experimental Analysis o f the Real-time Recurrent Learning Algorithm, Connection Science, vol 1, No 1, p 87 - 111, 1989 67 Yang T F., Devine B va Macfarlane P W., Use o f artificial neural networks within deterministic logic fo r the computer ECG diagnosis o f inferior myocardial infarction, J Electrocardiol., vol 27, p 188 - 193, 1994 202 68 Yasunga M., Msuda N., Yagyu M , Asai M., Yamada M., Masaki A., Design, Fabrication and Evaluation o f a 5-Inch Wafer Scale Neural Network LSI Composed o f 576 Digital Neurons, Proc Int Joint Conf on Neural Networks IJCNN, vol II, p 527 - 535, 1990 69 Zadeh L.A., Fuzzy sets Information and Control, vol 8, No 3, 338 - 353, 1965 70 Zadeh L.A., Fuzzy sets and systems, System Theory (editor Fox J.), Polytechnic Press, p 29 - 39, 1965 71 Zadeh L.A., Outline o f a new approach to the analysis o f complex systems and decision processes, IEEE Trans Systems, Man and Cybernetics, vol 3, p - 4 , 1973 72 Zimmermann H J., Fuzzy set theory and its applications-, Kluwer, Boston, 1985 73 Zurada J M., Introduction to Artificial Neural Systems, PWS Publishing Company, 1992 203 MẠNG NƠ-RON VÀ ỨNG DỤNG TRONG x LÝ TÍN HIỆU NHÀ XUÁT BẢN BÁCH KHOA - HÀ NỘI Ngõ 17 Tạ Quang Bừu - Hai Bà Trưng - Hà Nội ĐT: 04 38684569; Fax: 04 38684570 www.nxbbk.hust.edu.vn C h ịu tr c h n h iệ m x u ấ t h n : TS PHÙNG LAN HƯƠNG P h n h iệ n : GS TS NGUYÊN TRỌNG THUẦN TS ĐÀO TRUNG KIÊN B iê n tậ p : ĐỎ THANH THỪY S a b ả n in : VŨ THỊ HẰNG Trình bày: RIAREBAND In 500 khổ (16 X 24) cm Xương thực hành kỹ thuật in Đại học Bách Kioa Hà Nội số ngõ 40 Tạ Quang Bửu, Bách Khoa, Hà Nội Số đăng ký KHXB: 22 - 2014/CXB/42 - 80/BKHN; ISBN: 978-604-911-627-8 Số QĐXB: 71/QĐ - ĐHBK - BKHN ngày 06/06/2014 In xong nộp lưu chiểu quý II năm 2014 [...]... những hướng nghiên cứu được đầu tư mạnh nhất trong các mạng nơ- rôn hiện nay, đó là lý thuyết lô-gic mờ và các mạng nơ- rôn lô-gic mờ Trong hai chương cuối ta sẽ điểm qua về một số ví dụ minh họa ứng dụng mạng nơ- rôn trong các bài toán xử lý tín hiệu thực tế cũng như về các giải pháp phần cứng đc mô phỏng các mạng nơ rôn trên các thiết bị 21 Chương 2 MÔ HÌNH NƠ -RÔN Não bộ của con người bao gồm một hệ thống... được trong lĩnh vực nghiên cứu về mạng nơ- rôn Từ ngày công bố công trình của McCulloch và Pitts đến nay, mạng nơ- rôn đã liên tục phát triển và trở thành một lĩnh vực liên ngành, phối hợp các kết quả nghiên cứu về toán học, vật lý, sinh học, kỹ thuật, Trong tương lai gần, mạng nơ- rôn sẽ tiếp tục được phát triển trong cả lý thuyết, thực hành và ứng dụng 17 1.3 CÁC QUÁ TRÌNH c ơ BẢN CỦA MẠNG NƠ-RÔN Khi... nhạc Trong các chương sau của tài liệu này chúng ta sẽ lần lượt làm quen với một số đối tượng cơ bản trong các nghiên cứu về mạng nơ- rôn nhân tạo cũng như các ứng dụng cùa các mạng này trong các bài toán phân tích và xừ lý tín hiệu Đối với từng mạng nơ- rôn, ta sẽ xem xét về cấu trúc cùa mạng và các thuật toán học cho những cấu trúc này Trong chương 2 ta sẽ có các trình bày về mô hình nơ- rôn sinh học và. .. Và thay đổi thông số của các ghép nối đang có Quá trinh tự xây dựng và tổ chức này được thực hiện trong suốt cuộc đời của chúng ta Mạng nơ- rôn nhờ vào số lượng rất lớn các nơ- rôn và các ghép nối thần kinh của mình để tạo nên khả năng tính toán và xử lý thông tin Bên cạnh đó mạng nơ- rôn còn có khả năng học và tải tạo thông tin Khả năng học là khả năng mạng nơ- ron tự động điều chinh, thay đổi để xử lý. .. các cặp mẫu vào - r a ( \ , d ) (input-output samples), trong đó X là véc-tơ đầu vào mẫu còn d là đầu ra mẫu tương ứng (còn gọi là đáp án tương ứng với đầu vào x) Khi cho nơ- rôn học theo một mẫu, đầu tiên chúng ta cho X vào đầu vào của nơ- rôn, nơ- rôn sẽ tổ chức tính toán với đầu vào mới và đưa ra đáp ứng y Ta sẽ có đáp ứngy 31 thường sai lệch so với giá trị đích cần đạt là d, khi đó tín hiệu sai số... toán với chức năng học và thích nghi Công trình nghiên cứu [Rochester56] vào năm 1956 là một trong những công trình đầu tiên đề cập tới việc sử dụng máy tính điện tử để mô phỏng lý thuyết nơ- rôn và quá trình học của nơ- rôn cùa Hcbb Các kết quà tính toán cho thấy rằng để hoàn thiện hơn thì mạng nơ- rôn cần phải có cà các ghép nối với độ khuếch đại nhò hơn 1 (giảm mức tín hiệu đầu vào) và cả độ khuếch đại... học và mô hình nơ- rôn nhân tạo của McCulloch - Pitts Chương 3 giới thiệu về mạng nơ- rôn truyền thẳng nhiều lớp MLP (Muỉti-Layer Perceptron) Trong chương 4 là tập hợp một số mạng nơ- rôn có kênh phản hồi tín hiệu để tạo thành các cấu trúc hồi quy Mạng Kohonen với cơ chế tự tổ chức để phân nhóm trên cơ sờ các mẫu tín hiệu đầu vào được trinh bày trong chương 5 Chương 6 giới thiệu về một trong những hướng... cứu cùa Minsky và mờ rộng các đề xuất của McCulloch và Pitts, đồng thời kết hợp lý thuyết mạng nơ- rôn với lý thuyết tính toán và lý thuyết máy trạng thái 13 Thời gian này, với rất nhiều những kết quả thu được, đã từng có ý kiến cho rằng mạng nơ- rôn đơn giản có thể giải quyết được rất nhiều lớp bài toán Nhưng trong [Minsky69], Minsky và Papert đã chứng minh bằng toán học ràng mạng nơ- rôn truyền thẳng... hoạt của nơ- rôn còn thực hiện nhiệm vụ hạn chế mức tín hiệu trong mạng (limiting function) khi có trường hợp tín hiệu đầu vào nào đó vượt quá lớn Mô hình nơ- rôn được thể hiện trên hình 2.4a (dạng chi tiết) và 2.4b (dạng rút gọn), trong đó hàm kích hoạt được sử dụng là hàm ngưỡng với giá trị ngưỡng là 6 Hình 2.4 Mô hình nơ- rôn chi tiết (a) và biểu diễn đom giản hóa (b) Theo hình trên, ta có tín hiệu đầu... Mô hình đon giản cho quá trình học của một hệ thống Mạng nơ- rôn nhân tạo (hay còn gọi ngan gọn là mạng nơ- rôn) là một trong những chuyên ngành của Trí tuệ nhân tạo và là ngành được phát triển mạnh hiện nay với các ứng dụng rộng rãi trong nhiều vấn đề kỹ thuật Mạng nơ- rôn có nhiều tính chất cần thiết để có thể trở thành một công cụ tốt trong xừ lý tín hiệu: - Có khả năng tạo hàm truyền phi tuyến đa biến