Đang tải... (xem toàn văn)
MỞ ĐẦU 1. Tính cấp thiết của luận án Con người được xem là động vật cao cấp nhất nhờ vào khả năng hoạt động đặc biệt của bộ não. Não người phát triển mạnh mẽ và hoàn thiện cho các chức năng như tự điều khiển, lập kế hoạch, lập luận, và suy nghĩ trừu tượng. Các mô hình mô phỏng hoạt động của não người được phát triển để tạo ra các phần mềm máy tính ngày càng thông minh và xử lý thông tin nhanh hơn. Mạng nơron nhân tạo (ANN) là mô hình toán học mô phỏng hiệu quả hoạt động của các nơron sinh học. Trong đó, Bộ nhớ liên kết hai chiều (BAM), Bộ nhớ liên kết mờ (FAM), và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) là ba mạng nơron điển hình mô phỏng quá trình ghi nhớ thông tin. Quá trình học của ba mô hình này chưa tối ưu do hai nguyên nhân: (i) việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hợp lý và (ii) luật học lưu trữ chưa triệt để các thông tin học được từ dữ liệu huấn luyện. Hơn nữa, kết quả của quá trình học có ảnh hưởng lớn đến quá trình nhớ lại các mẫu đã lưu. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu ngày càng phức tạp của các ứng dụng thực. 2. Các đóng góp của luận án 1. Đề xuất thuật toán học mới cho BAM để cho quá trình huấn luyện diễn ra nhanh hơn và linh động hơn. Đồng thời, thuật toán hỗ trợ việc cải thiện khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao. 2. Cải tiến luật học của FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết của các cặp mẫu huấn luyện. Việc cải tiến này giúp nâng cao khả năng nhớ lại từ các mẫu vào có dạng nhiễu phức tạp. 3. Đề xuất hai luật học hiệu quả cho Fuzzy ART với hai ưu điểm gồm học mọi mẫu huấn luyện và giảm ảnh hưởng của các mẫu huấn luyện dị thường. Các kết quả của luận án đã được công bố và chấp nhận công bố trong 2 bài báo ở tạp chí ISI quốc tế, 7 báo cáo trong kỷ yếu có phản biện của hội nghị quốc tế được xuất bản bởi IEEE và Springer, và 2 bài báo ở tạp chí trong nước. 3. Bố cục của luận án Ngoài phần mở đầu và kết luận, luận án được tổ chức như sau.
Nông Th Hoa MÔ PHNG QUÁ TRÌNH GHI NH CA H THC Chuyên ngành: Khoa hc máy tính Mã s: 62.48.01.01 TÓM TT LUN ÁN TI THÔNG TIN Hà Ni 2014 Công trình được hoàn thành tại: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội. Người hướng dẫn khoa học: PGS.TS. Bùi Thế Duy Phản biện 1: Phản biện 2: Phản biện 3 Luận án tiến sĩ sẽ được bảo vệ trước hội đồng cấp Đại học Quốc gia chấm luận án tiến sĩ họp tại………………………………………………………… Vào hồi giờ ngày tháng năm Có thể tìm hiểu luận án tại: -Thư viện Quốc gia Việt Nam -Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội 1 MỞ ĐẦU 1. Tính cấp thiết của luận án ng vt cao cp nht nh vào kh c bit ca b i phát trin mnh m và hoàn thin cho các ch u khin, lp k hoch, lp lung. Các mô hình mô phng hong ca não c phát tri to ra các phn mm máy tính ngày càng thông minh và x lý thông M-ron nhân to (ANN) là mô hình toán hc mô phng hiu qu hong ca các -ron sinh h (BAM) (FAM), và (Fuzzy ART) - t nhân: (i) vic gn trng s cho các mu trong tp hun luyp lý và (ii) lut hc các thông tin hc t d liu hun luyn. Ha, kt qu ca quá trình hc có ng ln quá trình nh li các my, vic nâng cao cht ng ca quá trình hc là ht sc cn thi c các yêu cu ngày càng phc tp ca các ng dng thc. 2. Các đóng góp của luận án 1. BAM 2. FAM V này 3. Fuzzy ART u IEEE và Springer 3. Bố cục của luận án 2 Chương 1 trình bày v bài toán mô phng quá trình ghi nh thông tin ca h th- ron sinh hu tiên, chúng tôi trình bày các hiu bin nht v -ron sinh hkin thc quan trng v lut hc ca ANN c tng hp . Chương 2 cung cp các kin th mô t u và ci tia logic m và toán hc trình bày. Tip theo, các mô hình thuc hai nhóm B nh liên kt (AM) và (ART) c th hin theo th t phát trin các mô hình. Chương 3 xut mt thut toán hc mi BAM h th nghim vi các nhim v nhn dng mu cho thy BAM ci tin nh li t BAM khác. Chương 4 th hin hai lut hc hiu qu mi mu hun luyn và mt th tc tìm giá tr t t hc ca Fuzzy ART. Các thc nghim trên các b d liu chun cho thy Fuzzy ART vi lut hc ci tin nh li các cm tkhác. Chương 5 trình bày mt lut hc ci ti hiu qu ng thi c ni dung và s liên kt gia các cp mu. Các th nghim vi nhim v nhn dng các ch s và các nh t d liu nh ca hãng Corel cho thy FAM ci tin nh li t khác. 3 CHƯƠNG 1. BÀI TOÁN MÔ PHỎNG QUÁ TRÌNH GHI NHỚ THÔNG TIN CỦA HỆ THỐNG NƠ-RON SINH HỌC 1.1 Não người và nơ-ron sinh học 1.1.1 Não người V não ci là mt tng dày cha các -ron mà bao ph hu ht b não. V não c chia thành bn "thùy". Mi thùy có các vùng v não ln gn vi mt ch th u khin chuyng, ngôn ng, Mt s vùng c m rng rt mc bit là vùng cha ngôn ng. 1.1.2 Mạng nơ-ron sinh học Mt m-ron sinh hc là mt chu-ron có kt ni bên trong mà s kích hot c-ron to thành s truyn tín hiu gi-ron. Nu tng các tín hiu vào trên m-t quá mng nh-ron gt ting phn gò si trc và truyn các tín hin t này theo các si tr-ron khác. 1.2 Nơ-ron nhân tạo và mạng nơ-ron nhân tạo McCulloch và Pitts xut mt mô hình tính toán cho mt -ron sinh hc. -ron nhân to tính tng trng s ca các tín hiu vào và to ra mt tín hiu ra là 1 nu tng trng s ng nhnhc li, tín hiu ra là 0. Theo toán hc, (1.1) vu ra, w j là trng s ca tín hiu vào th j, ng, và n là s tín hiu vào. Các -ron nhân to c tng quát hóa theo các hàm kích hot. c s dng xuyên nht có dng: (1.2) vi là tham s lp -ron nhân to kt ni vi nhau to thành các m-ron nhân to. 1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng nơ-ron nhân tạo Mt ANN có hai quá trình gm quá trình hc và quá trình nh li. hc ca ANN là hc có giám sát, hc không giám sát, và lai gi hc giám sát và hc không giám sát. 4 Có bn kiu lut hc gm: lut li- error-correction), lut ca Boltzmann, lut ca Hebb, và lut hc cnh tranh. i vi lut li- mô hình hc có giám sát theo nguyên tc sau: dùng li do s chênh lnh gia tín hiu ra thc và tín hii i trng s kt ni sao cho gim dn c li. Lut hc Boltman là mt quy tc hc tp ngu nhiên mà u chnh trng s kt n trng thái ca -ron ng mt phân phi xác sut i. Lut hc ca Hebb c phát biu: Nu t bào thn kinh hai khp thn kinh c kích hot ng thi và liên tc thì s liên kt ca hai khp thn kinh s c t hc cnh tranh ch cho phép m-c kích hot cung cp tín hiu ra mt thi m. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT 2.1 Logic mờ 2.1.1 Định nghĩa Cho X là tp khác rng. Mt tp m A trên X ng mt hàm thucviên vi µ A (x) th hin m thành viên ca phn t x vào tp m A i vi mi x X. 2.1.2 Các phép toán với tập mờ Cho A, B là hai tp m trên X. Vi mi x X, Phép giao ca hai t (2.1) Phép hp ca hai t (2.2) Phép bù mt tp m (2.3) Phép ni m ca A, B là mt ánh x: (2.4) tha mãn C(0, 0) = C(0, 1) = C(1, 0) = 0 và C(1, 1) = 1. Mt kt ni m (2.5) tha mãn T(x, 1) = x vi x c gi là triangular norm hay t-norm. 5 Mt phân tách m là mt ánh x (2.9) tha mãn D(0, 0) = 0 và D(0, 1) = D(1, 0) = D(1, 1) = 1. Mt phân tách m (2.10) tha mãn S(1, x) = x vi x c gi là triangular co-norm hay short s-norm. Mt thao tác (2.14) c gi là gi ý m nu I m rng suy ding [0, 1] x [0, 1] vi I(0, 0) = I(0, 1) = I(1, 1) = 1 và I(1, 0) = 0. 2.2 Toán học hình thái 2.2.1 Lưới đầy đủ là mt tp có th t, tng phn L i tp con có mt chn trên và chi trong L. Lp các tp m k tha c ca chu k [0, 1]. 2.2.2 Các thao tác cơ bản của hình thái toán học Phép co rút là mt ánh x t m n m M tha mãn công thc sau: (2.18) Phép giãn n : L M tha mãn công thc sau: (2.19) 2.3 Mô hình AM 2.3.1 Khái niệm về AM AM là mt cu trúc ni dung-a ch mà ánh x các mu d liu vào sang các mu d liu ra. Mt cu trúc ni dung-a ch là mt dng b nh mà cho phép nh li d liu da vào m gia mu d liu vào và các m nh. 2.3.2 Hoạt động của AM AM hong hai dng gm t liên kt và liên kt khác loi. B nh dng t liên kt mng nht vi mu vào hin ti. dng liên kt khác loi, 6 mu vào v ni dung, kinh dó liên quan vi m AM có hai quá trình là 2.3.2 Một số đặc điểm của AM - - - 2.4 Mô hình BAM 2.4.1 Khái niệm về BAM BAM là mt dng ANN n hình th hin cu trúc b nh liên kt vi kh li theo c ng. BAM là ANN . Hình 2.1: Cấu trúc tổng quát của mô hình BAM 2.4.2 Quá trình học của BAM Quá trình này W k (A k ,B k ) (2.20) A k m B k n Tp (2.21) v là mt hng s. 7 2.4.3 Quá trình nhớ lại của BAM Cho mt mu vào X, d liu vào ca m-ron theo công thc sau: (2.22) vi m là s chiu ca X, Input j là tng trng s ca các d liu vào c-ron j, X i là thành phn th i ca mu d liu vào X. nh d li-ron bu ra: (2.23) v j ng c-ron j. Lp lc cp (X f ,Y f ng thái BAM hi t và Y f chính là mu ra ca BAM ng vi mu vào X. 2.4.4 Hàm năng lượng của BAM H (2.24) 2.4.5 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu Y.F. dùng s ln lp ti thi hc mt cp mu (MNTP). , W k (2.25) vi q k là s hin s ln ít nht dùng (A k , B k ) cho vic hm bo nh li c (A k , B k ). 2.5 Bộ nhớ liên kết mờ 2.5.1 Giới thiệu chung (A k , B k )G mà G(A k )=B k G G G A k và B k k=1, ,p. 8 2.5.2 Các FAM của Kosko và sự tổng quát hóa u tiên gm max-min FAM và max-product FAM nên tng quát hóa FAM thành FAM tng quát. p mu. Cho và Mô hình t-ron max-C nên có th dùng mt phép ni m C M , C P , C L . Quá trình hc thc hin sau: ọ (2.33) Cho mu vào x, mc nh li t mc tính bng: (2.34) 2.6 Mô hình ART 2.6.1 Cấu trúc của ART Cu trúc chung ca mc th hin trong Hình 2.4. Hình 2.2: Cấu trúc của một ART đơn giản Mt mn hình có hai tng: tng d liu vào (F1) và tng d liu ra (F2). ng ca mu khin bi hai h thng con: h thng chú ý và h thnh ng. 2.6.2 Một số mô hình cải tiến từ ART H c phát trin t gii quyt tc bao gm ART 1, ART 2, ART 3, ARTMAP, Fuzzy ART, Fuzzy ARTMAP. [...]... sẽ bị mất mát trong quá trình học do các FAM chuẩn chỉ lưu trữ tốt nội dung các mẫu hoặc chỉ lưu trữ tốt liên kết giữa các mẫu Thông tin bị mất mát trong quá trình học có thể dẫn tới khả năng nhớ lại bị hạn chế 5.4 Luật học cải tiến của FAM 5.4.1 Mô hình FAM với luật học cải tiến Thiết kế của mô hình FAM với luật học cải tiến được trình bày như sau: Quá trình học các cặp mẫu Việc học và lưu trữ p cặp... thay đổi trong mỗi lần lặp của quá trình học; và năng lượng của mỗi trạng thái ứng với mỗi cặp mẫu tiến đến 0 Vì vậy, BAM cải tiến sẽ có hai ưu điểm gồm (i) quá trình học các cặp mẫu thực hiện nhanh và linh hoạt hơn và (ii) có khả năng lưu và nhớ lại các cặp mẫu không trực giao 3.5 Kết quả thực nghiệm Các thử nghiệm được làm với ứng dụng nhận dạng mẫu Các BAM được dùng gồm BAM của Y.F.Wang (WBAM), Zhuang... các cặp mẫu khác trong vùng B Mô hình của T Wang và Zhuang Luật học của mô hình được thể hiện bởi công thức sau: (3.3) với số gia trọng số ∆Wij được tính bới công thức sau: (3.4) 10 với S(x)=0 nếu x>0 và S(x)=1 nếu x≤0 Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định Mô hình của Zhuang, Huang, và Chen Ban đầu, là bất kỳ Khi t>0 thì luật học của nơ-ron i ở vùng A được thể... luật học hiệu quả của Fuzzy ART mà học tốt hơn mọi mẫu huấn luyện, đồng thời giảm sự ảnh hưởng của các mẫu huấn luyện dị thường đối với kết quả của quá trình học Các tập dữ liệu chuẩn được chọn từ cơ sở dữ liệu UCI và Shape được dùng để đánh giá khả năng nhớ lại các cụm của Fuzzy ART cải tiến Với luật học cải tiến thứ nhất, 9 tập dữ liệu về các loài hoa lan, chất lương rượu vang, các dạng vỡ của kính... quả của các kiểm tra con của bảy thử nghiệm cho thấy khả năng của phân cụm của Fuzzy ART với luật học thứ hai cải thiện đáng kể đối với các tập dữ liệu nhỏ có độ phức tạp cao Đặc biệt, kết quả phân cụm là cao khi tậpdữ liệu có chứa nhiều mẫu CHƯƠNG 5 LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT MỜ 5.1 Giới thiệu chung FAM là AM mà học và nhớ lại với các mẫu được biểu diễn ở dạng tập mờ FAM có ưu điểm là nhớ. .. j = 1,…, n Luật học của của nơ-ron j ở vùng B được thể hiện bởi công thức sau: (3.8) với i = 1,…, m Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định 3.3 Lý do đề xuất thuật toán học mới Từ việc tổng hợp các nghiên cứu về BAM, tác giả nhận thấy mô hình BAM học nhiều lần sẽ phát huy tốt ưu điểm về phục hồi từ mẫu vào nhiễu Tuy nhiên, cần phải giảm thời gian học các mẫu mà vẫn... hiện diện của cả hai loại nhiễu co rút và giãn nở Bảng 5.4: Kết quả thử nghiệm của bộ nhớ liên kết khác loại với tập dữ liệu của Corel Junbo Lỗi Kosko Xiao IFAM ACAM 0.795 1.018 0.702 0.624 0.548 22 KẾT LUẬN Với mong muốn được hiểu biết sâu hơn về quá trình học của ANN để cải thiện chất lượng thông tin ra của các ANN, luận án đã hoàn thành và đạt được các kết quả sau: Đề xuất một thuật toán học mới cho... ART gốc với luật học có dạng: (4.1) với là phép AND của logic mờ Hầu hết các nghiên cứu khác cũng dùng luật học như công thức (4.1) Ngoài ra, các nghiên cứu này cũng thay đổi hàm đầu ra hay học bổ sung thêm quan hệ giữa các cụm Kenaya và đồng nghiệp đưa ra Euclidean ART để học với luật học như sau: (4.2) với Xjk là mẫu thứ k trong cụm j và L là số các cụm Yousuf và Murphey dùng luật học cải tiến sau... theo cả hai chiều BAM có các ưu điểm gồm nhớ lại một mẫu đã lưu từ một dữ liệu vào có chứa nhiễu hoặc không đầy đủ và hội tụ không điều kiện trong chế độ đồng bộ 3.2 Quá trình học của một số BAM với chiến lược học nhiều lần Mô hình của Y.F Wang, Cruz, và Mulligan Luật học được thể hiện bởi công thức sau: (3.1) với qi thể hiện số lần huấn luyện cặp (Ai, Bi) Để BAM nhớ lại đúng các cặp mẫu đã lưu, qi cần... ứng với mỗi giá trị của tham số tốc độ học 15 Nội dung thuật toán gồm các bước sau: Bước 1: Khởi tạo tham số tốc độ học dựa vào kích thước của tập dữ liệu để giảm thời gian tìm giá trị của tham số Sau đó, tính kết quả phân cụm của tập mẫu con Bước 2: Làm các bước sau: Bước 2.1: Tăng hoặc giảm giá trị của tham tốc độ số học theo các bước nhảy nhỏ như 5% giá trị của tham tốc độ số học hiện tại Bước 2.2: . tr-ron khác. 1.2 N -ron nh n t o và mạng n -ron nh n t o McCulloch và Pitts xu t m t mô hình t nh to n cho m t -ron sinh hc. -ron nh n t o t nh t ng trng s ca các t n hiu. là tham s lp -ron nh n t o k t n i vi nhau t o thành các m-ron nh n t o. 1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng n -ron nh n t o M t ANN có hai quá trình gm. CHƯƠNG 1. BÀI TO N MÔ PHỎNG QUÁ TRÌNH GHI NHỚ THÔNG TIN CỦA HỆ THỐNG N -RON SINH HỌC 1.1 N o người và n -ron sinh học 1.1.1 N o người V n o ci là m t tng dày cha các -ron mà