Đang tải... (xem toàn văn)
Trong những năm gần đây, người ta thường nhắc đến “Trí tuệ nhân tạo” như là một phương thức mô phỏng trí thông minh của con người từ việc lưu trữ đến xử lý thông tin
ĐỒ ÁN MÔN HỌC:TRÍ TUỆ NHÂN TẠO Sinh viên thực hiện:Nguyễn Trọng Đông Nguyễn Hoàng Tú ĐỀ TÀI:TỔNG QUAN VỀ MẠNG NƠ RON VÀ CÁC ỨNG DỤNG. A.ĐẶT VẤN ĐỀ: Trong những năm gần đây, người ta thường nhắc đến “Trí tuệ nhân tạo” như là một phương thức mô phỏng trí thông minh của con người từ việc lưu trữ đến xử lý thông tin. Và nó thực sự đã trở thành nền tảng cho việc xây dựng các thế hệ máy thông minh hiện đại. Cũng với mục đích đó, nhưng dựa trên quan điểm nghiên cứu hoàn toàn khác, một môn khoa học đã ra đời, đó là Lý thuyết Mạng neuron. Tiếp thu các thành tựu về thần kinh sinh học, mạng neuron luôn được xây dựng thành một cấu trúc mô phỏng trực tiếp các tổ chức thần kinh trong bộ não con người. Từ những nghiên cứu sơ khai của McCulloch và Pitts trong những năm 40 của thế kỷ, trải qua nhiều năm phát triển, cho đến thập kỷ này, khi trình độ phần cứng và phần mềm đã đủ mạnh cho phép cài đặt những ứng dụng phức tạp, Lý thuyết Mạng neuron mới thực sự được chú ý và nhanh chóng trở thành một hướng nghiên cứu đầy triển vọng trong mục đích xây dựng các máy thông minh tiến gần tới Trí tuệ con người. Sức mạnh thuộc về bản chất tính toán song song, chấp nhận lỗi của mạng neuron đã được chứng minh thông qua nhiều ứng dụng trong thực tiễn, đặc biệt khi tích hợp cùng với các kỹ thuật khác. Một trong những ứng dụng kinh điển của mạng neuron là lớp các bài toán nhận dạng mẫu, ở đó mỗi một mẫu là một tập hợp (hay một vector) các tham số biểu thị các thuộc tính của một quá trình vật lý nào đó (ví dụ tín hiệu tiếng nói). Ngoài sức mạnh vốn có, mạng neuron còn thể hiện ưu điểm của mình trong việc nhận dạng thông qua khả năng mềm dẻo, dễ thích nghi với môi trường. Chính vì vậy, có thể coi mạng neuron trước tiên là một công cụ để nhận dạng. Nhiều công trình nghiên cứu, nhiều ứng dụng thực nghiệm đã được thực hiện trên mạng neuron với mục đích nhận dạng và đã thu được những thành công to lớn 1.Cơ sở lý thuyết : Lý thuyết Mạng neuron Mạng neuron nhân tạo là một mô hình mô phỏng cấu trúc của bộ não con người. Hai thành phần chính cấu tạo nên mạng neuron là các neuron (mô phỏng các tế bào thần kinh) và các synapse (mô phỏng các khớp nối thần kinh). Trong kiến trúc của một mô hình kết nối, các neuron chính là các nút mạng, được liên kết với nhau thông qua các synpase, là các cung mạng. Neuron là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một syanpse. Đặc trưng của neuron là một hàm kích hoạt phi tuyến chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra. Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng neuron. Synapse là một thành phần liên kết giữa các neuron, nó nối đầu ra của neuron này với đầu vào của neuron khác. Đặc trưng của synapse là một trọng số mà mỗi tín hiệu đi qua đều được nhận với trọng số này. Các trọng số synapse chính là các tham số tự do cơ bản của mạng neuron, có thể thay đổi được nhằm thích nghi với môi trường xung quanh. Mạng tiến đa mức là một trong những kiến trúc mạng căn bản nhất, ở đó các neuron được chia thành từng mức. Có ba loại mức: mức đầu vào bao gồm các nút nguồn (không phải neuron) cung cấp các tín hiệu đầu vào chung nhận được từ môi trường; mức ẩn bao gồm các neuron không quan hệ trực tiếp với môi trường; mức đầu ra đưa ra các tín hiệu đầu ra cho môi trường. Lần lượt từ mức đầu vào tới mức đầu ra, cứ tín hiệu đầu ra của một nút mạng thuộc mức trước sẽ là tín hiệu đầu vào cho nút mạng thuộc mức tiếp sau. Từ kiến trúc này ta có thể hình dung mạng neuron như một bộ xử lý thông tin có nhiều đầu vào và nhiều đầu ra. Quá trình tích luỹ mạng (học) là một quá trình mà trong đó các tham số tự do (các trọng số synapse) được điều chỉnh nhằm mục đích thích nghi với môi trường. Đối với vấn đề học cho mạng neuron người ta quan tâm tới ba yếu tố sau: Quy tắc học: Phương thức nền tảng cho việc thay đổi trọng số syanapse (ví dụ: Quy tắc học hiệu chỉnh lỗi, Quy tắc học kiểu Heb, .). Mô hình học: Cách thức mạng neuron quan hệ với môi trường trong quá trình học (ví dụ: Mô hình học với một người dạy, .). Thuật toán học: Các bước tiến hành cụ thể cho một quá trình học. Thuật toán Back-propagation là thuật toán học kinh điển nhất và cũng được áp dụng một cách phổ biến nhất cho các mạng tiến đa mức. Nó được xây dựng trên cơ sở Quy tắc học hiệu chỉnh lỗi và Mô hình học với một người dạy. Thuật toán bao gồm hai giai đoạn tính toán: giai đoạn tiến mà các tín hiệu chức năng đi từ mức đầu vào tới mức đẩu ra của mạng nhằm tính toán các tín hiệu lỗi; giai đoạn lùi trong đó các tín hiệu lỗi quay trở lại từ mức đầu ra lần lượt qua các mức để tính các gradient cục bộ tại mỗi neuron. Để nâng cao tính năng của thuật toán, có khá nhiều kinh nghiệm thực tế được nêu thành quy tắc mà không được chứng minh một cách chặt chẽ. Các mạng hồi quy trễ là một lớp kiến trúc mở rộng tích hợp quan điểm về các synapse trễ và kiến trúc hồi quy dựa trên cơ sở mạng tiến đa mức. Một synapse trễ bao gồm nhiều nhánh, mỗi nhánh có trọng số riêng và đặc biệt là có một toán tử trễ theo thời gian (z -n ) nhằm quan tâm tới sự ảnh hưởng lẫn nhau giữa các neuron tại những tời điểm khác nhau. Lớp kiến trúc này được đưa ra để xử lý các tín hiệu có đặc tính thống kê biến thiên theo thời gian . 1.1 Mạng neuron - Mô phỏng trực tiếp bộ não con người Lý thuyết về Mạng nơ ron nhân tạo, hay gọi tắt là “Mạng nơ ron”, được xây dựng xuất phát từ một thực tế là bộ não con người luôn luôn thực hiện các tính toán một cách hoàn toàn khác so với các máy tính số. Có thể coi bộ não là một máy tính hay một hệ thống xử lý thông tin song song, phi tuyến và cực kỳ phức tạp. Nó có khả năng tự tổ chức các bộ phận cấu thành của nó, như là các tế bào thần kinh (neuron) hay các khớp nối thần kinh (synapse), nhằm thực hiện một số tính toán như nhận dạng mẫu và điều khiển vận động nhanh hơn nhiều lần các máy tính nhanh nhất hiện nay. Sự mô phỏng bộ não con người của mạng neuron là dựa trên cơ sở một số tính chất đặc thù rút ra từ các nghiên cứu về thần kinh sinh học. 1.1.1 S lc v cu trỳc b nóo con ngi H thng thn kinh ca con ngi cú th c xem nh mt h thng ba tng. Trung tõm ca h thng l b nóo c to nờn bi mt mng li thn kinh; nú liờn tc thu nhn thụng tin, nhn thc thụng tin, v thc hin cỏc quyt nh phự hp. Bờn ngoi b nóo l cỏc b tip nhn lm nhim v chuyn i cỏc kớch thớch t c th con ngi hay t mụi trng bờn ngoi thnh cỏc xung in; cỏc xung in ny vn chuyn cỏc thụng tin ti mng li thn kinh. Tng th ba bao gm cỏc b tỏc ng cú nhim v chuyn i cỏc xung in sinh ra bi mng li thn kinh thnh cỏc ỏp ng cú th thy c (di nhiu dng khỏc nhau), chớnh l u ra ca h thng. Các bộ tiếp nhận Các bộ tác động Mạng lưới thần kinh Các kích thích Các đáp ứng Hỡnh 1.1 Biu din s khi ca h thng thn kinh Hai trong s nhng thnh phn c bn ca b nóo m chỳng ta cn quan tõm n nh cỏc yu t quyt nh kh nng tớnh toỏn ca b nóo l cỏc t bo thn kinh (neuron) v cỏc khp ni thn kinh (synapse). Ngi ta c tớnh rng cú xp x 10 t neuron v 60 nghỡn t synapse trong v nóo con ngi. Cỏc neuron l cỏc n v x lý thụng tin c s ca b nóo vi tc x lý chm hn t nm ti sỏu ln cỏc cng logic silicon. Tuy nhiờn iu ny c bự p bi mt s lng rt ln cỏc neuron trong b nóo. Cỏc synapse v c bn l cỏc n v cu trỳc v chc nng lm trung gian kt ni gia cỏc neuron. Kiu synapse chung nht l synapse hoỏ hc, hot ng nh sau. Mt quỏ trỡnh tin synapse gii phúng ra mt cht liu truyn, cht liu ny khuch tỏn qua cỏc synapse v sau ú li c x lý trong mt quỏ trỡnh hu synapse. Nh vy mt synapse chuyn i mt tớn hiu in tin synapse thnh mt tớn hiu hoỏ hc v sau ú tr li thnh mt tớn hiu in hu synapse. Trong h thng thut ng v in, mt phn t nh vy c gi l mt thit b hai cng khụng thun nghch. Cú th núi rng tớnh mm do ca h thng thn kinh con ngi cho phộp nú cú th phỏt trin thớch nghi vi mụi trng xung quanh. Trong mt b úc ngi trng thnh, tớnh mm do c th hin bi hai hot ng: s to ra cỏc synapse mi gia cỏc neuron, v s bin i cỏc synapse hin cú. Cỏc neuron cú s a dng ln v hỡnh dng, kớch thc v cu to trong nhng phn khỏc nhau ca b nóo th hin tớnh a dng v bn cht tớnh toỏn. Trong b nóo, cú mt s lng rt ln cỏc t chc gii phu quy mụ nh cng nh quy mụ ln cu to da trờn c s cỏc neuron v cỏc synapse; chỳng c phõn thnh nhiu cp theo quy mụ v chc nng c thự. Cn phi nhn thấy rằng kiểu cấu trúc phân cấp hoàn hảo này là đặc trưng duy nhất của bộ não. Chúng không được tìm thấy ở bất kỳ nơi nào trong một máy tính số, và không ở đâu chúng ta đạt tới gần sự tái tạo lại chúng với các mạng neuron nhân tạo. Tuy nhiên, hiện nay chúng ta đang tiến từng bước một trên con đường dẫn tới một sự phân cấp các mức tính toán tương tự như vậy. Các neuron nhân tạo mà chúng ta sử dụng để xây dựng nên các mạng neuron nhân tạo thực sự là còn rất thô sơ so với những gì được tìm thấy trong bộ não. Các mạng neuron mà chúng ta đã xây dựng được cũng chỉ là một sự phác thảo thô kệch nếu đem so sánh với các mạch thần kinh trong bộ não. Nhưng với những tiến bộ đáng ghi nhận trên rất nhiều lĩnh vực trong các thập kỷ vừa qua, chúng ta có quyền hy vọng rằng trong các thập kỷ tới các mạng neuron nhân tạo sẽ tinh vi hơn nhiều so với hiện nay. 1.1.2 Mô hình của một neuron nhân tạo Để mô phỏng các tế bào thần kinh và các khớp nối thần kinh của bộ não con người, trong mạng neuron nhân tạo cũng có các thành phần có vai trò tương tự là các neuron nhân tạo cùng các kết nối synapse. Một neuron nhân tạo là một đơn vị tính toán hay đơn vị xử lý thông tin cơ sở cho hoạt động của môt mạng neuron. Sơ đồ khối của hình 1.2 chỉ ra mô hình của một neuron nhân tạo. Ở đây, chúng ta xác định ba thành phần cơ bản của một mô hình neuron: 1. Một tập hợp các synapse hay các kết nối, mà mỗi một trong chúng được đặc trưng bởi một trọng số của riêng nó. Tức là một tín hiệu x j tại đầu vào của synapse j nối với neuron k sẽ được nhân với trọng số synapse w kj . Ở đó k là chỉ số của neuron tại đầu ra của synapse đang xét, còn j chỉ điểm đầu vào của synapse. Các trọng số synapse cuả một neuron nhân tạo có thể nhận cả các giá trị âm và các giá trị dương. 2. Một bộ cộng để tính tổng các tín hiệu đầu vào của neuron, đã được nhân với các trọng số synapse tương ứng; phép toán được mô tả ở đây tạo nên một bộ tổ hợp tuyến tính. 3. Một hàm kích hoạt (activation function) để giới hạn biên độ đầu ra của neuron. Hàm kích hoạt cũng được xem xét như là một hàm nén; nó nén (giới hạn) phạm vi biên độ cho phép của tín hiệu đầu ra trong một khoảng giá trị hữu hạn. Mô hình neuron trong hình 1.2 còn bao gồm một hệ số hiệu chỉnh tác động từ bên ngoài, b k . Hệ số hiệu chỉnh b k có tác dụng tăng lên hoặc giảm đi đầu vào thực của hàm kích hoạt, tuỳ theo nó dương hay âm. Các tín hiệu đầu vào w k1 w k1 w k1 (.) . . . Hệ số hiệu chỉnh b k Bộ tổ hợp tuyến tính Hàm kích hoạt Đầu ra y k Các trọng số synpase v k x 1 x 2 x m Hỡnh 1.2 Mụ hỡnh phi tuyn ca mt neuron Di dng cụng thc toỏn hc, chỳng ta cú th mụ t mt neuron k bng cp cụng thc sau: u w x k kj j j m = = 0 (1.1) v y k = (u k +b) (1.2) ú x 1 ,x 2 , .,x m l cỏc tớn hiu u vo; w k1 ,w k2 , .,w km l cỏc trng s synapse ca neuron k; u k l u ra b t hp tuyn tớnh tng ng; b k l h s hiu chnh. H s hiu chnh b k l mt tham s ngoi ca neuron nhõn to k. Chỳng ta cú th thy c s cú mt ca nú trong cụng thc (1.2). Mt cỏch tng ng, chỳng ta cú th t hp cỏc cụng thc (1.1) v (1.2) nh sau: = = m j jkjk xwv 0 (1.3) v )( kk vy = (1.4) Trong cụng thc (1.3), chỳng ta ó thờm mt synapse mi. u vo ca nú l: x 0 =+1 (1.5) v trng s ca nú l w k0 =b k (1.6) Nh vy chỳng ta v li mụ hỡnh ca neuron k nh trong hỡnh 1.3. Trong hỡnh ny, nhim v ca h s hiu chnh l thc hin hai vic: (1) thờm mt tớn hiu u vo c nh l 1, v (2) thờm mt trng s synapse mi bng giỏ tr ca h s b k . Mc du cỏc mụ hỡnh trong hỡnh 1.2 v 1.3 l khỏc nhau v hỡnh thc nhng tng t v bn cht toỏn hc. w k1 w k1 w k1 (.) . . . w k0 =b k (hệ số hiệu chỉnh) Các tín hiệu đầu vào Bộ tổ hợp tuyến tính Hàm kích hoạt Đầu ra y k Các trọng số synpase w k0 Ddầu vào cố định x 0 =+1 x 1 x m x 2 v k Hỡnh 1.3 Mụ hỡnh phi tuyn th hai ca mt neuron Cỏc kiu hm kớch hot Hm kớch hot, ký hiu bi (v), xỏc nh u ra ca neuron. Di õy l cỏc kiu hm kớch hot c bn: 1. Hm ngng: i vi loi hm ny (mụ t trong hỡnh 1.4a), chỳng ta cú ( )v v v = < 1 0 0 0 nếu nếu (1.7) Trong cỏc ti liu k thut, dng hm ngng ny thng c gi l hm Heaviside. u ra ca neuron k s dng hm ngng s nh sau y v v k k k = < 1 0 0 0 nếu nếu (1.8) ú v k l u ra ca b t hp tuyn tớnh, cú ngha l k m j jkjk bxwv += = 1 (1.9) Mt neuron nh vy thng c gi l mụ hỡnh McCulloch-Pitts. 1 0 -2 2 ϕ (v) 0 1 0 -2 2 ϕ (v) 0 1 0 -2 2 ϕ (v) 0 (a) (b) (c) Hình 1.4 (a) Hàm ngưỡng, (b) Hàm vùng tuyến tính (c) Hàm sigma với tham số độ dốc a thay đổi 2. Hàm vùng tuyến tính: Đối với loại hàm này (mô tả trong hình 1.4b), chúng ta có −≤ −>≥+ +≥ = 2 1 ,0 2 1 2 1 , 2 1 ,1 )( v vv v v ϕ (1.10) Dạng hàm này có thể được xem như môt xấp xỷ của một bộ khuếch đại phi tuyến. 3. Hàm sigma: Hàm sigma là dạng chung nhất của hàm kích hoạt được sử dụng trong cấu trúc mạng neuron nhân tạo. Nó là một hàm tăng và nó thể hiện một sự trung gian giữa tuyến tính và phi tuyến. Một ví dụ của hàm này là hàm logistics, xác định như sau )exp(1 1 )( av v −+ = ϕ (1.11) ở đó a là tham số độ dốc của hàm sigma. Bằng việc biến đổi tham số a, chúng ta thu được các hàm sigma với các độ dốc khác nhau, như được minh hoạ trong hình 1.4c. Thực tế, hệ số góc tại v=0 là a/4. Khi tham số hệ số góc tiến tới không xác định, hàm sigma trở thành một hàm ngưỡng đơn giản. Trong khi một hàm ngưỡng chỉ có giá trị là 0 hoặc 1, thì một hàm sigma nhận các giá trị từ 0 tới 1. Cũng phải ghi nhận rằng hàm sigma là hàm phân biệt, trong khi hàm ngưỡng thì không (Tính phân biệt của hàm là một đặc tính quan trọng trong lý thuyết mạng neuron). Các hàm kích hoạt được định nghĩa trong các công thức (1.7), (1.10), (1.11) đều trong phạm vi từ 0 đến 1. Đôi khi có những yêu cầu xây dựng hàm kích hoạt trong phạm vi từ -1 đến 1, trong trường hợp này hàm kích hoạt được giả định có dạng đối xứng qua gốc toạ độ (hay có thể gọi là dạng phản đối xứng); nghĩa là hàm kích hoạt là một hàm lẻ. Ví dụ, hàm ngưỡng trong công thức (1.7) bây giờ được xác định như sau <− = > = 01 00 01 )( v v v v ϕ (1.12) Hàm này thường được gọi là hàm signum. Với dạng tương ứng cho hàm sigma chúng ta có thể sử dụng hàm tang hyperbol như sau ϕ (v)=tanh(v) (1.13) Việc cho phép một hàm kích hoạt kiểu sigma nhận các giá trị âm như trong công thức (1.13) đem lại nhiều lợi ích về giải tích. 1.1.3 Phản hồi (feedback) Sự Phản hồi có mặt trong một hệ thống bất kỳ khi nào đầu ra của một phần tử trong hệ thống có ảnh hưởng đến đầu vào của phần tử đó, tức là sẽ có một hay nhiều đường đi khép kín trong việc truyền tín hiệu của hệ thống. Phản hồi xảy ra hầu như mọi nơi của hệ thống thần kinh động vật. Hơn nữa, nó đóng một vai trò chính trong trong việc nghiên cứu một lớp quan trọng của mạng neuron đó là các mạng hồi quy (recurrent network). Hình 1.5a cho ta đồ thị luồng tín hiệu của một hệ thống phản hồi đơn-vòng lặp, ở đó tín hiệu đầu vào x j (n), tín hiệu bên trong x j ’(n), và tín hiệu đầu ra y k (n) là các hàm của biến thời gian rời rạc n. Hệ thống được giả định là tuyến tính, bao gồm một đường đi tiến và một đường đi phản hồi được mô tả bởi các “toán tử” A và B tương ứng. Từ hình 1.5a chúng ta đưa ra được quan hệ đầu vào-đầu ra như sau: y k (n)=A[x j ’(n)] (1.14) x j ’(n)=x j (n)+B[y k (n)] (1.15) ở đó các ngoặc vuông nhấn mạnh rằng A và B hoạt động như các toán tử. Loại bỏ x j ’(n) giữa công thức (1.15) và (1.16), chúng ta được )]([ 1 )( nx AB A ny jk − = (1.16) Chúng ta coi A/(1-AB) là toán tử đóng vòng lặp (closed-loop operator) của hệ thống, và AB như toán tử mở vòng lặp (open-loop operator). Nói chung, toán tử mở vòng lặp là không giao hoán (AB≠BA). x j '(n) x j (n) y k (n) A B (a) x j '(n) x j (n) y k (n) w z -1 (b) Hình 1.5 Đồ thị luồng tín hiệu của một hệ thống phản hồi vòng lặp đơn Xem xét ví dụ hệ thống phản hồi đơn vòng lặp trong hình 1.5b, với A là một trọng số cố định w; và B là một toán tử đơn vị trễ z -1 , mà đầu ra của nó trễ so với đầu vào một đơn vị thời gian. Như vậy chúng ta có thể biểu diễn toán tử đóng vòng lặp của hệ thống như sau 11 1 )1( 1 1 −− − −= − = − wzw wz w AB A Bằng việc áp dụng khai triển nhị thức cho (1-wz -1 ) -1 , chúng ta có thể viết lại toán tử trên như sau ∑ ∞ = − = − 0 1 1 l l zww AB A (1.17) Như vậy, thay công thức (1.18) vào công thức (1.17), chúng ta có ∑ ∞ = − = 0 1 )( l l k zwwny (1.18) Từ định nghĩa của z -1 chúng ta có z -1 [x j (n)]=x j (n-l) (1.19) ở đó x j (n-1) là một mẫu của tín hiệu đầu vào đã bị trễ l đơn vị thời gian. Chúng ta có thể biểu diễn tín hiệu đầu ra y k (n) như một phép tính tổng các mẫu hiện tại và quá khứ của tín hiệu đầu vào x j (n) y n w x n l k l j l ( ) ( ) = − + = ∞ ∑ 1 0 (1.20) Bõy gi chỳng ta thy rừ l tớnh cht ca h thng ph thuc vo trng s w. Cú th phõn bit hai trng hp c bit sau: 1. |w|<1, tớn hiu u ra y k (n) hi t dng hm m; tc l h thng n nh. 2. |w|1, tớn hiu u ra y k (n) l phõn k; ngha l h thng khụng n nh. Nu |w|=1 thỡ s phõn k l tuyn tớnh, v nu |w|>1 thỡ s phõn k cú dng hm m. Tớnh n nh luụn rt quan trng trong vic nghiờn cu cỏc h thng hi quy. Trng hp |w|<1 tng ng vi mt h thng cú mt b nh vụ hn theo ngha l u ra ca h thng ph thuc vo cỏc mu ca u vo m rng vụ hn v quỏ kh. Hn na, b nh l suy gim dn tc l nh hng ca mt mu quỏ kh gim theo hm m ca thi gian. 1.1.4 Kin trỳc Mng neuron Trong b nóo con ngi, cỏc t bo thn kinh liờn kt vi nhau thụng qua cỏc khp ni thn kinh to thnh nhng mng li vi kin trỳc vụ cựng phc tp v a dng. i vi cỏc mng neuron nhõn to, chỳng ta cú ba lp kin trỳc c bn sau: 1. Cỏc mng tin (feedforward) n mc Trong mt mng neuron phõn mc, cỏc neuron c t chc di dng cỏc mc. Vi dng n gin nht ca mng phõn mc, chỳng ta cú mt mc u vo gm cỏc nỳt ngun chiu trc tip ti mc u ra gm cỏc neuron (cỏc nỳt tớnh toỏn). Nh vy, mng thc s l khụng cú chu trỡnh. Nú c minh ho trong hỡnh 1.6 cho trng hp ba nỳt i vi c mc u ra v u vo. Mt mng nh vy c gi l mt mng n mc. n mc tc l ch cú mt mc, chớnh l mc u ra gm cỏc nỳt tớnh toỏn (cỏc neuron). Chỳng ta khụng tớnh mc u vo ca cỏc nỳt ngun vỡ khụng cú tớnh toỏn no c thc hin õy. Mức đầu vào gồm các nút nguồn Mức đầu ra gồm các neuron Hỡnh 1.6 Mng tin vi mt mc neuron [...]... c cỏc neuron khỏc, nh c minh ho trong hỡnh 1.8 Trong cu trỳc c mụ t trong hỡnh ny, khụng cú mt vũng lp t phn hi no trong mng; t phn hi l trng hp u ra ca mt neuron c phn hi li chớnh u vo ca neuron ú Mng hi quy trong hỡnh 1.8 cng khụng cú cỏc neuron n Trong hỡnh 1.9, chỳng ta minh ho mt lp mng hi quy na vi cỏc neuron n Cỏc kt ni phn hi c v trong hỡnh 1.9 bt ngun t cỏc neuron n cng nh t cỏc neuron u ra... tn ti trong mng, chỳng ta núi rng mng l kt ni khụng y Mức đầu vào gồm các nút nguồn Mức ẩn gồm các neuron ẩn Mức đầu ra gồm các neuron đầu ra Hỡnh 1.7 Mng tin kt ni y d vi mt mc n v mt mc u ra 3 Cỏc mng hi quy (recurrent network) Mt mng neuron hi quy c phõn bit so vi cỏc mng neuron khụng hi quy ch l nú cú ớt nht mt vũng lp phn hi Vớ d mt mng hi quy cú th bao gm mt mc n cỏc neuron vi mi neuron a tớn... cỏc neuron trong mc u ra ca mng to nờn ỏp ng ton cc ca mng i vi cỏc vector u vo c cung cp bi cỏc nỳt ngun ca mc u vo th trong hỡnh 1.7 minh ho cu trỳc ca mt mng neuron tin a mc cho trng hp mt mc n n gin, mng c v trong hỡnh 1.7 l mt mng 5-3-2 tc l 5 nỳt ngun, 3 neuron n, v 2 neuron u ra Mng neuron trong hỡnh 1.7 c gi l kt ni y vi ý ngha l tt c cỏc nỳt trong mi mc ca mng c ni vi tt c cỏc nỳt trong mc... ỏng k trong mng Quy tc 3 Nu mt c trng no ú c bit quan trng thỡ nờn cú mt s lng ln neuron liờn quan n vic biu din c trng ny trong mng S lng ln cỏc neuron bo m mc chớnh xỏc cao trong vic thc hin cỏc quyt nh v nõng cao kh nng chu ng cỏc neuron hng Quy tc 4 Thụng tin ban u v cỏc tớnh cht bt bin nờn c a vo trong thit k ban u ca mt mng neuron, v nh vy s gim bt gỏnh nng cho quỏ trỡnh hc Quy tc 4 c bit quan. .. Đầu ra z -1 z -1 Các toán tử đơn vị trễ Đầu vào Hỡnh 1.9 Mng hi quy cú cỏc neuron n 1.2 c trng ca Mng neuron Sau khi ó tỡm hiu v cu trỳc c bn ca cỏc mng neuron, chỳng ta cú th k ra mt s c trng u vit m mng neuron cú th thu c t vic mụ phng trc tip b nóo con ngi nh sau: 1 Tớnh cht phi tuyn Mt neuron cú th tớnh toỏn mt cỏch tuyn tớnh hay phi tuyn Mt mng neuron, cu thnh bi s kt ni cỏc neuron phi tuyn thỡ... sut no Mt quan im tng t ó c ngm nh trong mụ hỡnh hc cú giỏm sỏt, trong ú hm ý mt s gn gi gia s tng ng u vo-u ra ca mt mng neuron vi phng phỏp suy din thng kờ phi tham s (khụng cn mt mụ hỡnh thng kờ xỏc nh trc cho d liu u vo) 3 Tớnh cht thớch nghi Cỏc mng neuron cú mt kh nng mc nh l bin i cỏc trng s synapse tu theo s thay i ca mụi trng xung quanh c bit, mt mng neuron ó c tớch lu hot ng trong mt mụi... mng neuron l trong vic phỏt trin cỏc mụ hỡnh s lý phõn tỏn song song (parallel distributed processing (PdP)) Cỏc mụ hỡnh ny gi nh rng vic x lý thụng tin c tin hnh thụng qua s tng tỏc ca mt s lng ln cỏc neuron, mi neuron gi cỏc tớn hiu kớch thớch hay c ch ti cỏc neuron khỏc trong mng Nh vy, mng neuron nhn mnh ch yu trờn vic gii thớch mang tớnh thn kinh sinh hc cho hin tng nhn thc 2 Phng phỏp x lý Trong... chớnh liờn quan ti vic tớnh toỏn cỏc iu chnh trng s wji(n) l tớn hiu li ej(n) ti u ra ca neuron j õy, chỳng ta quan tõm n hai trng hp riờng bit Trng hp th nht, neuron j l mt nỳt u ra; v trng hp th hai, neuron j l mt nỳt n Trng hp 1 Neuron j l mt nỳt u ra Khi neuron j nm mc u ra ca mng, nú c cung cp mt ỏp ng mong mun Chỳng ta cú th s dng cụng thc (2.6) tớnh toỏn tớn hiu li e j(n) tng ng vi neuron ny... theo cụng thc (2.19) Trng hp 2 Neuron j l mt nỳt n Khi neuron j thuc mt mc n ca mng, khụng cú mt ỏp ng mong mun xỏc nh no cho neuron ny Nh vy, tớn hiu li cho mt neuron n c xỏc nh mt cỏch quy theo cỏc tớn hiu li ca tt c cỏc neuron m neuron ang xột kt ni trc tip Hóy xem xột tỡnh hung c mụ t trong hỡnh 2.5 Theo cụng thc (2.19), chỳng ta cú th tớnh li gradient cc b ca neuron j nh sau j ( n) = (n) y j... nỳt tớnh toỏn duy nht trong mc u ra ca mt mng neuron tin, nh c mụ t trong hỡnh 2.1 Neuron k tip nhn mt vector tớn hiu x(n) c to ra bi mt hay nhiu mc neuron n, chớnh chỳng cng tip nhn mt vector u vo (tỏc nhõn kớch thớch) t cỏc nỳt ngun (mc u vo) i s n l thi gian ri rc, hay chớnh xỏc hn, l bc thi gian ca mt quỏ trỡnh lp nhm iu chnh cỏc trng s synapse ca neuron k Tớn hiu u ra ca neuron k c ký hiu bi yk(n)