trong d¯´o I j ,j =1, 2, ,N J , l`a t´ın hiˆe . ud¯u . a v`ao d¯o . nvi . k´ıch hoa . tcu ˙’ amˆo ˜ in´ut trong tˆa ` ng J, θ j l`a d¯a . ilu . o . . ng di . ch c huyˆe ˙’ n, v`a θ 0 d¯ i ˆe ` u khiˆe ˙’ n h`ınh da . ng cu ˙’ a h`am k´ıch hoa . t. Hˆe . thˆo ´ ng s˜e xuˆa ´ tt´ın hiˆe . u cao khi t´ın hiˆe . u v`ao I j >θ j v`a ngu . o . . cla . i, xuˆa ´ t ra t´ınh hiˆe . u thˆa ´ p khi t´ın hiˆe . u v`ao I j <θ j . H`am k´ıch hoa . t h j d¯ o . nd¯iˆe . u tˇang, c´o gi´a tri . trong khoa ˙’ ng (0, 1), v`a lim I j →−∞ h j (I j )=0, lim I j →+∞ h j (I j )=1. V`ı l´y do n`ay, c´ac gi´a tri . gˆa ` n 0 v`a 1 (chˇa ˙’ ng ha . n, 0.05 v`a 0.95) s˜e tu . o . ng ´u . ng c´ac t´ın hiˆe . u ra cao v`a thˆa ´ pcu ˙’ a c´ac neuron trong H`ınh 9.10. Vˆe ` l´y thuyˆe ´ t, c´o thˆe ˙’ su . ˙’ du . ng c´ac h`am k´ıch hoa . tv´o . i h`ınh da . ng kh´ac nhau o . ˙’ c´ac tˆa ` ng kh´ac nhau hay thˆa . mch´ıd¯ˆo ´ iv´o . i c´ac n´ut kh´ac nhau trong c`ung mˆo . ttˆa ` ng cu ˙’ amˆo . tma . ng neuron. Trong thu . . ctˆe ´ , ngu . `o . i ta thu . `o . ng d`ung mˆo . tda . ng h`am k´ıch hoa . t trong c`ung mˆo . tma . ng. Gi´a tri . di . ch chuyˆe ˙’ n θ j trong H`ınh 9.11 tu . o . ng tu . . v´o . ihˆe . sˆo ´ w n+1 d¯ u . o . . csu . ˙’ du . ng trong mˆo h`ınh perceptron. D - a . ilu . o . . ng θ j nhˇa ` m thay d¯ˆo ˙’ i c´ac t´ın hiˆe . u I j v`ao mˆo ˜ in´ut (l`a hˇa ` ng sˆo ´ 1 hoˇa . c −1.) D - ˆo ´ iv´o . iso . d¯ ˆo ` thiˆe ´ tkˆe ´ ma . ng neuron trong H`ınh 9.10, t´ın hiˆe . u v`ao mˆo ˜ in´ut trong mˆo ˜ itˆa ` ng bˇa ` ng tˆo ˙’ ng c´o tro . ng sˆo ´ cu ˙’ a c´ac t`ın hiˆe . urat`u . tˆa ` ng tru . ´o . c d¯´o. Gia ˙’ su . ˙’ tˆa ` ng K d¯ ´u . ng tru . ´o . ctˆa ` ng J. Khi d¯´o t´ın hiˆe . ud¯ˆe ´ nd¯o . nvi . k´ıch hoa . tcu ˙’ amˆo ˜ in´ut trong tˆa ` ng J l`a I j = N K  k=1 w jk O k ,j=1, 2, ,N J , (9.24) trong d¯´o N J l`a sˆo ´ c´ac n´ut trong tˆa ` ng J, N K l`a sˆo ´ c´ac n´ut trong tˆa ` ng K, v`a w jk l`a tro . ng lu . o . . ng trˆen cung dˆa ˜ nt`u . n´ut k trong tˆa ` ng K d¯ ˆe ´ nn´ut j trong tˆa ` ng J. T´ın hiˆe . uraO k cu ˙’ atˆa ` ng K l`a O k = h k (I k ) (9.25) v´o . i k =1, 2, ,N K . Ch´u´yrˇa ` ng I j ,j =1, 2, ,N J , l`a c´ac t´ın hiˆe . u v`ao d¯ o . nvi . k´ıch hoa . t cu ˙’ an´ut th´u . j trong tˆa ` ng J. C´o N K t´ın hiˆe . u v`ao v´o . i tro . ng sˆo ´ kh´ac nhau d¯ˆo ´ iv´o . imˆo ˜ in´ut trong tˆa ` ng J. Chˇa ˙’ ng ha . n, N K t´ın hiˆe . u v`ao n ´ut th´u . nhˆa ´ tcu ˙’ atˆa ` ng J c´o c´ac tro . ng sˆo ´ tu . o . ng ´u . ng bˇa ` ng w 1k ,k =1, 2, ,N K . V`ıvˆa . y c´o tˆo ˙’ ng cˆo . ng N J × N K hˆe . sˆo ´ tu . o . ng ´u . ng c´ac tro . ng lu . o . . ng t`u . c´ac n´ut trong tˆa ` ng K v`ao c´ac n´ut trong tˆa ` ng J. Ngo`ai ra c`on c´o N J hˆe . sˆo ´ di . ch chuyˆe ˙’ n θ j d¯ ˆo ´ iv´o . imˆo ˜ in´ut trong tˆa ` ng J. 313 Thay phu . o . ng tr`ınh x´ac d¯i . nh I j v`ao h`am h j trong Phu . o . ng tr`ınh (9.23) ta d¯u . o . . c h j (I j )= 1 1 + exp  −   N K k=1 w jk O k + θ j  /θ 0  . (9.26) Du . ´o . i d¯ˆay ch´ung ta s˜e su . ˙’ du . ng h`am k´ıch hoa . t theo Phu . o . ng tr`ınh (9.26). Trong qu´a tr`ınh huˆa ´ n luyˆe . n, ta dˆe ˜ d`ang thay d¯ˆo ˙’ i c´ac neuron trong tˆa ` ng ra Q do t´ın hiˆe . u ra d¯`oi ho ˙’ ita . imˆo ˜ in´ut d¯˜a biˆe ´ t. Vˆa ´ nd¯ˆe ` ch´ınh trong huˆa ´ n luyˆe . nmˆo . tma . ng neuron nhiˆe ` utˆa ` ng l`a thay d¯ˆo ˙’ i c´ac tro . ng sˆo ´ nhu . thˆe ´ n`ao trong c´ac tˆa ` ng ˆa ˙’ n-l`a c´ac tˆa ` ng kh´ac tˆa ` ng ra. Huˆa ´ n luyˆe . nbˇa ` ng c´ach lan truyˆe ` n ngu . o . . c.Tru . ´o . chˆe ´ tch´ung ta d¯ˆe ` cˆa . pd¯ˆe ´ ntˆa ` ng ra. Tˆo ˙’ ng c´ac sai sˆo ´ b`ınh phu . o . ng gi˜u . a c´ac d¯´ap ´u . ng d¯`oi ho ˙’ i r q v`a c´ac d¯´ap ´u . ng thu . . csu . . O q tu . o . ng ´u . ng cu ˙’ a c´ac n´ut trong tˆa ` ng Q l`a E Q = 1 2 N Q  q=1 (r q − O q ) 2 (9.27) trong d¯´o N Q l`a sˆo ´ c´ac n´ut trong tˆa ` ng ra Q v`a hˆe . sˆo ´ 1 2 d¯ u . o . . c thˆem v`ao d¯ˆe ˙’ tiˆe . n cho c´ac phˆa ` n sau. Mu . cd¯´ıch cu ˙’ a qu´a tr`ınh huˆa ´ n luyˆe . n, tu . o . ng tu . . nguyˆen tˇa ´ c delta, l`a d¯iˆe ` uchı ˙’ nh c´ac tro . ng lu . o . . ng cung trong mˆo ˜ itˆa ` ng sao cho cu . . ctiˆe ˙’ u ho´a sai sˆo ´ E Q . Theo d¯iˆe ` ukiˆe . n cˆa ` ncu ˙’ acu . . c tri . ,c´achˆe . sˆo ´ w pq pha ˙’ i thoa ˙’ m˜an ∆w qp = −α ∂E Q ∂w qp , trong d¯´o tˆa ` ng P tru . ´o . ctˆa ` ng Q, ∆w qp x´ac d¯i . nh theo Phu . o . ng tr`ınh (9.20) v`a α l`a hˇa ` ng sˆo ´ (du . o . ng) hiˆe . uchı ˙’ nh. Theo cˆong th´u . cd¯a . o h`am h`am ho . . p ta c´o ∂E Q ∂w qp = ∂E Q ∂I q ∂I q ∂w qp . Nhu . ng, t`u . Phu . o . ng tr`ınh (9.24), ∂I q ∂w qp = ∂ ∂w qp N P  p=1 w qp O p = O p . Suy ra ∆w qp = −α ∂E Q ∂I q O p 314 = αδ q O p , trong d¯´o δ q = − ∂E Q ∂I q . D - ˆe ˙’ t´ınh ∂E Q ∂I q ta su . ˙’ du . ng cˆong th´u . cd¯a . o h`am h`am ho . . p: δ q = − ∂E Q ∂I q = − ∂E Q ∂O q ∂O q ∂I q . Mˇa . t kh´ac, t`u . Phu . o . ng tr`ınh (9.27), ta c´o ∂E Q ∂O q = −(r q −O q ), v`a t`u . Phu . o . ng tr`ınh (9.25) suy ra ∂O Q ∂I q = ∂ ∂I q h q (I q )=h  q (I q ). Vˆa . y δ q =(r q −O q )h  q (I q ); v`a cuˆo ´ ic`ung ∆w qp = α(r q − O q )h  q (I q )O p = αδ q O p . (9.28) Nˆe ´ ubiˆe ´ t h q (I q ) th`ı tˆa ´ tca ˙’ c´ac sˆo ´ ha . ng trong Phu . o . ng tr`ınh (9.28) s˜e d¯u . o . . c x´ac d¯ i . nh hoˇa . cc´othˆe ˙’ quan s´at trong ma . ng neuron. N´oi c´ach kh´ac, du . . a v`ao mˆa ˜ uhuˆa ´ n luyˆe . nd¯u . a v`ao ma . ng ta c´o thˆe ˙’ suy ra d¯´ap ´u . ng r q cu ˙’ amˆo ˜ in´ut. Gi´a tri . O q cu ˙’ amˆo ˜ in´ut ra c´o thˆe ˙’ quan s´at t`u . gi´a tri . I q -d¯ˆa ` u v`ao c´ac phˆa ` ntu . ˙’ k´ıch hoa . tcu ˙’ al´o . p Q;v`aI q c´o thˆe ˙’ nhˆa . nd¯u . o . . ct`u . c´ac t´ın hiˆe . urat`u . c´ac n´ut trong tˆa ` ng P. Do d¯´o ch´ung ta c´o thˆe ˙’ d¯ i ˆe ` u chı ˙’ nh c´ac tro . ng lu . o . . ng bˇa ` ng c´ach thay d¯ˆo ˙’ i c´ac hˆe . sˆo ´ liˆen kˆe ´ tgi˜u . a c´ac tˆa ` ng cuˆo ´ ic`ung v`a kˆe ` cuˆo ´ i trong ma . ng. Bˇa ` ng c´ach xu . ˙’ l´y tu . o . ng tu . . d¯ ˆo ´ iv´o . il´o . p P ta c˜ung c´o ∆w pj = α(r p −O p )h  p (I p )O j = αδ p O j , (9.29) trong d¯´o δ p =(r p − O p )h  p (I p ). 315 Ngoa . itr`u . r p chu . abiˆe ´ t, tˆa ´ tca ˙’ c´ac d¯a . ilu . o . . ng kh´ac trong Phu . o . ng tr`ınh (9.29) hoˇa . cl`a d¯˜a biˆe ´ t hoˇa . c l`a c´o thˆe ˙’ suy ra t `u . ma . ng. Gi´a tri . r p trong c´ac tˆa ` ng trong chu . ad¯u . o . . c x´ac d¯ i . nh do ch´ung ta khˆong biˆe ´ tbiˆe ˙’ udiˆe ˜ n d¯´ap ´u . ng c´ac n´ut cu ˙’ atˆa ` ng trong theo c´ac mˆa ˜ u. Ch´ung ta chı ˙’ c´o thˆe ˙’ biˆe ´ t d¯´ap ´u . ng ta . imˆo ˜ in´ut cu ˙’ atˆa ` ng cuˆo ´ ic`ung trong ma . ng. Hiˆe ˙’ n nhiˆen nˆe ´ u ta d¯˜a biˆe ´ t thˆong tin cu ˙’ a c´ac n´ut trong th`ı khˆong cˆa ` n c´ac tˆa ` ng ch´u . ach´ung. Do d¯´o ta cˆa ` n t`ım biˆe ˙’ udiˆe ˜ n δ p theo nh˜u . ng d¯a . ilu . o . . ng d¯˜a biˆe ´ t hoˇa . c c´o thˆe ˙’ quan s´at t`u . ma . ng. Ta c´o sai sˆo ´ d¯ ˆo ´ iv´o . itˆa ` ng P l`a δ p = − ∂E P ∂I p = − ∂E P ∂O p ∂O p ∂I p . Mˇa . t kh´ac, ∂O p ∂I p = ∂h p (I p ) ∂I p = h  p (I p ) d¯ u . o . . c x´ac d¯i . nh nˆe ´ ubiˆe ´ t h p do I p c´o thˆe ˙’ quan s´at t`u . ma . ng. ´ Ap du . ng cˆong th´u . cd¯a . o h`am h`am ho . . p ta c´o − ∂E P ∂O p = − N Q  q=1 ∂E P ∂I q ∂I q ∂O p = N Q  q=1  − ∂E P ∂I q  ∂ ∂O p N P  p=1 w qp O p = N Q  q=1  − ∂E P ∂I q  w qp = N Q  q=1 δ q w qp . Suy ra δ p = h  p (I p ) N Q  q=1 δ q w qp . (9.30) Do tˆa ´ tca ˙’ c´ac d¯a . ilu . o . . ng trong vˆe ´ pha ˙’ i d¯˜a d¯u . o . . c x´ac d¯i . nh nˆen c´o thˆe ˙’ t´ınh δ p . Vˆa . y nguyˆen tˇa ´ chuˆa ´ n luyˆe . nd¯ˆo ´ iv´o . il´o . p P ho`an to`an d¯u . o . . c x´ac d¯i . nh du . . a v`ao c´ac Phu . o . ng tr`ınh (9.29) v`a (9.30). Phu . o . ng tr`ınh 9.30) chı ˙’ ra rˇa ` ng gi´a tri . δ p suy t`u . δ q v`a w qp , trong d¯´o c´ac d¯a . ilu . o . . ng sau n`ay d¯u . o . . c suy tru . . ctiˆe ´ pt`u . tˆa ` ng kˆe ` sau tˆa ` ng P. Sau khi lˆo ˜ iv`a c´ac tro . ng lu . o . . ng cu ˙’ al´o . p P d¯˜a d¯u . o . . c x´ac d¯i . nh, ´ap du . ng tiˆe ´ n tr`ınh trˆen ta c´o thˆe ˙’ suy ra lˆo ˜ i v`a c´ac tro . ng lu . o . . ng cu ˙’ al´o . pkˆe ` tru . ´o . c P. N´oi c´ach kh´ac ch´ung ta c´o thˆe ˙’ lan truyˆe ` n ngu . o . . c tro . ˙’ la . ima . ng xuˆa ´ t ph´at t`u . lˆo ˜ i trong tˆa ` ng ra. Ch´ung ta tˆo ˙’ ng kˆe ´ t thuˆa . t to´an huˆa ´ n luyˆe . nnhu . sau: Bu . ´o . c1.Xuˆa ´ t ph´at t`u . tˆa ` ng ra J = Q. 316 Bu . ´o . c2.Gia ˙’ su . ˙’ o . ˙’ bu . ´o . c n`ao d¯´o ta x´et tˆa ` ng J. K´yhiˆe . u K l`a tˆa ` ng liˆe ` nkˆe ` tru . ´o . ctˆa ` ng J. T`ım c´ac tro . ng lu . o . . ng w jk theo quan hˆe . gi˜u . a hai l´o . p n`ay: ∆w jk = αδ j O k . Nˆe ´ u J l`a tˆa ` ng ra, d¯ˇa . t δ j =(r j − O j )h  j (I j ). Nˆe ´ u J l`a tˆa ` ng trong v`a P l`a tˆa ` ng kˆe ´ tiˆe ´ p bˆen pha ˙’ icu ˙’ a J th`ı d¯ˇa . t δ j = h  j (I j ) N P  p=1 δ p w jp , v´o . i j =1, 2, ,N j . Bu . ´o . c3.Thay P = J, J = K v`a K l`a tˆa ` ng liˆe ` nkˆe ` bˆen tr´ai J v`a lˇa . pla . ithu ˙’ tu . c trˆen. Su . ˙’ du . ng h`am k´ıch hoa . t trong Phu . o . ng tr`ınh (9.26) v´o . i θ 0 = 1 ta c´o h  j (I j )=O j (1 − O j ). Trong tru . `o . ng ho . . p n`ay, d¯ˆo ´ iv´o . itˆa ` ng ra: δ j =(r j −O j )O j (1 − O j ) v`a d¯ˆo ´ iv´o . itˆa ` ng trong δ j = O j (1 −O j ) N P  p=1 δ p w jp . Thuˆa . t to´an trˆen l`a mˆo . ttˆo ˙’ ng qu´at ho´a nguyˆen tˇa ´ c delta d¯ˆe ˙’ huˆa ´ n luyˆe . nma . ng neuron lan truyˆe ` n thuˆa . n nhiˆe ` utˆa ` ng trong H`ınh 9.10. Tiˆe ´ n t`ınh kho . ˙’ ita . ov´o . imˆo . ttˆa . p tu `y ´y (nhu . ng tˆa ´ tca ˙’ khˆong tr`ung nhau) c´ac tro . ng lu . o . . ng trong ma . ng. Sau d¯´o ´ap du . ng nguyˆen tˇa ´ c delta ta . imˆo ˜ ibu . ´o . clˇa . p liˆen quan d¯ˆe ´ n hai pha co . ba ˙’ n. Trong pha th´u . nhˆa ´ t, mˆo . t vector huˆa ´ n luyˆe . nd¯u . o . . cd¯u . a v`ao ma . ng v`a lan truyˆe ` n qua c´ac tˆa ` ng d¯ˆe ˙’ t´ınh t´ın hiˆe . uraO j cu ˙’ amˆo ˜ in´ut. T´ın hiˆe . uraO q cu ˙’ ac´acn´ut trong tˆa ` ng ra d¯u . o . . c so s´anh v´o . i c´ac d¯´ap ´u . ng biˆe ´ t tru . ´o . c r q d¯ ˆe ˙’ ta . o ra lˆo ˜ i δ q . Pha th´u . hai l`a tiˆe ´ n tr`ınh lan truyˆe ` n ngu . o . . c tro . ˙’ la . ima . ng trong khi d¯´o t´ın hiˆe . ulˆo ˜ id¯u . o . . cd¯u . a v`ao mˆo ˜ in´ut v`a tro . ng lu . o . . ng tu . o . ng ´u . ng d¯ u . o . . cd¯iˆe ` uchı ˙’ nh. Thu ˙’ tu . cn`ayc˜ung ´ap du . ng d¯ˆo ´ iv´o . i c´ac tro . ng lu . o . . ng di . ch c huyˆe ˙’ n θ j . Tro . ng lu . o . . ng d¯u . o . . c thˆem v`ao nhˇa ` m thay d¯ˆo ˙’ it´ınhiˆe . u (d¯o . nvi . ) v`ao mˆo ˜ in´ut cu ˙’ ama . ng. Thu . . ctiˆe ˜ nthu . `o . ng t`ım lˆo ˜ i trong ma . ng c˜ung nhu . c´ac lˆo ˜ i xuˆa ´ thiˆe . nv´o . i c´ac mˆa ˜ u. Mˆo . t giai d¯oa . nhuˆa ´ n luyˆe . n th`anh cˆong, lˆo ˜ icu ˙’ ama . ng s˜e gia ˙’ m khi sˆo ´ bu . ´o . clˇa . p tˇang v`a 317 thuˆa . t to´an hˆo . itu . d¯ ˆe ´ nmˆo . ttˆa . p c´ac tro . ng lu . o . . ng v`a tˆa . pn`ayˆo ˙’ nd¯i . nh (theo ngh˜ıa m´u . c dao d¯ˆo . ng nho ˙’ ). C´ach thˆong thu . `o . ng d¯ˆe ˙’ x´ac d¯i . nh mˆo . tmˆa ˜ uc´od¯u . o . . c phˆan loa . id¯´ung hay khˆong l`a kiˆe ˙’ m tra d¯´ap ´u . ng cu ˙’ a c´ac n´ut trong tˆa ` ng ra. Nˆe ´ u d¯´ap ´u . ng cao ta . in´ut tu . o . ng ´u . ng l´o . pmˆa ˜ uch´u . amˆa ˜ u v`a thˆa ´ pd¯ˆo ´ iv´o . i c´ac n ´ut kh´ac th`ı ta n´oi mˆa ˜ u d¯˜a d¯u . o . . c phˆan loa . id¯´ung. Sau khi hˆe . thˆo ´ ng d¯˜a d¯u . o . . chuˆa ´ n luyˆe . n, ma . ng neuron s˜e phˆan loa . isu . ˙’ du . ng c´ac tham sˆo ´ d¯ ˜a d¯ u . o . . c x´ac d¯i . nh trong pha huˆa ´ n luyˆe . n. Tˆa ´ tca ˙’ c´ac thao t´ac pha ˙’ nhˆo ` is˜e khˆong d¯u . o . . c ´ap du . ng. Mˆa ˜ ubˆa ´ tk`yd¯u . a v`ao s˜e lan truyˆe ` n qua c´ac tˆa ` ng v`a d¯u . o . . c phˆan loa . i thuˆo . cl´o . pmˆa ˜ utu . o . ng ´u . ng n´ut c´o t´ın hiˆe . urao . ˙’ tˆa ` ng ra cao trong khi c´ac n´ut ra kh´ac c´o t´ın hiˆe . u thˆa ´ p. Nˆe ´ u c´o nhiˆe ` uho . nmˆo . tn´ut c´o t´ın hiˆe . u cao, hoˇa . cnˆe ´ u khˆong c´o t´ın hiˆe . u cao n`ao th`ı ta s˜e thˆong b´ao phˆan loa . i nhˆa ` m hoˇa . c g´an mˆa ˜ uchol´o . pcu ˙’ an´ut ra c´o gi´a tri . cao nhˆa ´ t. D - ˆo . ph´u . cta . pcu ˙’ a h`am quyˆe ´ td¯i . nh.Tabiˆe ´ trˇa ` ng, mˆo h`ınh p erceptron mˆo . ttˆa ` ng x´ac d¯i . nh h`am biˆe . ttˆa . p c´o da . ng tuyˆe ´ n t´ınh. Vˆa ´ nd¯ˆe ` tu . . nhiˆen d¯ˇa . t ra l`a v´o . imˆoh`ınh ma . ng neuron nhiˆe ` utˆa ` ng, th`ı da . ng cu ˙’ a h`am biˆe . ttˆa . pnhu . thˆe ´ n`ao? Ch´u . ng minh du . ´o . i d¯ˆay s˜e chı ˙’ ra d¯ˆo ´ iv´o . ima . ng ba tˆa ` ng th`ı d¯ˆo ` thi . h`am biˆe . ttˆa . pl`aho . . pcu ˙’ a c´ac siˆeu phˇa ˙’ ng giao nhau. D - u . `o . ng thˇa ˙’ ng l = {(x, y) | ax + by + c =0} chia mˇa . t phˇa ˙’ ng R 2 th`anh hai nu . ˙’ a: nu . ˙’ amˇa . t phˇa ˙’ ng du . o . ng l + = {(x, y) | ax + by + c>0} v`a nu . ˙’ amˇa . t phˇa ˙’ ng ˆam l − = {(x, y) | ax + by + c<0}. Tru . ´o . chˆe ´ t kha ˙’ o s´at ma . ng hai tˆa ` ng v´o . i hai t´ın hiˆe . u v`ao nhu . trong H`ınh 9.12. Do c´o hai t´ın hiˆe . u v`ao nˆen c´ac mˆa ˜ utu . o . ng ´u . ng c´ac vector hai chiˆe ` u. K ´yhiˆe . u c´ac t´ın hiˆe . u ra m´u . ccaov`am´u . c thˆa ´ pcu ˙’ a hai n ´ut trong tˆa ` ng d¯ˆa ` u tiˆen l`a 1 v`a 0 tu . o . ng ´u . ng. Gia ˙’ su . ˙’ t´ın hiˆe . u ra 1 c´o ngh˜ıa vector tu . o . ng ´u . ng v`ao mˆo . tn´ut trong tˆa ` ng th´u . nhˆa ´ t thuˆo . c nu . ˙’ amˇa . t phˇa ˙’ ng du . o . ng cu ˙’ ad¯u . `o . ng thˇa ˙’ ng l 1 . Khi d¯´o tˆo ˙’ ho . . p c´ac kha ˙’ nˇang cu ˙’ a c´ac t´ın hiˆe . ud¯ˆe ´ nn´ut trong tˆa ` ng th´u . hai l`a (1, 1), (1, 0), (0, 1) v`a (0, 0). Ch´ung ta d¯i . nh ngh˜ıa hai v`ung, v`ung th´u . nhˆa ´ td¯ˆo ´ iv´o . il´o . p ω 1 thuˆo . cvˆe ` nu . ˙’ amˇa . t phˇa ˙’ ng du . o . ng cu ˙’ aca ˙’ hai d¯ u . `o . ng thˇa ˙’ ng l 1 v`a l 2 , v`a v`ung th ´u . hai d¯ˆo ´ iv´o . il´o . p ω 2 thuˆo . cmˆo . t trong hai nu . ˙’ amˇa . t phˇa ˙’ ng ˆam l 1 hoˇa . c l 2 . Trong tru . `o . ng ho . . p n`ay, du . . a v`ao t´ın hiˆe . urat`u . n´ut trong tˆa ` ng th ´u . hai ta c´o thˆe ˙’ phˆan loa . i vector mˆa ˜ ud¯u . a v`ao thuˆo . cv`ung ω 1 hay ω 2 bˇa ` ng c´ach thu . . c hiˆe . n ph´ep to´an logic AND. N´oi c´ach kh´ac, d¯´ap ´u . ng cu ˙’ a t´ın hiˆe . u ra bˇa ` ng 1 xa ˙’ y ra khi ca ˙’ hai n ´ut trong tˆa ` ng th´u . nhˆa ´ t c´o d¯´ap ´u . ng ra bˇa ` ng 1. Nˆe ´ u ta d¯ˇa . t gi´a tri . θ j thuˆo . c khoa ˙’ ng (1, 2] th`ı c´o thˆe ˙’ thu . . chiˆe . n ph´ep to´an AND trong mˆo ˜ in´ut cu ˙’ ama . ng neuron. Do d¯´o nˆe ´ u c´ac t´ın hiˆe . u ra cu ˙’ ahain´ut trong tˆa ` ng th´u . nhˆa ´ t l`a 0 v`a 1 th`ı d¯´ap ´u . ng cu ˙’ a 318 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (a) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . w 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . w 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . w 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . w 2 x 1 x 2 • • + + (b) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . w 2 w 1 + + (c) H`ınh 9.12: (a) Ma . ng neuron lan truyˆe ` n thuˆa . nv´o . i hai t´ın hiˆe . u v`ao v`a hai tˆa ` ng; (b) v`a (c) l`a c´ac v´ıdu . cu ˙’ a c´ac d¯u . `o . ng biˆen phˆan loa . i c´ac l´o . pmˆa ˜ usu . ˙’ du . ng ma . ng n`ay. n´ut ra (thuˆo . ctˆa ` ng ra) o . ˙’ m´u . c cao (mˆa ˜ utu . o . ng ´u . ng thuˆo . cl´o . p ω 1 )chı ˙’ khi tˆo ˙’ ng d¯u . o . . c thu . . chiˆe . nbo . ˙’ in´ut neuron du . . a trˆen hai t´ın hiˆe . urat`u . tˆa ` ng th´u . nhˆa ´ tl´o . nho . n1. H`ınh 9.12(b) v`a (c) minh ho . a c´ach su . ˙’ du . ng ma . ng trong H`ınh 9.12(a) d¯ˆe ˙’ t´ach hai l´o . pmˆa ˜ u khˆong d¯u . o . . c t´ach tuyˆe ´ n t´ınh. Nˆe ´ usˆo ´ c´ac n´ut trong tˆa ` ng th´u . nhˆa ´ t l`a ba, mˆo h`ınh ma . ng neuron trong H`ınh 9.12 c´o thˆe ˙’ dˆa ˜ nd¯ˆe ´ n h`am biˆe . ttˆa . p l`a tuyˆe ´ n t´ınh t`u . ng kh´uc: d¯u . `o . ng biˆen phˆan gi´o . igi˜u . a c´ac l´o . pgˆo ` m ba d¯u . `o . ng thˇa ˙’ ng. Trong tru . `o . ng ho . . p n`ay, l´o . p ω 1 thuˆo . c giao cu ˙’ abanu . ˙’ amˇa . t phˇa ˙’ ng du . o . ng. Tˆo ˙’ ng qu´at, khi tˇang sˆo ´ c´ac n´ut trong tˆa ` ng th´u . nhˆa ´ tcu ˙’ amˆo . tma . ng neuron hai layer, th`ı l´o . p ω 1 thuˆo . c giao cu ˙’ a c´ac nu . ˙’ amˇa . t phˇa ˙’ ng du . o . ng. Ch´u ´y phˆa ` n giao l`a mˆo . ttˆa . plˆo ` i. Kˆe ´ tiˆe ´ pch´ung ta x´et ma . ng neuron ba tˆa ` ng. Trong tru . `o . ng ho . . p n`ay, tu . o . ng tu . . nhu . trˆen, c´ac n´ut thuˆo . ctˆa ` ng th´u . nhˆa ´ ts˜e cung cˆa ´ p c´ac d¯u . `o . ng thˇa ˙’ ng. Kˆe ´ tiˆe ´ p, c´ac n´ut trong tˆa ` ng th´u . hai thu . . chiˆe . n c´ac ph´ep to´an AND d¯ˆe ˙’ ta . o ra c´ac v`ung t`u . c´ac d¯u . `o . ng thˇa ˙’ ng. C´ac n´ut trong tˆa ` ng th´u . ba g´an mˆo ˜ il´o . p thuˆo . cmˆo . tv`ung n`ao d¯´o. Chˇa ˙’ ng ha . n, gia ˙’ su . ˙’ l´o . p ω 1 gˆo ` m hai v`ung kh´ac nhau trong d¯´o mˆo ˜ iv`ung bi . chˇa . nbo . ˙’ imˆo . ttˆa . p c´ac d¯ u . `o . ng thˇa ˙’ ng kh´ac nhau. Khi d¯´o hai n´ut trong tˆa ` ng th´u . hai tuˆan theo c´ac v`ung tu . o . ng ´u . ng v´o . ic`ung l´o . pmˆa ˜ u. Mˆo . t trong c´ac n´ut ra cˆa ` nc´ot´ınhiˆe . uhiˆe . ndiˆe . ncu ˙’ al´o . p n`ay khi mˆo . t trong hai n´ut thuˆo . ctˆa ` ng th´u . hai o . ˙’ m´u . c cao. Nˆe ´ u gia ˙’ su . ˙’ c´ac m´u . c cao v`a thˆa ´ p trong tˆa ` ng th´u . hai k´y hiˆe . ul`a1v`a0tu . o . ng ´u . ng, th`ı kha ˙’ nˇang n`ay d¯a . td¯u . o . . c khi ´ap du . ng ph´ep to´an logic OR trong c´ac n´ut cu ˙’ ama . ng neuron. Theo thiˆe ´ tkˆe ´ c´ac neuron, ch´ung ta cˆa ` nd¯ˇa . t gi´a tri . θ j thuˆo . c khoa ˙’ ng [0, 1). Khi d¯´o, nˆe ´ u c´o ´ıt nhˆa ´ tmˆo . tn´ut trong tˆa ` ng th´u . hai d¯u . o . . cdˆa ˜ nd¯ˆe ´ nn´ut ra (cu ˙’ atˆa ` ng ra) c´o t´ın hiˆe . u cao (m´u . c1)th`ın´ut tu . o . ng 319 . lim I j →+∞ h j (I j )=1. V`ı l´y do n`ay, c´ac gi´a tri . gˆa ` n 0 v`a 1 (chˇa ˙’ ng ha . n, 0. 05 v`a 0. 95) s˜e tu . o . ng ´u . ng c´ac t´ın hiˆe . u ra cao v`a thˆa ´ pcu ˙’ a c´ac neuron trong. u . o . . csu . ˙’ du . ng trong mˆo h`ınh perceptron. D - a . ilu . o . . ng θ j nhˇa ` m thay d¯ˆo ˙’ i c´ac t´ın hiˆe . u I j v`ao mˆo ˜ in´ut (l`a hˇa ` ng sˆo ´ 1 hoˇa . c −1.) D - ˆo ´ iv´o . iso . d¯ ˆo ` thiˆe ´ tkˆe ´ ma . ng. (9.24), ∂I q ∂w qp = ∂ ∂w qp N P  p=1 w qp O p = O p . Suy ra ∆w qp = −α ∂E Q ∂I q O p 314 = αδ q O p , trong d¯´o δ q = − ∂E Q ∂I q . D - ˆe ˙’ t´ınh ∂E Q ∂I q ta su . ˙’ du . ng cˆong th´u . cd¯a . o