1 B GIÁO D C VÀ ĐÀO T O Đ I H C ĐÀ N NG H MINH ĐÍCH NGHIÊN C U GI I THU T DI TRUY N NG D NG VÀO GI I M T S BÀI TOÁN TH NG KÊ Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 TÓM T T LU N VĂN TH C SĨ K THU T Đà N ng - Năm 2011 Cơng trình đư c hồn thành t i Đ I H C ĐÀ N NG Ngư i hư ng d n khoa h c: PGS.TS Lê Văn Sơn Ph n bi n 1: TS Huỳnh H u Hưng Ph n bi n 2: PGS.TS Đoàn Văn Ban Lu n văn ñư c b o v trư c H i ñ ng ch m Lu n văn t t nghi p th c sĩ k thu t h p t i Đ i h c Đà N ng vào ngày 15 tháng 10 năm 2011 * Có th tìm hi u lu n văn t i: - Trung tâm Thông tin - H c li u, Đ i h c Đà N ng - Trung tâm H c li u, Đ i h c Đà N ng M Đ U Lý ch n ñ tài Trong nh ng năm g n ñây, k thu t l p trình ti n hóa m t nh ng k thu t l p trình r t phát tri n lĩnh v c trí tu nhân t o M t công th c tương t v i công th c n i ti ng c a N.Wirth đưa l p trình c u trúc ñư c áp d ng cho k thu t l p trình ti n hóa: C u trúc d li u + Gi i thu t di truy n = chương trình ti n hóa Thu t ng chương trình ti n hóa m t nh ng khái ni m ñư c dùng ñ ch chương trình máy tính có s d ng thu t tốn tìm ki m t i ưu hóa d a “nguyên lý ti n hóa t nhiên” Ta g i chung thu t toán v y thu t tốn ti n hóa Có m t s thu t tốn ti n hóa đư c cơng b : - Quy ho ch ti n hóa – EP, D.B.Pogel ñ xu t - Chi n lư c ti n hóa, T.Baeck, F.H.Hofmeister H.P.Schwefel đ xu t - Thu t gi i di truy n, D.E.Golberg ñ xu t, ñư c L.Davis Z.Michalevicz phát tri n Trong ph m vi lu n văn ch nghiên c u l p trình ti n hóa thơng qua gi i thu t di truy n ng d ng vào gi i quy t hai l p tốn phân tích d li u th ng kê Đ i tương ph m vi nghiên c u 2.1 Đ i tư ng nghiên c u Đ i tư ng nghiên c u c a ñ tài g m: - Gi i thu t di truy n - Phân l p d li u b ng hàm phân bi t n tính - Phân tích h i qui 2.2 Ph m v nghiên c u ng d ng gi i thu t di truy n đ thi t k gi i thu t tìm giá tr Min (Max) c a hàm nhi u bi n làm cơng c đ gi i tốn th ng kê ñ lu n văn C th hai tốn: - Bài tốn phân tích d li u h i qui n tính - Bài toán phân l p d li u b ng t p hàm phân bi t n tính M c đích đ tài M c đích c a đ tài mu n tìm m t cách ti p c n m i b ng thu t gi i di truy n ñ gi i m t s l p toán thu c lĩnh v c th ng kê, ñ ng th i mu n ch ng minh tính vư t tr i c a gi i thu t di truy n vi c tìm l i gi i cho nhi u d ng toán khác M c tiêu, ý nghĩa ñ tài Nghiên c u ng d ng gi i thu t di truy n vào hai l p toán thu c lĩnh v c th ng kê toán h i quy n tính tốn phân l p d li u d a hàm phân lo i n tính K t qu c a tốn mang l i v a có tính c a m t h th ng máy h c, giúp d báo, tính tốn, phân l p d li u khơng đư c h c v a có ý nghĩa đ xu t ñ t ñư c k t qu kh quan v m t phương pháp phân l p d li u vi c thi t l p mơ hình tốn h c phân tích tương quan cho s li u th c nghi m dùng nghiên c u khoa h c Đ i v i thu t gi i di truy n, ý tư ng xuyên su t nh t c a mơ ph ng q trình ti n hóa t nhiên đ áp d ng tìm ki m l i gi i cho m t tốn máy tính Vi c áp d ng gi i thu t di truy n ñ gi i quy t hai l p tốn nói m t phương pháp ti p c n m i, tinh t ñ gi i quy t m t s l p toán lĩnh v c th ng kê nh ng tốn t n r t nhi u cơng s c cho thao tác tính tốn đ tìm l i gi i cho toán C u trúc lu n văn N i dung c a lu n văn đư c trình bày chương : Chương Cơ s lý thuy t v gi i thu t di truy n Chương ng d ng gi i thu t di truy n tìm c c tr c a hàm nhi u bi n Chương Phân l p d li u b ng hàm phân bi t n tính Chương Bài tốn h i quy CHƯƠNG CƠ S LÝ THUY T V THU T GI I DI TRUY N 1.1 KHÁI NI M Gi i thu t di truy n(GA) gi i thu t tìm ki m, ch n l a gi i pháp t i ưu ñ gi i quy t toán th c t khác nhau, d a ch ch n l c c a di truy n h c: t t p l i gi i ban đ u, thơng qua nhi u bư c ti n hố, hình thành t p l i gi i m i phù h p hơn, cu i tìm l i gi i t i ưu nh t Gi i thu t di truy n d a quan ñi m cho r ng q trình ti n hố c a t nhiên q trình hồn h o nh t, h p lý nh t t mang tính t i ưu Ý tư ng c a gi i thu t di truy n thay ch phát sinh m t l i gi i ban ñ u s phát sinh m t lúc nhi u l i gi i lúc Sau đó, s l i gi i ñư c t o ra, ch n nh ng l i t t nh t ñ làm s phát sinh nhóm l i gi i sau v i nguyên t c v sau t t Quá trình c th ti p di n cho đ n tìm đư c l i gi i t i ưu ho c x p x t i ưu 1.2 GI I THU T DI TRUY N 1.2.1 Đ nh nghĩa : GA ñư c ñ nh nghĩa m t b 7: GA=( I, Ψ , Ω,s, t, µ, λ ) : • I=Bt: Khơng gian tìm ki m l i gi i c a tốn • • • • • Ψ :I → R: Ký hi u c a hàm thích nghi (Eval function) Ω : Ký hi u cho t p phép tốn di truy n µ+λ S: I → Iµ ký hi u cho thao tác ch n; gi l i µ cá th ϖ t: I → {True, false} tiêu chu n d ng µ , λ : l n lư t s cá th th h cha m th h cháu 1.2.2 Nh ng q trình ti n hóa c a gi i thu t : 1.2.2.1 Quá trình lai ghép (Cross Over): Phép lai: Là trình hình thành nhi m s c th m i s nhi m s c th cha m b ng cách ghép m t hay nhi u ño n gen c a hai (hay nhi u) nhi m s c th cha-me v i nhau, phép lai ñư c th c hi n v i xác su t pc 1.2.2.2 Quá trình tái sinh (Preproduction) l a ch n (Selection): Tái sinh: Là q trình cá th ñư c chép d a s đ thích nghi c a Phép l a ch n: Là trình lo i b cá th x u qu n th , ch gi l i qu n th cá th t t 1.2.2.3 Q trình đ t bi n (Mutation): Đ t bi n hi n tư ng cá th mang m t s tính tr ng khơng có mã di truy n c a cha-m 1.2.3 T ng quát v gi i thu t di truy n : Hình 1.1 Gi i thu t di truy n t ng quát 1.2.4 Tính h i t gi i thu t di truy n Cho GA=( I , Ψ , Ω, s, t , µ , λ ) n u ñi u ki n sau th a: • I khơng gian h u h n, đ m đư c; • L i gi i t i ưu a* ∈ I Thì gi i thu t s d ng l i gi i tìm ñư c l i gi i t i ưu a* 1.2.5 Nguyên lý ho t ñ ng c a c a gi i thu t : • Bư c 1: Ch n m t s tư ng trưng cho tồn b l i gi i • Bư c 2: Ch ñ nh cho m i l i gi i m t ký hi u Ký hi u có th m t dãy bits 0, hay dãy s th p phân • Bư c 3: Tìm hàm s thích nghi tính h s thích nghi • Bư c 4: T c hi n tái sinh ch n • Bư c 5: Tính h s thích nghi cho cá th m i, i l i m t s nh t ñ nh cá th tương đ i t t • Bư c 6: N u chưa tìm đư c l i gi i t i ưu hay tương ñ i t t nh t, quay l i bư c đ tìm l i gi i m i • Bư c 7: K thúc gi i thu t báo cáo k t qu tìm đư c Hình 1.2 Sơ ñ t ng quát c a gi i thu t di truy n 1.2.6 Xây d ng mơ hình gi i thu t di truy n nâng cao : Hình 1.3 Mơ hình gi i thu t di truy n nâng cao 1.3 S K T H P GI A DI TRUY N VÀ LEO Đ I 1.3.1 Khái ni m: Sau tìm đư c l i gi i t i ưu c a tốn v n đ cịn l i ph i xác hóa nghi m t i ưu v a tìm đư c, mà thu t tốn leo đ i l i ch cho phép tìm đư c gi i pháp t i ưu c c b 1.3.2 K t h p di truy n leo đ i • Bư c 1: Ch y gi i thu t di truy n cho ñ n cá th th h m i không t t nhi u so v i th h trư c • Bư c 2: Gán n cá th t t nh t c a gi i thu t di truy n cho n ñi m xu t phát c a gi i thu t leo ñ i • Bư c 3: Ch y gi i thu t leo đ i tìm đư c l i gi i t i ưu CHƯƠNG NG D NG GI I THU T DI TRUY N TÌM C C TR C A HÀM NHI U BI N 2.1 Đ T V N Đ Hi n có r t nhi u phương pháp gi i quy t toán t i ưu hàm s , phương pháp ch d ng l i nh ng l p toán v i nh ng thơng tin rõ ràng Do đó, vi c tìm m t phương pháp m i ñ gi i toán t i ưu hàm nhi u bi n t ng quát c n thi t Nhưng ñ gi i quy t l p hai tốn lu n văn ph i có m t cơng c c n thi t ph i thi t k tốn tìm c c tr (giá tr Max hay Min) c a m t hàm s nhi u bi n mà m i bi n có th nh n giá tr s n m m t mi n ho c toàn mi n s th c (t − ∞ ñ n + ∞ ) 2.2 BI U DI N BI N Cho m t hàm nhi u bi n y = f ( x1 , x , , x n ) v i xi ∈ Di = [ a i ,bi ] ⊆ R Đ bi u di n xi (i=1,…,n) cho có th th c hi n phép toán di truy n m t cách hi u qu , ta bi u di n xi b ng chu i bit nh phân Gi s xi m t s th c có k ch s th p phân sau d u ch m Thì giá tr c a xi là: x i = a i + decimal(U) bi − a i 2m − i 2.3 CÁC GIÁ TR L A CH N TRONG GI I THU T DI TRUY N 2.3.1 L a ch n kích thư c c a qu n th Đ đ m b o kích thư c qu n th khơng q l n đ ng th i giúp tăng hi u qu tính xác c a gi i thu t hàm s có s bi n l n, ta nên ch n kích thư c qu n th ph thu c vào s bi n c a hàm s : µ = 100 +10 *NumVar (NumVar s bi n c a hàm s ) 2.3.2 L a ch n s l n ti n hóa c a gi i thu t Đ ñ m b o tính xác c a gi i thu t ta ch n s l n ti n hóa NumGen = 100 + 10 * NumVar (NumVar s bi n c a hàm s ) 2.3.3 L a ch n xác su t lai ghép S k t h p l i gi i cha m t o sinh cá th m i gi i thu t di truy n b ng toán t lai ghép 2.3.4 L a ch n xác su t ñ t bi n Xác su t ñ t bi n PM= GenSize 2.3.5 L a ch n kho ng giá tr c a bi n Xác ñ nh ñư c kho ng giá tr c a x thu c kho ng [a,b] V i l p tốn lu n văn m i bi n xi s thu c [ − ∞,+∞ ] Nhưng máy tính, m i ki u d li u ñư c khai báo cho bi n có giá tr khác nhau, giá tr ∞ có th ñư c quy c b ng giá tr l n nh t c a ki u d li u 2.4 HÀM ĐO Đ THÍCH NGHI (EVAL FUNCTION) 2.4.1 Ánh x giá tr hàm m c tiêu f(x) sang giá tr thích nghi (Eval) - N u tốn t i ưu tìm c c ti u c a m t hàm đánh giá g(x) ta xây d ng sau: C − g ( x) f ( x) =  Max 0 g(x) < C Max Trong cac truong hop khac - N u tốn t i ưu tìm c c đ i c a m t hàm đánh giá g(x) ta xây d ng sau: 10 C + g ( x ) f ( x) =  Min 0 g(x) + C Min > Trong cac truong hop khac Trong CMax, CMin m t tham s ñ u vào 2.4.2 Đi u ch nh ñ thích nghi • G i G đ t t c a cá th , đ thích nghi c a cá th theo phương pháp ñi u ch nh n tính đư c xác đ nh theo quy t c sau: F=a*G+b • Giá tr đ thích nghi cu i l i n m ño n[0,1] 2.5 CÁC PHÉP TOÁN DI TRUY N 2.5.1 Kh i t o qu n th ban ñ u Begin for i:=0 to PopSize-1 for j:=0 to GenSize-1 QuanThe.CaThe[i][j]:=Flip(0.5); End; Flip(0.5) hàm t o ng u nhiên v i xác su t 50% Hình 2.3 Đo n mã gi minh h a cho thao tác kh i t o qu n th 2.5.2 Phép ch n cá th (Selection) S d ng phương pháp thông d ng quy t c ch n theo bàn Roulete Q trình đư c th c hi n theo bư c: • Bư c 1: Tính đ thích nghi cho t ng cá th qu n th • Bư c 2: Tính t ng đ thích nghi c a t t c cá th • Bư c 3: Phát sinh m t s ng u nhiên p n m kho ng t ñ n t ng ñ thích nghi c a qu n th • Bư c 4: Tr v cá th đ u tiên mà đ thích nghi c a đ thích nghi c a cá th khác qu n th trư c ñ y 2.5.3 Phép lai ghép (CrossOver) 12 f(x) = θ((w, x) -b) (3.1) + 1, t ≥ (3.2) θ( t ) =   − 1, t < Trong ñó, f(x) hàm phân l p, θ(t) hàm ngư ng (threshold function), (w, x) tích vơ hư ng c a w, x, w tr ng s (weight) t a ñ /ñ c trưng c a x, b ngư ng (threshold) 3.2 HÀM PHÂN BI T TUY N TÍNH VÀ M T QUY T Đ NH 3.2.1 Đ nh nghĩa: Hàm phân bi t n tính m t hàm s nh n m t vector đ u vào x gán cho m t c l p Hàm phân bi t n có d ng: k g(x) = W0 + W1 X1 + W2 X + + Wk X k = W0 + ∑ Wi X i = W t X + W0 i =1 Trong đó: (3.3) W = (W1, W2, , Wk) vectơ tr ng s W0 ñư c g i tr ng s n n hay ngư ng X = (X1, X2, Xk) bi n ñ c l p 3.2.2 Trư ng h p phân hai l p N u lo i d li u phân thành hai l p phương trình (1) tr thành : g(X) = W0 + W1X1 (3.4) D a vào hàm phân bi t (2) s phân chia d li u thành hai l p ñư c th c hi n d a quy t ñ nh sau: Quy t ñ nh thành ph n d li u thu c vào W1 n u ta có g(X) > quy t ñ nh W2 n u g(X) < Trư ng h p g(X)= WtX1 + W0 = WtX2 + W0 hay Wt(X1 – X2) = (3.5) Do g(X) > X đư c gán ñ n W1 (X n m R1), ngư c l i X đư c gán đ n W2 (X n m R2) Khi X thu c R1 ta có th nói X thu c ph n dương c a H X thu c R2 ta có th nói X thu c ph n âm c a H Hàm phân bi t n tính g(X) ch kho ng cách đ i s t X ñ n siêu ph ng H Vì v y, có l cách đơn gi n nh t bi u di n X theo bi u th c sau: W X = Xp + r W Trong đó: • Xp hình chi u chu n c a X H (3.6) 13 • r kho ng cách ñ i s t X ñ n siêu ph ng H Hình 3.2 M t quy t ñ nh n tính H xác ñ nh b i g(X) = WtX + W0, chia không gian thành n a không gian R1(g(X)>0) R2(g(X) ñư c gán nhãn W1 ngư c l i yi đư c gán nhãn W2 V y, ta thay th vi c tìm gi i pháp cho m t t p h p b t phương trình n tính b i tìm gi i pháp cho m t t p h p phương trình n tính 15  y10   y 20  M   M   M y  n0 y11 L y1k   y 21 L y k  M M M   M M M   M M M  y n1 L y nk    b1    a0   b2     M   a1  =    M   M     M  a   k   b   n (3.12) hay Ya = b Ta có th vi t (12) dư i d ng: a = Y-1b (N u Y ma tr n kh ngh ch) đó, ta có th tìm vectơ tr ng s a cho sai s Y*a b c c ti u G i vectơ e là: e = Ya – b Thì ta c n ph i tìm vectơ a cho: J (a) s (3.13) = Ya- b = (Ya − b) t (Ya − b) = ∑ (a t y i − bi ) (3.14) Đ tìm c c ti u c a t ng bình phương sai s ta tìm b ng phương pháp đ o hàm: n ∇J s (a ) = ∑ 2(a t y i − b i ) y i = 2Y t ( Ya − b) (3.15) i =1 Cho phương trình đ t giá tr gi i ta ñư c ñi u ki n: YtYa = Ytb (3.16) V y ta ch c n tìm nghi m a th a mãn phương trình (3.16) đ Gi i ta ñư c : a = (YtY)-1 Ytb = Y*b * t (3.17) -1 Y = (Y Y) Y t (3.18) 3.3.2 Trong trư ng h p phân nhi u l p: Ta có: g i ( X ) = W t X + Wi v i i = 1, 2, …, c Đ t y(X) m t vectơ k+1 chi u c a hàm X đó, g i ( X ) = ait y i=1, 2, …, c (3.19) Khi ñó, X ñư c gán cho l p Wi n u gi(X) > gj(X) v i ∀ j ≠ i Lúc t n t i m t t p h p vectơ tr ng s (i = 1, 2, …,c) cho n um u yk ∈ Yk a it y k > a tj y k ∀ j ≠ i (3.20) Xem toán c toán con, m i toán m i tốn phân lo i nhóm Nghĩa đ i v i tốn th i tr ng s s tìm vectơ tr ng s k t qu c a h phương trình: 16  a it y =  t  a i y = −1 ∀i ∈ Yt ∀i ∉ Yt (3.21) Ma tr n Y trư ng h p t ng quát s m t ma tr n c p (nx(k+1)) c a m u ñư c xét Gi s Y ñư c phân ho ch có d ng:  Y1    Y = Y2   M     Yc  (3.22) Tương t g i A ma tr n c p ((k+1) x c) c a vectơ tr ng s có d ng t ng quát là: A = [a1 a2 … a c] (3.23) Ma tr n B ma tr n c p (n x c) có d ng  B1  B  B =  2 M     Bc  (3.24) Theo cách phát tri n c a ma tr n bình phương l i (YA – B)t (YA – B) k t qu c a phương trình: A = Y* B (3.25) Bây gi , vi c tìm c hàm phân bi t n tính th c hi n theo bư c sau: Bư c 1: Tìm vectơ tr ng s theo phương pháp MSE thõa h t phương trình:  a i y = ∀i ∈ Yi ∀i ∉ Yi  t  y = (3.26) Bư c 2: S d ng k t qu c a bư c 1, gán m u yk cho nhóm Wi, n u t yk > t aj y k v i ∀i ≠ j 3.3.3 Qui trình th c hi n chương trình phân l p d li u Bư c 1: Nh p d li u g m m t t p m u ng u nhiên ( X1 , X1 , , X1 ) , k n ( X1 , X , , X ) , …, ( X1 , X n , , X n ) thu ñư c t quan sát lưu tr dư i d ng k k b ng d li u 17 Bư c 2: Tìm c lư ng c a h s c a vectơ tr ng s b ng thu t tốn di truy n Bư c 3: V đ th minh h a cho k t qu c a s phân l p * Bư c 4: Cho m t b giá tr ( X1 , X * , , X * ) xác ñ nh xem m u k s thu c vào l p phân nhóm CHƯƠNG PHÂN TÍCH H I QUY 4.1 D N NH P Hi n v n ñ khoa h c, k thu t hay nh ng lĩnh v c khác th c t , có liên quan đ n vi c xác ñ nh m i liên h gi a m t t p h p tiêu chu n hay ñ i lư ng (các bi n) khác v b n ch t Chúng ta có th làm rõ b n ch t c a hi n tư ng hay s vi c c n nghiên c u đ tìm quy lu t d đốn D ng đơn gi n là, phương trình h i quy: Y = b0 + b1X1 + b2X2 + b3X3 + + bkXk (4.1) 4.2 Ư C LƯ NG CÁC MƠ HÌNH TỐN H C 4.2.1 Ư c lư ng mơ hình tốn h c Các bư c đ c lư ng mơ hình tốn h c bao g m: Bư c 1: Mơ hình hóa đ i tư ng nghiên c u ñ ti n hành thu th p s li u th c nghi m • Bư c 2: D đốn mơ hình tốn h c d a s s li u ñã thu th p đư c q trình nghiên c u • Bư c 3: Xác đ nh h s c a mơ hình tốn h c • Bư c 4: Ki m ñ nh s phù h p c a mơ hình tốn d đốn 4.2.2 Mơ hình hóa đ i tư ng nghiên c u G i X1, X2 , Xk nguyên nhân tác ñ ng gây nên h u qu hay k t qu Y hàm Y = f(X1, X2, , Xk) → Y 4.2.3 Xây d ng mơ hình tốn h c 4.2.3.1 Phương pháp “ñ th th c nghi m” “tuy n tính hóa”: 18 Mơ hình tốn h c có th d đốn nh đ th th c nghi m ñư c phác h a t s li u thu t p đư c 4.2.3.2.D đốn mơ hình tốn h c b ng phương pháp suy lu n: Ch ng h n, mơ hình gradient m t đ hay n ng đ có th d đốn đư c Y=aX + b, v i b m t ñ hay n ng ñ trung tâm xu t phát ñi m, X kho ng cách t trung tâm đ n m xét X X ñây, X có th ñư c thay th b ng đ i di n c a lnX, 10 , e , X , 4.2.4 Tìm h s c a mơ hình tốn h c Hai phương pháp thư ng ñư c s d ng : - Phương pháp t i thi u hóa t ng bình phương sai s - Phương pháp Moment 4.2.5 Ki m ñ nh ñánh giá m c đ phù h p c a mơ hình tốn h c Mơ hình tốn h c Y = b0 + b1X1 + b2X2 + + bkXk hay Y* - Y = b1 (X1 - X ) + b2 (X2 - X ) + + bK (Xk - X ) 4.3 PHƯƠNG PHÁP T I TI U HÓA T NG BÌNH PHƯƠNG SAI S (MINIMUM SUM SQUARED METHOD) 4.3.1 Phương pháp t i ti u hóa t ng bình phương sai s Phương pháp bình phương t i thi u phương pháp chu n đ c th hố mơ hình h i quy n tính c lư ng thông s chưa bi t tuân theo gi thi t sau ñây: Các bi n đ c l p xi khơng ph i bi n ng u nhiên Kỳ v ng toán c a thành ph n sai s (εi) b ng 0, t c E[εi]=0 Có tính thu n nh t - phương sai c a thành ph n sai s c ñ nh, t c var(εi) = σ2 Khơng có t tương quan, t c cov(εi, εj) = 0, (i ≠ j) N u f có d ng phi n ta s ti n hành n tính hóa mơ hình toán h c trư c ti n hành phân tích Khi đó, phương trình h i quy s có d ng phương trình (2): 19 Y = ϕ(X1, X2, , Xk) = f(X1,X2, ,Xk; b0, b1, ,b) (4.2) Hay Y = b0 + b1X1 + b2X2 + b3X3 + bkXk (4.3) N u giá tr Y h i quy, hoàn toàn trùng kh p v i giá tr Y th c nghi m Khi đó, ta có : Y = b0 + b1X1 + b2X2 + b3X3 + bkXk+e (4.4) n Qe = ∑ (Yi − Yi* ) (4.5) i =1 Đ tìm tham s b0, b1, bk ta l y ñ o hàm riêng c a Qe theo bi n b0, b1, bk, cho giá tr ñ o hàm b ng 0, ta có h phương trình sau:  ∂ (Qe )  ∂(b ) = 0   ∂ (Qe ) =0   ∂ (b1 )    ∂ (Qe )  ∂ (b ) =  k (4.6) 4.3.2 Tìm giá tr c a h s h i quy b ng thu t gi i di truy n Đ xác ñ nh giá tr c a h s h i quy b0, b1, ,,, bk s d ng cơng c tìm giá tr t i thi u c a hàm nhi u bi n b ng thu t gi i di truy n ñã ñư c trình bày chương đ tìm giá tr c c tiêu g n ñúng c a Qe T ñó xác ñ nh ñư c giá tr c lư ng c a tham s b0, b1, , bk c a phương trình h i quy n n 4.4 Ư C LƯ NG H I QUY TUY N TÍNH 4.4.1 Ư c lư ng H i quy n tính đơn Cho hai đ i lư ng h i quy n tính ng u nhiên X Y , mơ hình h i quy n tính đơn t ng qt có d ng: Y = b0 + b1X 20 Trong b0 b1 ñư c xác ñ nh sau: n b1 = ∑ (x i =1 i n − x)( yi − y) n ∑ (x i =1 = i ∑ (x y i =1 n i ∑ (x − x) i =1 i i − n x y) ; b0 = y − b1 x − nx2 ) Vi c phân tích h i quy d a mơ hình tốn h c đư c th c hi n sau: • Bư c 1: Tìm giá tr c c ti u c a m t hàm nhi u bi n s (hai bi n) b ng thu t gi i di truy n ñ xác ñ nh h s h i quy b0, b1 c a mơ hình tốn h c giá tr g n c a Qe • Bư c 2: Ki m ñ nh s phù h p theo công th c: n n 1 n  Q x = ∑ (X i − X) = ∑ Xi2 −  ∑ X i  n  i=1  i =1 i =1 1 n  QY = ∑ (Yi − Y) = ∑ Y −  ∑ Yi  n  i=1  i =1 i=1 n n (4.7) (4.8) i n Qe = ∑ (Yi − Yi* ) (4.9) i =1 n n 1 n  Q Y* = ∑ (Yi* − Y) = ∑ (Yi* )2 −  ∑ Yi  n  i=1  i =1 i =1 (4.10) Q Y = Q Y* + Q e F(1,n − 2) = r =R = (4.11) (n − 2)QY* (4.12) Qe QR Q = 1− e QY QY (4.13) B ng 4.1 B ng ki m ñ nh & ñánh giá m c ñ phù h p c a mơ hình tốn h c Ngu n bi n lư ng Y = b0 + b1X Đ t T ng bình phương H i quy Q Y* Sai s ng u nhiên n-2 Qe Bi n lư ng S2 = Qe (n − 2) 21 T ng th c t n-1 F(1,n − 2) = QY (n − 2)QY* Qe QR Q = 1− e QY QY r =R = • Bư c 3: Ki m đ nh giá tr c a h s b0 v i gi i thuy t tương ñ ng n b0 − t p (n − 2) n S2 ∑ Xi2 S2 ∑ Xi2 < b < b0 + t p (n − 2) i =1 nQ x ( 4.14) i =1 nQ x • Bư c 4: Xác đ nh kho ng tin tư ng cho Y0 = b0 + b1X0 Và V i: Y0 ∈ Y0 ± tp(n - 2) S (4.15) Y0   X − X 2  SY0 = S  +     n  Qx     (4.16) 4.4.2 H i quy n tính b i : Mơ hình tốn h c t ng qt h i quy n tính b i có d ng: Y = b0 + b1X1 + b2X2, + + bk-1Xk-1 Ti n hành phân tích h i quy d a mơ hình tốn h c sau: • Bư c 1: Tìm giá tr c c ti u c a m t hàm nhi u bi n s (s bi n ≥3) b ng thu t gi i di truy n ñ xác ñ nh h s h i quy b0, b1, b2, , bk-1 c a mơ hình tốn h c giá tr g n c a Qe • Bư c 2: Ki m đ nh s phù h p c a mơ hình tốn h c tìm đư c Tương t trư ng h p K = mơ hình tốn h c d ng t ng qt v n đư c tính theo cơng th c (9), hay là: n n ∑ (Y − Y) = ∑ (Y i =1 hay: i i =1 * i n − Y) + ∑ (Yi − Yi* ) i =1 Q Y = Q Y* + Q e Tính giá tr QY, Q Y* theo công th Ti n hành ki m ñ nh s phù h p (4.17) c (4.8) (4.10) 22 Q Y* F(K − 1, n − 1) = K −1 Qe n−K (4.18) Đ ñánh giá m c đ phù h p c a mơ hình toán h c, s d ng h s tương quan đa ph n R theo cơng th c (4.13), sau: Q Y* Q = 1− e QY QY Đ ki m ñ nh giá tr c a h s tương quan ña ph n R s d ng tr c nghi m F v i K-1 n-K ñ t gi thuy t tương ñ ng H0:b1=0: R2 (4.19) K −1 F(k − 1,n − 1) = 1− R n −K B ng 4.2 B ng ki m ñ nh ñánh giá m c đ phù h p c a mơ hình tốn h c Y = b0 + b1X1 + b2X2, + + bk-1Xk-1 Ngu n bi n lư ng Đ t T ng bình phương Bi n lư ng Y = b0 + b1X1 + b2X2, + + H i quy K-1 Qe bk-1Xk-1 S2 = (n − K) Sai s ng u nhiên n-K Qe T ng th c t n-1 QY R= R2 K −1 F(k − 1, n − 1) = 1− R n −K r =R = QY* QY Qe QY K = S2 A-1 V ma tr n hi p phương sai: Trong đó, A ma tr n:  Q x1   Q x1x    Q  x1x k −1  = 1− Q x1x Q x1x Qx2 Q x2x3 Q x x k −1 Q x3x k −1 Q x1x k −1   Q x 2x k −1     Q x k −1    (4.20) (4.21) 23 Trong đó: n n  1 n Q xi = ∑ (Xij − Xi )2 = ∑ Xij −  ∑ Xij  n  j=1  j=1 j=1 (4.22) n n  1 n  n Qxix j = ∑(Xij − Xi )(Xij − X j ) = ∑ Xi X j −  ∑ Xi   ∑ X j  n  i=1   j=1  i =1 j=1 (4.23) Trong trư ng h p K = (mơ hình tốn h c Y= b1X + b0) ma tr n A có d ng:   n A= n   ∑ Xi  i =1   i =1  n  ∑ Xi  i =1  n ∑X i (4.24) Trong hai trư ng h p h i quy có d ng đư ng cong b c hai (mơ hình tốn h c Y = b2X2 + b1X + b0) ma tr n hi p phương sai A có d ng: n n    n ∑ X i ∑ Xi  i =1 i =1   (4.25) n n  n  A = ∑ Xi ∑ X i ∑ X i  i =1 i =1  i=1  n n n   ∑ Xi ∑ Xi ∑ X i  i =1 i =1  i=1  S2i = S2 *Cii b V phương sai c a b1: (4.26) v i Cii ph n t c a ma tr n A-1 V phương sai c a Y0 = b0 + b1X10 + b2X20, + + bk-1Xk-10 : ( )( + + ( X − X )( X − X ) C + ( X − X )( X − X ) C SY0 = ( ) ( ) ) 2 S2 0 0 + X1 − X1 K11 + X2 − X2 K22 + + X1 − X1 X2 − X2 C12 n 2 3 13 2 4 14 (4.27) + V i Kij ph n t c a ma tr n hi p phương sai K Trong trư ng h p mơ hình tốn h c phù h p v i s li u th c nghi m thu đư c ta ti n hành bư c sau: • Bư c 3: Ki m ñ nh giá tr c a h s bi b ng cách s d ng kho ng tin tư ng c a bi v i P ≤ 0.05 sau: bi − t p (n − K)Sbi < b t < b t + t p (n − K)Sbi (4.28) 24 • Bư c 4: Xác đ nh kho ng tin tư ng (d đốn giá tr c a Y0 d a vào t p giá tr Xi0) Cho Y0 = b0 + b1X10 + b2X20, + + bk-1Xk-10: Kho ng tin tư ng c a Cho Y0 = b0 + b1X10 + b2X20, + + bk-1Xk-10 v i m c sai l m P ñư c cho b i: Y0 − t p (n − 2)SY10 < Y0 < Y0 + t p (n − 2)SY0 hay Y0 ∈Y0 ± t p (n − 2)SY (4.29) 4.4.3 Các bư c th c hi n chương trình phân tích d li u h i quy • Bư c 1: Nh p m t t p m u ng u nhiên 1 2 2 n n n (X ,X , ,X1 −1 ,Y1 ),(X1 ,X , ,X k −1,Y2 ), ,(X1 ,X , ,X k −1,Yn ) k • Bư c 2: Phác h a ñ th c a hàm s d a theo bi n ñ c l p ph thu c đư c ch n • Bư c 3: Tìm c lư ng c a h s h i quy bj c a phương trình: Y = b0 + b1X1 + b2X2, + + βk-1Xk-1 cho t ng giá tr c a sai s gi a giá tr Yi ,Y* nh nh t • Bư c 4: Ki m ñ nh m c đ phù h p c a mơ hình tốn h c * • Bư c 5: Cho m t b giá tr (X1 , X1 , , X1 ,X* , , X* ) c a 2 k bi n đ c l p Xi d đốn giá tr Y* c a bi n ph thu c Y • Bư c 6: Tìm xem v i giá tr c a (X1, X2, Xk) Y ñ t giá tr c c ñ i (Max) hay giá tr c c ti u (Min) • Bư c 7: V ñ th ñư ng bi u di n d li u 25 K T LU N VÀ HƯ NG PHÁT TRI N K T LU N Lu n văn ng d ng thu t gi i di truy n đ tìm c c tr c a m t hàm đa bi n đư c trình bày chương K t qu ñư c s d ng làm cơng c đ gi i quy t hai l p toán thu c lĩnh v c th ng kê ñư c ñ c p hai chương ti p theo c a lu n văn M c tiêu c a lu n văn gi i hai l p toán thu c lĩnh v c th ng kê ñã nêu K t qu c a tốn mang l i v a có tính c a m t h th ng máy h c, giúp d báo, tính tốn, phân l p d li u khơng đư c h c v a có ý nghĩa ñ xu t ñ t ñư c k t qu kh quan v m t phương pháp phân l p d li u vi c thi t l p mơ hình tốn h c Bài toán phân l p d li u d a t p hàm phân bi t n tính th c ch t tìm cách phân chia t p d li u ban đ u (có kích thư c l n) thành nh ng t p d li u nh mà m i t p d li u th a m t s tính ch t đ c thù đó, t o u ki n thu n l i cho trình phân tích d li u, nghiên c u d li u sau nh nhàng hơn, t n cơng s c v n có th đ t đư c hi u qu cao Bài tốn phân tích h i quy n tính th c ch t tìm m i quan h mơ t s ph thu c c a giá tr bi n ng u nhiên ñ c l p vào giá tr c a bi n ph thu c xu t Ki m ñ nh đ tin c y c a mơ hình tìm ñư c, ñ ng th i cho phép ta d báo giá tr n m t p th c nghi m v i đ xác cao mà không c n ph i lưu tr t p th c nghi m n a Vi c áp d ng thu t gi i di truy n ñ gi i quy t hai l p tốn đư c trình bày m t cách rõ ràng, c th Th hi n m t phương pháp ti p c n m i, tinh t ñ gi i quy t m t s l p toán lĩnh v c th ng kê nh ng toán t n r t nhi u công s c cho thao tác tính tốn đ tìm l i gi i cho toán Cách ti p c n b ng thu t tốn di truy n có th gi m chi phí cơng s c cho vi c tính tốn r t nhi u mà v n đ t ñư c k t qu t i ưu Các k t qu ñ t ñư c c a lu n văn góp ph n xây d ng m t phương pháp m i, m t hư ng ti p c n m i ñ gi i quy t m t s l p toán th ng kê 26 ngồi phương pháp tốn h c b ng gi i tích truy n th ng Đ ng th i ch ng minh ñư c ti m to l n tính ưu vi t c a thu t gi i di truy n v n ñ tìm ki m l i gi i t i ưu cho nhi u d ng v n ñ khác HƯ NG PHÁT TRI N M c dù ñã ñ t ñư c m t s k t qu nh t ñ nh v n chưa gi i quy t r t v n ñ liên quan đ n hai l p tốn phân tích h i quy phân l p d li u như: Trong toán h i quy n tính chưa nghiên c u v n đ h i quy phi n đ có th gi i quy t tr n v n toán h i quy d ng t ng qt, cịn tốn phân l p d li u d a hàm phân bi t n tính, chưa nghiên c u đ n hàm phân bi t phi n nên tính xác c a k t qu chưa cao Trong tương lai, tơi mong mu n có đư c h i ti p t c tìm tịi, h c h i thêm nh m hồn thi n đ tài có u ki n nghiên c u chuyên sâu v thu t gi i di truy n đ gi i quy t tốn có tính ph c t p cao tốn x p l ch bi u ... i thu t di truy n vi c tìm l i gi i cho nhi u d ng tốn khác M c tiêu, ý nghĩa đ tài Nghiên c u ng d ng gi i thu t di truy n vào hai l p toán thu c lĩnh v c th ng kê tốn h i quy n tính toán phân... quy t hai l p toán phân tích d li u th ng kê Đ i tương ph m vi nghiên c u 2.1 Đ i tư ng nghiên c u Đ i tư ng nghiên c u c a ñ tài g m: - Gi i thu t di truy n - Phân l p d li u b ng hàm phân... i di truy n, D.E.Golberg ñ xu t, ñư c L.Davis Z.Michalevicz phát tri n Trong ph m vi lu n văn ch nghiên c u l p trình ti n hóa thơng qua gi i thu t di truy n ng d ng vào gi i quy t hai l p toán