I HC QUC GIA H NI TRNG I HC KHOA HC T NHIấN - NGUYN VN TN THUT TON Mễ PHNG MCMC THCH NGHI V NG DNG Chuyờn ngnh: Lý thuyt xỏc sut v thng kờ toỏn hc Mó s: 60460106 LUN VN THC S KHOA HC NGI HNG DN KHOA HC: TS TRN MNH CNG H Ni - 2015 Mc lc Li núi u Kin thc chun b 1.1 S hi t ca dóy i lng ngu nhiờn 1.2 Dóy mixingale 1.3 Cỏc thut toỏn mụ phng c bn 1.3.1 Phng phỏp bin i nghch o 1.3.2 Phng phỏp loi b 1.3.3 Phng phỏp ly mu quan trng 1.4 Xớch Markov Phng phỏp MCMC 2.1 Gii thiu 2.2 Mu Metropolis - Hastings 2.3 Mt s thut toỏn MCMC 2.3.1 Mu Gibbs 2.3.2 Mu c lp 2.3.3 Mu Metropolis - Hastings du ng ngu nhiờn 2.3.4 Mu Metropolis (thnh phn n) 22 22 23 29 29 30 32 33 AP 34 35 35 37 38 MCMC thớch nghi 3.1 Thut toỏn Metropolis du ng ngu nhiờn thớch nghi 3.1.1 Mụ t thut toỏn 3.1.2 Tớnh cht ergodic 3.1.3 So sỏnh cỏc thut toỏn Metropolis vi thut toỏn 5 13 15 3.2 3.3 Thut toỏn Metropolis thớch nghi 3.2.1 Mụ t thut toỏn 3.2.2 Tớnh Ergodic 3.2.3 So sỏnh cỏc thut toỏn Metropolis vi thut Mt s ng dng ca MCMC thớch nghi 3.3.1 Mụ hỡnh mụ phng GOMOS 3.3.2 Mụ hỡnh suy gim oxy toỏn AM 42 45 47 59 59 60 65 Kt qu chớnh 67 Ti liu tham kho 68 Li núi u tỡm hiu v MC, ta xột bi toỏn sau: Gi s ta cn tớnh tớch phõn Theo nh lý Newton - Leibnitz, nu F (x) l mt nguyờn hm ca h(x) thỡ h(x)dx I = F (x) = F (1) F (0) Tuy nhiờn, nhiu trng hp, ta khụng th tỡm c F(x) Gi s f (x) l hm mt trờn [0, 1] cho nu h(x) = thỡ f (x) > Ta vit li I = fh(x) (x) f (x)dx Khi ú, chỳng ta ly mu c lp cựng phõn phi (1) (n) (x , , x ) t phõn phi xỏc nh bi mt f v xột: In = n n h(x(i) )/f (x(i) ) i=1 Lut s ln cho ta thy rng In hi t vi xỏc sut ti tớch phõn I n tin ti ngha l In I(h.c.c) Nh vy tớnh xp x I, ta phi thc hin n mụ phng cho bin ngu nhiờn X Cỏc mụ phng MC c bn ny cú u im l d thc hin Tuy nhiờn, nú ch mụ phng c i vi cỏc trng hp n gin Trong nhiu trng hp phc nh s chiu tng lờn (phõn phi nhiu chiu) thỡ cỏc MC c bn khụng th thc hin c gii quyt ny, chỳng ta a mt phng phỏp gi l phng phỏp MCMC í tng chớnh ca phng phỏp MCMC l i xõy dng mt xớch Markov cú tớnh ergodic m phõn phi dng l Khi ú, chỳng ta chy X lờn n thi gian di N v c lng E(h(Y )) bi N1 N n=1 h(Xn ) nh lý ergodic cho ta bit vi N ln, c lng trờn s gn n E(h(Y )) Chỳng ta thy rng vic chn la phõn phi xut l quan trng cho s hi t ca thut toỏn MCMC Vic chn la c phõn phi xut tt thng khú thc hin vỡ thụng tin v mt mc tiờu l khụng cú hoc rt ớt Hn na, thut toỏn MCMC, phõn phi xut c chn cho mi bc mụ phng s dng cỏc thụng tin ó thu c cỏc bc mụ phng trc mụ phng cho bc tip theo, chỳng ta a thut toỏn MCMC thớch nghi ú, phõn phi xut c cp nht cựng quỏ trỡnh s dng thụng tin y tớch ly cho n thi im hin ti Mi la chn phõn phi xut thớch nghi s cho chỳng ta mt dng MCMC thớch nghi Mc ớch chớnh ca lun ny l trỡnh by cỏc phng phỏp MCMC c bn v hai thut toỏn MCMC thớch nghi t bi bỏo [6], [7] ng thi a cỏc so sỏnh gia cỏc thut toỏn MCMC v chng minh chi tit cỏc nh lý bi bỏo cng nh a mt s ng dng ca thut toỏn Lun gm chng Chng nhc li mt s kin thc b tr v s hi t ca dóy i lng ngu nhiờn, dóy mixingale, cỏc thut toỏn mụ phng MC c bn v xớch Markov Chng trỡnh by v cỏc phng phỏp MCMC c bn Chng trỡnh by chi tit v hai phng phỏp MCMC thớch nghi t hai bi bỏo [6] v [7] ú l thut toỏn Metropolis du ng ngu nhiờn thớch nghi ([6]) v thut toỏn Metropolis thớch nghi ([7]) Ch tớnh hi t ca hai thut toỏn v chng minh tớnh ergodic ca thut toỏn Metropolis thớch nghi Sau mi thut toỏn u a s so sỏnh gia cỏc thut toỏn MCMC ng thi a mt s ng dng thc t ca mụ hỡnh MCMC thớch nghi Li u tiờn, xin chõn thnh cm n thy TS Trn Mnh Cng ó nhn hng dn v tn tỡnh giỳp tụi hon thnh lun ny Lũng bit n sõu sc tụi cng xin c gi n cỏc thy cụ Trng HKHTN - HQGHN, Khoa Toỏn - C - Tin ó giỳp tụi hon thnh khúa hc H Ni thỏng 12 nm 2015 Chng Kin thc chun b 1.1 S hi t ca dóy i lng ngu nhiờn Gi s (, F, P ) l khụng gian xỏc sut nh ngha 1.1 Mt dóy cỏc i lng ngu nhiờn hay bin ngu nhiờn (Xn ) c gi l hi t hu chc chn n bin ngu nhiờn X nu: P { : lim Xn () = X()} = n Ký hiu l limn Xn = X(h.c.c) nh ngha 1.2 Cho dóy (Xn ) cỏc bin ngu nhiờn Fn (x), F (x) tng ng l hm phõn phi ca Xn , X Gi C(F ) l cỏc im liờn tc ca hm F Ta núi dóy (Xn ) hi t theo phõn phi n X nu x C(F ), ta cú: lim Fn (x) = F (x) n d X Ký hiu l Xn nh ngha 1.3 Mt dóy cỏc bin ngu nhiờn (Xn ) c gi l hi t theo xỏc sut n bin ngu nhiờn X nu > ta cú : P { : |Xn () X()| > } = P Ký hiu l Xn X nh ngha 1.4 Mt dóy cỏc bin ngu nhiờn (Xn ) c gi l hi t theo trung bỡnh bc r n bin ngu nhiờn X nu r 1, E|Xn |r < n, E|X|r < v : lim E{|Xn X|r } = n L r Ký hiu l Xn X nh ngha 1.5 (lut s ln) Cho dóy (Xn ) cỏc bin ngu nhiờn c lp cựng phõn phi, cú cựng k vng EXi = (i = 1, 2, ) t Sn = X1 + +Xn Ta núi dóy (Xn ) tuõn theo lut s ln nu Sn s hi t theo xỏc n sut n nh lớ 1.6 (nh lý gii hn trung tõm) Cho dóy (Xn ) cỏc bin ngu nhiờn c lp cựng phõn phi, cú cựng k vng EXi = v phng sai n nà Khi ú Zn s hi t DXi = (i = 1, 2, ) t Zn = X1 + +X n theo phõn phi n bin ngu nhiờn Z cú phõn phi chun tc 1.2 Dóy mixingale nh ngha 1.7 Cho dóy (Xn )n1 cỏc bin ngu nhiờn bỡnh phng kh tớch khụng gian xỏc sut (, F, P ) v dóy (Fn )+ n= l dóy tng cỏc - i s ca F Khi ú, (Xn , Fn ) c gi l dóy mixingale nu vi mi dóy hng khụng õm cn v m , ú m m , ta cú: ||E(Xn |Fnm )||2 m cn v ||Xn E(Xn |Fn+m )||2 m+1 cn , vi mi n v m nh lớ 1.8 [4, tr 41] Nu {Xn , Fn } l mt mixingale v {bn } l mt dóy hng dng tng n cho 1/2 b2 (logn)2 ) n cn < v n = O(n n=1 thỡ b1 n n i=1 Xi 0(h.c.c) n 1.3 Cỏc thut toỏn mụ phng c bn Cỏc kt qu thng kờ thng liờn quan n tớch phõn Nhc li rng c k vng v xỏc sut u nhn c t tớch phõn (hoc tng) Vỡ vy, xột tớch phõn sau: I= h(x)dx Thụng thng, ngi ta tip cn dng tng Riemann Chỳng ta ỏnh giỏ hm h(x) ti n im (x(1) , , x(n) ) mt li chớnh quy v sau ú tớnh: n I h(x(i) ) n i=1 Tuy nhiờn, nhiu trng hp, vic xỏc nh ly cỏc im (x(1) , , x(n) ) l khụng th hoc chi phớ quỏ tn kộm, ngi ta ó a mt cỏch tip cn khỏc ú l quỏ trỡnh Monte Carlo Chỳng ta bt u bng vic vit li tớch phõn nh sau: h(x) I= f (x)dx f (x) ú f (x) l mt mt trờn [0, 1] cho nu h(x) = thỡ f (x) > Nhng iu ny ngha l: I = Ef (h(X)/f (X)), ú Ef l ký hiu ca k vng i vi phõn phi xỏc nh bi f Bõy gi, chỳng ta ly mu c lp cựng phõn phi (x(1) , , x(n) ) t phõn phi xỏc nh bi mt f v xột: In = n n h(x(i) )/f (x(i) ) i=1 Lut s ln cho ta thy rng In hi t vi xỏc sut ti tớch phõn I n tin ti ngha l In I(h.c.c) Hn na, nh lý gii hn trung tõm ch rng (In I)/ V ar(In ) xp x phõn phi chun Vỡ vy phng sai V ar(In ) cho ta bit v chớnh xỏc c lng ca chỳng ta v nú cú th c c lng nh sau: = n(n 1) 1.3.1 n (h(xj )/f (xj ) In )2 j=1 Phng phỏp bin i nghch o nh lớ 1.9 Xột hm phõn phi ly tớch (cdf) F (x) Gi F l nghch o m rng ca F , tc l: F (u) = min{x S : F (x) u} u (0, 1] Gi U l mt bin ngu nhiờn phõn phi u (0, 1) v t X = F (U ), ú phõn phi ca X cú cdf F (x) (Chỳ ý rng i vi hm phõn phi liờn tc thỡ nghch o m rng l nghch o thụng thng) Bng nh ngha ca nghch o m rng v tớnh n iu ca F , ta cú: P (X x) = P(F (U ) x) = P (U F (x)) = F (x) Vớ d 1.1 Mụ phng mt bin ngu nhiờn phõn phi m vi tham s Mt bin ngu nhiờn cú phõn phi m vi tham s cú hm phõn phi l: F (x) = exp(x) vi x Gi U U (0, 1) (phõn phi u trờn (0, 1)) v t Y = log(1 U ) Khi ú Y cú phõn phi m vi tham s iu ny cú th n gin húa hn bng cỏch tha nhn rng U cng l phõn phi u trờn (0, 1) v vỡ th Y = log(U ) cú phõn phi m vi tham s Vớ d 1.2 Mụ phng bin ngu nhiờn cú phõn phi Bernoulli (p) v bin ngu nhiờn cú phõn phi nh thc B(n, p) Cho U l mt bin ngu nhiờn phõn phi u (0, 1) Nu ta xột nu U < p X= ngc li thỡ X l bin ngu nhiờn cú phõn phi Bernoulli vi xỏc sut thnh cụng p Cho X1 , , Xn l mt mu c lp cựng phõn phi Bernoulli(p) Khi ú Y = ni=1 Xi cú phõn phi nh thc B(n, p) Vớ d 1.3 Mụ phng bin ngu nhiờn tuõn theo phõn phi hỡnh hc (p) Gi s X nhn giỏ tr N v P(X = j) = pj Khi ú: j F (u) = min{j N : u pi } i=1 Bõy gi, nu X G(p) thỡ P(X > j) = (1 p)j Do ú j pi = (1 p)j u i=1 nu v ch nu j log(1 u) log(1 p) Ký hiu [a] l phn nguyờn ca a thỡ X = log(U ) log(1p) tuõn theo phõn phi hỡnh hc G(p) 1.3.2 Phng phỏp loi b Gi s chỳng ta mun ly mu X l mt bin ngu nhiờn liờn tc vi hm mt f (x) Chỳng ta khụng bit cỏch ly mu t X nhng chỳng ta bit cỏch ly mu t mt bin ngu nhiờn Y tng t vi hm mt g(y) Gi giỏ ca f l supp(f ) = {x : f (x) > 0} Nu ta cú supp(f ) supp(g) th ỏp dng chỳng mt trng thỏi tng quỏt hn, c bit cho cỏc bin th ca AM m khụng gian trng thỏi cha c phn ri rc v phn liờn tc Chng minh ca chỳng ta da trờn mnh c bn sau Mnh 3.5 Cho xớch Xn trờn khụng gian trng thỏi S v dóy xỏc sut chuyn tng quỏt Kn tha cỏc iu kin ca nh lý 3.3 Ký hiu Fn = (X0 , X1 , , Xn ) l -i s sinh bi xớch n thi im n v t = 1/k0 Cho n v k Khi ú vi mi phõn phi ban u v vi mi hm f o c b chn trờn S , ta cú bt ng thc E(f (Xn+k )|Fn ) f (y)(dy) S c(c0 , c1 , ) inf 1jk j + j ||f || n+kj (3.17) Chng minh: Rừ rng, chỳng ta cú th gi s f = S f (y)(dy) = vỡ trng hp tng quỏt thu c bi ỏp dng mnh cho hm f f Cho n v k v chỳ ý rng t nh ngha ca k vng cú iu kin v (3.4) ta cú (hu chc chn) E(f (Xn+k )|Fn ) Kn+1 (X0 , X1 , , Xn ; dyn+1 ) = yn+1 S ããã Kn+2 (X0 , X1 , , Xn , yn+1 ; dyn+2 ) yn+2 S Kn+k (X0 , X1 , , Xn , yn+1 , , yn+k1 ; dyn+k )f (yn+k ) ã ã ã yn+k S (3.18) t (X0 , X1 , , Xn ) = Xn Ta thy Xn khụng can thip vo cỏc tớch phõn nờn nú cú th c coi nh bin t (hoc hng s) Chỳng ta cng a vo xỏc sut chuyn Q vi Q(y; dz) = Kn+2 (Xn , y; dz) T iu kin (iii) i vi giỏ tr tựy ý ca Xn v yn+1 , , yn+k1 : (kn+k (Xn , yn+1 , , yn+k1 ;dyn+k ) kn+2 (Xn , yn+k1 ; dyn+k ))f (yn+k ) S c1 ||f || k2 n+2 (3.19) 55 c lng ny cho phộp a vit (3.18) di dng: E(f (Xn+k )|Fn ) = gk (Xn ) + Kn+1 (Xn ; dyn+1 ) yn+1 S ããã Kn+2 (Xn , yn+1 ; dyn+2 ) yn+2 S Kn+k1 (Xn , yn+1 , , yn+k2 ; dyn+k1 ) yn+k1 S Kn+2 (Xn , yn+k1 ; dyn+k )f (yn+k ) ããã , yn+k S (3.20) ú gk = gk (Xn ) tha gk (Xn ) Kn+1 (Xn ; dyn+1 ) yn+1 S ããã Kn+2 (Xn , yn+1 ; dyn+2 ) yn+2 S Kn+k1 (Xn , yn+1 , , yn+k1 ; dyn+k )f (yn+k )c1 ||f || yn+k1 S c1 ||f || k2 ããã n+2 k2 n+2 (3.21) Bc tip theo, ta nhc li cỏch thay th xỏc sut chuyn tng quỏt bi Kn+k1 (Xn , yn+1 , , yn+k1 ) bi xỏc sut chuyn Q cụng thc (3.20) Tip tc theo cỏch ny ta thu c: E(f (Xn+k )|Fn ) = Kn+1 (Xn ; dyn+1 ) yn+1 S ããã Q(yn+1 ; dyn+2 ) yn+2 S Q(yn+k1 ; dyn+k ) ã ã ã yn+k S + g2 (Xn ) + g3 (Xn ) + ã ã ã + gk (Xn ), (3.22) 56 ú gj (Xn ) = Kn+1 (Xn ; dyn+1 ) Kn+2 (Xn , yn+1 ; dyn+2 ) yn+1 S yn+2 S ããã (Kn+j (Xn , yn+1 , , yn+j1 ; dyn+j ) yn+j S Kn+2 (Xn , yn+j1 ; dyn+j ))Qkj ã ã ã (3.23) Nhc li õy Qkj l (k j)-lp li ca xỏc sut chuyn Q v ta ỏp dng ký hiu chun (Qkj )(x) = S Qkj (x; dy)f (y) Vỡ ||Qkj f || ||f || nờn ta thu c t iu kin (iii): |gj | c1 j2 ||f || n+2 Túm li, ta ch ra: E(f (Xn+k )|Fn ) = n,k Kn+1 (X0 , , Xn , dyn+1 )Qk1 f (yn+k ), + yn+1 S (3.24) vi n,k = n,k (X0 , , Xn ) tha món: k j2 c1 k | n,k | c1 ||f || ||f || n + n j=2 (3.25) t [(k 1)/k0 ] = k , v chỳ ý (Qk1 ) k theo (i) T (ii) v nh ngha ca Q, ta cú: k2 k1 ||Q k2 j+1 || ||Q j Q || j=0 j=0 c0 (k 1) c0 n+2 n+2 S dng gi thit f = 0, ta cú c lng: ||Qk1 f || = sup |x Qk1 f | sup |(x )Qk1 f | + |Qk1 f | xS xS 2k ||f || + |(Qk1 )f | c0 (k 1) + 2k n+2 ||f || (3.26) 57 Kt hp iu ny vi (3.22) v (3.23), ta thu c: ||E(f (Xn+k )|Fn )|| k2 + [(k1)/k0 ] ||f || , c(c0 , c1 , ) n (3.27) vi mi n, k D thy, vi mi ch s j gia v k , theo tớnh cht cựa k vng cú iu kin, ta cú: ||E(f (Xn+k )|Fn )|| ||E(f (Xn+k )|Fn+kj )|| Do ú, thay n bi n + k j v thay k bi j , ta cú iu phi chng minh: j2 ||E(f (Xn+k )|Fn )|| inf c(c0 , c1 , ) + [(j1)/k0 ] ||f || 1jk n+kj (3.28) Bõy gi, ta i chng minh nh lý 3.3: T mnh 3.5 ta thu c: vi mi n v k ||E(f (Xn+k ) f (y)(dy)|Fn )|| (k), S ú (0) = (1) = 2||f || , v vi k thỡ j2 log k j (k) c(c0 , c1 , ) inf + ||f || c (c0 , c1 , f, ) 1jk n + k j k (3.29) Trong c lng cui thu c bi vic chn j = log k/ log(1/ ) vi k k1 ( ) ỏnh giỏ (3.28) cho tim cn c lp, cựng vi nh ngha -i s Fn , rừ rng f (Xn ) Ef (Xn ) l mt mixigale Mcleish hoc [4] thun li, ta nhc li nh ngha ca mixingales Cho (F ) n= l dóy tng cỏc -i s mt khụng gian xỏc sut Mt dóy (Yn ) n=1 cỏc bin ngu nhiờn bỡnh phng kh tớch l mt dóy mixingales (khỏc) nu cú hai dóy thc (rm ) m=0 v (an )n=1 cho vi rm m , v ||E(Yn |Fnm )||2 rm an v ||Yn E(Yn |Fn+m )||2 rm+1 an (3.30) vi mi n v m õy, Yn = f (Xn ) Ef (Xn ), chỳng ta chn (an ) l dóy hng v Fn l i s tm thng vi n < V phi ca 58 (3.30) t ng c tha Hn na, chỳng ta cú th chn rk = (k) dn n rk C( )k vi mi > Vỡ th, chỳng ta cú th ỏp dng lp tc lut s ln ni ting cho dóy mixingale ([4, tr 41], nh lý 2.21) f (Xn ) Ef (Xn ) Do ú, limn Ef (Xn ) = S f (y)(dy) 3.2.3 So sỏnh cỏc thut toỏn Metropolis vi thut toỏn AM Trong on ny, chỳng ta a kt qu ca vic chy thc nghim trờn mỏy tớnh tng t nh on 3.1.2 vi s chiu d = 8, tt c u c lp 100 ln Kt qu c cho di dng th nh hỡnh sau Cỏc thut toỏn c so sỏnh l Thut toỏn Metropolis du ng ngu nhiờn (M) vi mt phõn phi xut Gauss, Thut toỏn Metropolis - Hastings thnh phn n (SC) vi mt phõn phi xut Gauss, Thut toỏn Metropolis du ng ngu nhiờn thớch nghi (AP) Thut toỏn Metropolis thớch nghi (AM) Cỏc phõn phi mc tiờu thc nghim Cỏc phõn phi mc tiờu thc nghim c a nh mc 3.1.3 gm , , , Kt qu mụ phng (Hỡnh 3.5) 3.3 Mt s ng dng ca MCMC thớch nghi Trong thc t cú nhiu ng dng ca MCMC ([10], mc v [6] ) ú l: Mụ hỡnh suy gim oxy, mụ hỡnh tng trng sinh vt phự du v hn ch dinh dng, mụ hỡnh mụ phng GOMOS 59 Hỡnh 3.5: So sỏnh cỏc thut toỏn SC, M, AP, AM vi cỏc phõn phi mc tiờu 8- chiu , , , th th hin err( 68, 3%) v std( 68, 3%) 3.3.1 Mụ hỡnh mụ phng GOMOS Tng ozone ó c khoa hc nghiờn cu mnh nhiu thp k nay, c bit l k t phỏt hin cỏc l ozone trờn Nam Cc vo nm 1985 Trong nm 2002, C quan V tr chõu u phúng v tinh ENVISAT, ú cú 10 cụng c giỏm sỏt mụi trng v khớ quyn ca trỏi t Trong s ú cú GOMOS (Giỏm sỏt ụzụn ton cu bi s che khut ca cỏc ngụi sao, [ESA 2002]) nghiờn cu ozone v cỏc thnh phn vi lng nh khỏc khớ quyn mt phm vi 10 -100 km Phng phỏp GOMOS ang c tớch cc phỏt trin ti Vin Khớ tng Phn Lan (FMI), v s dng cỏc thut toỏn MCMC thớch nghi õy, mt tớnh nng c trng l mi ln o thc t, bao gm mt hp khong 50 b d liu thu c nhng cao khỏc c lng tham s c thc hin riờng bit cho mi b d liu Vỡ phõn phi hu xỏc sut ti cỏc cao khỏc l ỏng k khỏc nờn vic iu chnh ca cỏc phng phỏp Metropolis tiờu chun húa l khỏ mt thi gian Chỳng ta ch di õy cỏch hay m phng phỏp AP cú th gii 60 quyt tỡnh kiu ny Hỡnh 3.6: Cỏc nguyờn tc o che khut Thit b o ph ti bc súng 250-675nm nhiu ln nh truyn hỡnh v tinh di chuyn v cỏc b ngụi n ng sau qung trỏi t (s trỡnh by nh hỡnh 3.6) Bng cỏch chia ph cng o qua khớ quyn vi ph o tham kho trờn bu khớ quyn, chỳng ta thu c ph truyn T (, l),vi l bc súng v l l tia sut bu khớ quyn Ph truyn T (, l) cho ta bit thụng tin bao nhiờu ỏnh sỏng c hp th v phõn tỏn bu khớ quyn, v nú tng ng vi s lng trng thỏi khớ b hp th hoc phõn tỏn khớ bu khớ quyn Mi quan h ny c bit n nh lut Beer-Lambert: (ph truyn ca mi ngụi sao) T (, l) = e (,l) Bng cỏc gi nh khỏc nhau, tng h s trit tiờu dp tt cú th c tớnh nh sau: (, l) = Jj=1 Nj (l)j () Vi j l c gi l on ct ngang, ó bit v c trng cho mi khớ (j ) 61 Mt tớch hp, mt dũng, trờn cỏc tia l cho khớ j l: Nj ( ) = j (s)ds l Vỡ s truyn l c o lp li nhiu ln (K 50 ln) ngụi c thit lp sau qung trỏi t nờn chỳng ta cú th truy tỡm c mt ct thng ng ca cỏc khớ khỏc Xõy dng theo cỏch ny, x lý d liu ca thit b GOMOS cú th chia thnh cỏc phn quang ph (Phng trỡnh lut Beer- Lambert v phng trỡnh ) v cỏc phn khụng gian (phng trỡnh trờn vi l = l1 , , lk ) Trong on ny, chỳng ta s ch xột bi toỏn ngc u tiờn, vỡ th d liu tng ng vi tia l l hm truyn o c T abs = [T1abs (l), , Tabs (l)]T ti 1400 bc súng khỏc v mt dũng cha bit ca cỏc khớ khỏc l: N (l) = [N1 (l), , NJ (l)] Phõn phi hu xỏc sut ca mt dũng cho l: P (N (l)|T abs (l)) P (T abs (l)|N (l))P (N (l)) Gi s hm kh nng cú sai s mụ hỡnh Gauss v sai s o c, cú th vit di dng: P (T abs |N (l)) = n (2) |C| 1 e S(N ) õy s m l S(N ) = (G(N (l)) T abs (l))T (C(l))1 (G(N (l)) T abs (l)) o lng c lng cho mi bc súng l: J G (N (l)) = ej=1 j ()Nj (l) Bi toỏn nghch o truyn thng c gii vi gi thit khụng cú thụng tin ó bit Do ú, chỳng ta ỏp dng phng phỏp MCMC thớch nghi cho bi toỏn ny S chiu ca khụng gian tham s l thp, ch t n 10 loi khớ khỏc Tuy nhiờn, cú mt s yờu cu c bit cho phng phỏp MCMC chỳng ta chn cho bi toỏn ny Quan trng nht, chỳng ta cn mt phng phỏp t ng v nhanh chúng, vỡ s nghch o c lp i lp li cho mi tia lk Phõn phi hu nghim biờn duyờn l cha bit v mu Gibbs 62 l khụng d dng ỏp dng Trong sut mt qu o, thit b theo dừi khong 30 ngụi sao, v sut mt ngy l khong 450 ngụi Vi mi ngụi sao, s truyn l c o ti khong 50 cao (ca tia) khỏc t 15 n 100 km Chỳng tt c li l khong 22500 tia khỏc mt ngy Kớch c ca phõn phi hu nghim ph thuc mnh m vo cao o lng cng nh sỏng ca ngụi Vỡ vy, chỳng ta nờn s dng cỏc phõn phi xut khỏc cho mi tia Vỡ s tr nờn khú khn iu chnh phõn phi xut riờng l nờn chỳng ta cú th ỏp dng thut toỏn xut thớch nghi Bõy gi ta nhỡn chi tit hn v bi toỏn nghch o ti cao c bit Nh mt vớ d, chỳng ta s dng ngụi m (cng 4) v nhit m (11000K) vi tip xỳc cao 30 km Vi d liờu chỳng ta xp x 1400 giỏ tr truyn tng ng bc súng 250 - 675 nm v chỳng ta mun c tớnh giỏ tr mt dũng cho ozone, N02 , N03 , aerosols v mt khụng khớ, tc l tt c chỳng ta cú tham n cn c lng Phõn phi mc tiờu l phõn phi hu nghim (P (N (l)|T abs (l))) vi yờu cu mt giỏ tr mt dũng dng ó bit thụng tin Vi cỏc tham s b nh v tham s tn s cn cú thut toỏn AP, chỳng ta s dng H = U = 500 di xớch l 20000 Trong hỡnh 3.7, chỳng ta gii thiu mụ phng xớch vi thut toỏn AP S ln cp nht phõn phi xut c ỏnh du bi ng thng ng, v giỏ tr thc vi ng thng nm ngang Rừ rng, chỳng ta thy cỏch hot ng ca xớch thay i ti cỏc giai on m chỳng ta cp nht phõn phi xut v cỏch nú n nh sau mt on trng Cú v nh sau 6000 trng thỏi, xớch bt u hi t thut toỏn AP lm vic mnh m trng hp GOMOS, chỳng ta thc hin nhiu ln s nghch o ti 58 cao t 18 n 90 km Chỳng ta cng thc hin mụ phng 50 ln ti mi cao ch khỏc ting n Cỏc kt qu c a hỡnh 3.7, ú, chỳng ta so sỏnh cỏc giỏ tr sai s thng kờ cho hi phc mt dũng ozone Sai s tng i tng 63 Hỡnh 3.7: Mt khớ bi mụ phng AP ti cao 30km T trờn xung di l: Mt khụng khớ, ozone, N O2 , N O3 , aerosols ng vi mi tia (lk , k = 1, , K ) c tớnh toỏn nh sau: err(lk ) = N i (lk ) N true (lk ) n N true (lk ) ni=1 ì 100%, vi n =50 Vỡ chỳng ta s dng d liu c mụ phng nờn chỳng ta bit giỏ tr thc N (lk )true Chỳ ý hỡnh 3.7, ti cao cao v thp ni t l tớn hiu ting n thp, thut toỏn AP cho kt qu ỏng tin cy hn Ti cao thp, phng phỏp Levenberg- Marquardt ([8]) rừ rng khụng tỡm c gii phỏp tt, thut toỏn AP tỡm c li gii (nghim) ỏng tin cy hn Yờu cu ca ca cỏc mt dng rừ rng ci thin chớnh xỏc c bit ti cỏc cao cao Trong hỡnh cng ch rng phng phỏp AP cho cỏc c lng im tt hn mt chỳt so vi phng phỏp c lng truyn thng Vỡ vy gi l tng ozone nm khong 20 - 40 km, phm vi cao ny vụ cựng quan trng Hn na, hỡnh 3.7 cng ch thut toỏn AP lm vic mnh m vớ d GOMOS Phng phỏp ny hon ton t ng v chỳng ta s dng phõn phi xut ban u cho tt c cỏc 64 Hỡnh 3.8: di ca xớch l 20000 v thi gian burn-in l 10000 ng vch t th hin giỏ tr k vng ca thut toỏn AP vi thụng tin cha bit ng liờn tc th hin k vng ca thut toỏn AP vi yờu cu mt dng ng chm chm th hin k vng hm cc i ca thut toỏn Levenberg - Marquardt cao mc dự kớch c ca cỏc phõn phi hu nghim v ln ca cỏc c lng im khỏc rt nhiu Thut toỏn AP dng nh ó tỡm c phõn phi mc tiờu v phõn phi xut c thớch nghi mt cỏch chớnh xỏc 3.3.2 Mụ hỡnh suy gim oxy Theo dừi c lng s thay i theo thi gian ca s hụ hp ụng h Tuusulanjăarvi v ỏnh giỏ tỏc ng lõu di ca s thờm v gim bt khụng khớ nhõn to ([10], mc ) nh hng ca oxy nhõn to c nghiờn cu bi mụ hỡnh tiờu th oxy sau: dCO2 P ump = kyear CO2 bTobs Tref + , dt V ol vi CO2 l nng oxy h (mgl1 ), kyear l tng h s t l hụ hp theo nm (d1 ), b l h s nhit ca t l hụ hp, Tobs l nhit quan 65 sỏt ca h ( C), Tref l nhit tham kho (4 C), Pump l thụng lng oxy c bm (kgO2 d1 ), Vol l th tớch ca thit b thụng giú (m3 ) H thng c mụ hỡnh húa bi cỏc phng trỡnh vi phõn thụng thng, nng CO2 (t0 ) ban u cng c coi nh n s Cỏc nng ban u, kyear , b, phng sai sai s cựng tham gia tng cng 62 n s Vỡ vy, gii quyt bi toỏn ny, ngi ta ỏp dng thut toỏn MCMC thớch nghi AM s dng hip phng sai sut cui cựng m AM cú 66 Kt lun Cỏc kt qu chớnh thu c l: Tỡm hiu v phng phỏp MCMC, trung vo mt s thut toỏn MCMC nh mu Gibbs, mu c lp, mu Metropolis - Hastings du ng ngu nhiờn, mu Metropolis thnh phn n Tỡm hiu v hai thut toỏn MCMC thớch nghi, so sỏnh u nhc im v a cỏc ng dng Nu thi gian cho phộp, lun cú th: + Tỡm hiu thờm mt s thut toỏn MCMC thớch nghi khỏc + Vit chng trỡnh v ỏp dng MCMC cho cỏc bi toỏn thc t Vit Nam 67 Ti liu tham kho [1] ng Hựng Thng, M u v lý thuyt xỏc sut v cỏc ng dng, Nh xut bn Giỏo dc, 2005 [2] ng Hựng Thng, Quỏ trỡnh ngu nhiờn v tớnh toỏn ngu nhiờn, Nh xut bn i hc Quc Gia H Ni, 2009 [3] Daren B H Cline and Huay-min H Pu, Geometric ergodicity of nonlinear time series, Texas A & M University Statistica Sinica 9(1999), 1103-1118 [4] P.Hall, C.C.Heyde, Martingale limit theory and its application, Academic Press, 1980 [5] Gareth Roberts, ST911 Fundamentals of Statistical Inference Part III, Department of Statistics, University of Warwick, 2012 [6] Heikki Haario, Eero Saksman, Johanna Tamminen, Adaptive proposal distribution for random walk Metropolis algorithm, University of Helsinki, Finland,1999 [7] Heikki Haario, Eero Saksman, Johanna Tamminen, An adaptive Metropolis algorithm, Bernoulli 7(2) 2001, 223 - 242 [8] Henri P Gavin, The Levenberg-Marquardt method for nonlinear least squares curve-fitting problems, Duke University, September 29, 2015 [9] James Davidson, Robert de Jong, Strong laws of large number for dependent heterogeneous processes: A synthesis of recent and newresults, Econometric Reviews 16(3) 1997, 251-279 68 [10] Marko Laine, Adaptive MCMC methods with applications in enviromental and geophysical models, Finnish meteorological institute contributions No.69, 2008 69 [...]... nhiên thích nghi" , được trích dẫn chủ yếu từ bài báo [6] Trong đó cũng đưa ra sự so sánh thuật toán này với một số 34 thuật toán MCMC trong chương 2 Phần thứ hai trình bày "Thuật toán Metropolis thích nghi" cùng với chứng minh tính ergodic của thuật toán, chủ yếu sử dụng bài báo [7] Đồng thời cũng đưa ra so sánh thuật toán AM với các thuật toán MCMC khác Ngoài ra chương này cũng đưa ra một số ứng dụng. .. cho sự hội tụ của thuật toán MCMC Tuy nhiên, việc chọn lựa được phân phối đề xuất tốt thường khó thực hiện vì thông tin về mật độ mục tiêu là không có hoặc rất ít Hơn nữa, trong thuật toán MCMC, phân phối đề xuất được chọn cho mọi bước mô phỏng Để sử dụng các thông tin đã thu được trong các bước mô phỏng trước để mô phỏng cho bước tiếp theo, chúng ta đưa ra thuật toán MCMC thích nghi Ở đó, phân phối... của thuật toán MCMC thích nghi 3.1 Thuật toán Metropolis du động ngẫu nhiên thích nghi 3.1.1 Mô tả thuật toán Bây giờ, chúng ta đưa ra một mô tả chi tiết cho phương pháp đề xuất thích nghi Ý tưởng cơ bản là cập nhật phân phối đề xuất với những thông tin đã biết từ trước đến nay về phân phối mục tiêu Mặt khác, thuật toán có thể được xem như một quá trình Metropolis với phân phối đề xuất q phụ thuộc vào... được cập nhật cùng quá trình sử dụng thông tin đầy đủ tích lũy cho đến thời điểm hiện tại Mỗi lựa chọn phân phối đề xuất thích nghi sẽ cho chúng ta một dạng MCMC thích nghi Trong chương này, chúng ta giới thiệu hai thuật toán MCMC thích nghi mà phân phối đề xuất thích nghi là phân phối chuẩn trên trạng thái hiện tại Đó là "Thuật toán Metropolis du động ngẫu nhiên thích nghi (Adaptive proposal distribution... (AP))" và "Thuật toán Metropolis thích nghi (An adaptive Metropolis algorithm (AM))" Đối với thuật toán AP, hiệp phương sai của phân phối đề xuất Gauss được tính toán từ một số hữu hạn cố định của các trạng thái trước đó Đối với thuật toán AM, hiệp phương sai của phân phối đề xuất được tính toán sử dụng tất cả các trạng thái trước Chương này bao gồm hai phần chính Phần thứ nhất trình bày "Thuật toán. .. lập tức đạt trạng thái dừng) Trong thực hành, phân phối đề xuất fθ thường xuyên phụ thuộc vào tham số θ nào đó và chúng ta điều chỉnh tham số theo kinh nghi m để có được tỷ lệ chấp nhận trung bình tốt Ta có thể sử dụng thử nghi m để ước lượng tỷ lệ chấp nhận dự kiến Nếu π(x) ≤ M f (x) thì ta thậm chí có thể tính toán tốc độ hội tụ của nhân chuyển đến phân phối dừng như sau Với y = x: π(y)f (x) p(x, y)... trong S Tóm lại, thuật toán Metropolis như sau: Chọn X0 ∈ S chẳng hạn bằng cách đặt các điểm kế tiếp một khoảng cách d + ε riêng biệt từ mỗi điểm khác (Ở đây, ε là đủ nhỏ) Bây giờ, giả sử Xn = x Quá trình như sau: 1 Chọn i ∈ {1, 2, , m} ngẫu nhiên và lấy mẫu z từ phân phối chuẩn trên (0, 2π) Đặt z = x ∪ {z}\{x(i) } 26 2 Nếu z ∈ S thì chấp nhận z và đặt Xn+1 = z Nếu z ∈ / S thì bác bỏ z và đặt Xn+1 =... thì chấp nhận z và đặt Xn+1 = z Nếu z ∈ / S thì bác bỏ z và đặt Xn+1 = x Chúng ta xem xét một vài tính chất lý thuyết của thuật toán Metropolis - Hastings (MH) Đầu tiên, có nhiều tự do trong việc chọn đề xuất kỹ thuật q(x, y) Điều kiện cần là giá của mật độ mục tiêu π là tập con của giá của các mật độ đề xuất thích hợp Chi tiết hơn, chúng ta cần: S = supp(π) ⊆ supp(q(x, ·)) x∈S Có thể thấy trong các... Chứng minh Với x = y , ta có: π(x)p(x, y) = π(x)q(x, y)α(x, y) = π(x)q(x, y)min 1, π(y)q(y, x) π(x)q(x, y) = min{π(x)q(x, y), π(y)q(y, x))} π(x)q(x, y) = π(y)q(y, x)min 1, π(y)q(y, x) = π(y)q(y, x)α(y, x) = π(y)p(y, x) Phương trình trạng thái cân bằng cũng đúng cho trường hợp tầm thường x = y Dựa vào cách chọn phân phối đề xuất mà chúng ta có một số phương pháp MCMC sau 28 2.3 2.3.1 Một số thuật toán. .. ∈ A) và f (x) = 1[x∈A] với x ∈ S M g(x) Giả sử U có phân phối đều trên khoảng đơn vị Khi đó  1 nếu Y ∈ A P(U ≤ f (Y )/M g(y)) = 0 nếu Y ∈ /A Vì vậy, trong thuật toán lấy mẫu loại bỏ tiêu chuẩn, chúng ta chấp nhận nếu Y ∈ A và ngược lại, chúng ta loại bỏ Chúng ta không cần lấy mẫu U để đưa ra quyết định này Nếu đánh giá mật độ mục tiêu f là tốn kém thì phương pháp loại bỏ có thể dùng máy điện toán