ĐAI HOC QUOC GIA HÀ N®I ĐAI HOC KHOA HOC TU NHIÊN PHAM TH± HOA M®T SO TIÊU CHUAN LUA CHON MƠ HÌNH LU¾N VĂN THAC SĨ KHOA HOC Hà N®i - 2013 PHAM TH± HOA M®T SO TIÊU CHUAN LUA CHON MƠ HÌNH Chun ngành: LÝ THUYET XÁC SUAT VÀ THONG KÊ TOÁN HOC Mã so : 60 46 15 LU¾N VĂN THAC SĨ KHOA HOC NGƯèI HƯéNG DAN KHOA HOC TS TRAN MANH CƯèNG Hà N®i - 2013 Me ĐAU Lna cHQN mơ hình (Model selection) m®t toán ban cna thong kê nhieu ngành khoa HQc khác HQc máy (machine learning), kinh te lưong (econometrics), Theo R A Fisher có tốn thong kê suy lu¾n dn báo gom - Xác đ%nh mơ hình (model specification) - Ưóc lưong tham so (estimation of model parameters) - Dn báo (prediction) Trưóc nhung năm 1970 hau het nghiên cúu t¾p trung vào hai tốn sau vói gia thiet mơ hình biet Sau xuat hi¾n cơng trình cna Akaike (1973) tốn lna cHQN mơ hình thu hút đưoc sn quan tâm cna c®ng ong lm thong kờ Vúi mđt bđ du liắu a ra, có the đ¾t vào rat nhieu mơ hình vói mơ hình đưa ra, mơ hình tot nhat? Đe tra lòi cho câu hoi trên, ngưịi ta đưa tiêu chuan thơng tin đe lna cHQN mơ hình phù hop tiêu chuan thông tin cna Akaike (AIC) tiêu chuan thông tin cna Bayesian (BIC) Viắc lna cHQN mđt mụ hỡnh phù hop trung tâm cho tat ca công tác thong kê vói du li¾u Lna cHQN bien đe su dung m®t mơ hình hoi quy mđt nhung vớ du quan TRQNG Luắn cna tơi trình bày hai tiêu chuan thơng tin quan TRQNG tiêu chuan thơng tin cna Akaike tiêu chuan thơng tin cna Bayesian Lu¾n văn đưoc chia làm ba chương Chương Kien thúc chuan b% Trong chương này, tơi trình bày kien thúc ban ve lưong thơng tin Fisher, ưóc lưong hop lí cnc đai, dang cna phân tích hoi quy hoi quy tuyen tính, hoi quy Poisson hoi quy logistic Chương M®t so tiêu chuan lna cHQN mơ hình Chương này, trình bày khoang cách Kullback- Leibler, moi liên h¾ giua ưóc lưong hop lí cnc đai khoang cách Kullback-Leibler, đ%nh nghĩa AIC moi liên h¾ giua AIC khoang cách Kullback-Leibler, tiêu chuan Takeuchi, AIC hi¾u chinh cho hoi quy tuyen tính chuoi thịi gian tn hoi quy, trình bày nguon goc đ%nh nghĩa cna BIC Chương Áp dung Trong chương giói thiắu ve phan mem R, a mđt bđ du liắu cu the ve bon phộp o trờn hđp SQ cna ngưịi Ai c¾p o năm thịi kỳ khác đưoc lay website: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”, i áp dung vói năm mơ hình úng cu viên dùng phan mem R chay đe tìm giá tr% AIC BIC cho moi so năm mơ hình úng cu viên đe tìm mơ hình tot nhat theo AIC BIC oi vúi bđ du liắu ny, code R cng oc tham khao website Do thòi gian trỡnh đ cũn han che nờn luắn khụng trỏnh khoi nhung thieu sót, tác gia hy vQNG se nh¾n đưoc nhieu ý kien đóng góp tù thay giáo ban ĐQc đe lu¾n văn đưoc hồn chinh LèI CAM ƠN Sau m®t thịi gian HQc t¾p tai khoa Tốn - Cơ - Tin HQc, Trưịng Đai HQc Khoa HQc Tn nhiên, dưói sn hưóng dan chi bao t¾n tình cna TS Tran Manh Cưịng, tơi hồn thành lu¾n văn tot nghi¾p vói đe tài: “M®t so tiêu chuan lna cHQN mơ hình” Trong suot q trình HQc t¾p, trien khai nghiên cúu đe tài, tơi nh¾n đưoc rat nhieu sn giúp đõ cna thay b® mơn Xác suat thong kê, thay khoa Tốn - Cơ - Tin HQc, trưòng Đai HQc Khoa HQc Tn nhiên, Đai HQc Quoc gia H Nđi, ắc biắt l TS Tran Manh Cưịng Tơi xin bày to lịng biet ơn chân thành sâu sac tói TS Tran Manh Cưịng – ngưịi t¾n tình chi bao, giúp đõ tơi q trình nghiên cúu đe tài Tơi xin gui lịi cam ơn tói Ban giám hi¾u, Phịng sau đai HQc, thay khoa Tốn - Cơ - Tin hQc nói chung thay b® mơn xác suat thong kê Trưòng Đai HQc Khoa HQc Tn nhiên nói riêng tao nhung đieu ki¾n thu¾n loi nhat đe tơi có the hồn thành lu¾n văn Hà n®i, tháng 02 năm 2013 iii Danh mnc kí hi¾u AIC AICc a.s BIC BIC∗ BICexact h(.) H(.) KL L, Ln A, An Np(ξ, Σ ) Op(n−1) Var d → − Tiêu chuan thông tin cna Akaike AIC hi¾u chinh hau chac chan tiêu chuan thơng tin Bayesian xap xi cna BIC BIC xác ty l¾ nguy hiem ty l¾ nguy hiem tích lũy khoang cách kullback - Leibler hàm hop lý loga hàm hop lý phân Σ phoi chuan cna p bien ngau nhiên vói vectơ trung bình ξ ma tr¾n phương sai Xn = Op(n−1) nghĩa Xn/n−1 h®i tu tói theo xác suat phương sai p h®i tu theo phân phoi h®i tu theo xác suat TIC Tr □ tiêu chuan thông tin Takeuchi vet cna ma tr¾n ket thúc chúng minh ho¾c ví du → − iv Mnc lnc Lài cam ơn iii Kien thÉc chuan b% 1.1 Lưong thông tin Fisher 1.2 Ưóc lưong hop lý cnc đai 1.3 Hoi quy tuyen tính 1.3.1 Giói thi¾u mơ hình hoi quy tuyen tính cő đien 1.3.2 Phương pháp ưóc lưong bình phương cnc tieu 1.3.3 Tính chat ưóc lưong bang phương pháp bình phương cnc tieu 1.4 Hoi quy Poisson 1.5 Hoi quy logistic M®t so tiêu chuan lEa cHQN mơ hình 2.1 Tiêu chuan thơng tin Akaike 2.1.1 Khoang cách Kullback- Leibler 2.1.2 Ưóc lưong hop lý cnc đai khoang cách KullbackLeibler 2.1.3 Đ%nh nghĩa AIC 2.1.4 AIC khoang cách Kullback- Leibler 2.1.5 Tiêu chuan Takeuchi 2.1.6 AIC hi¾u chinh cho hoi quy tuyen tính 2.2 Tiêu chuan thông tin Bayesian(BIC) 2.2.1 Nguon goc cna BIC 2.2.2 Đ%nh nghĩa BIC 2.2.3 Ai ngưòi viet ’The Quiet Don’ ? 10 10 10 11 Áp dnng 3.1 Giói thi¾u ve phan mem R 3.2 Áp dung vói b® so li¾u 38 38 38 v 17 19 24 25 28 28 30 35 MUC LUC Ket lu¾n 46 Phn lnc 47 Tài li¾u tham khao 51 vi Chương Kien thÉc chuan b% 1.1 Lưang thông tin Fisher Đ%nh nghĩa 1.1.1 Cho X bien ngau nhiên ho¾c vectơ ngau nhiên có phân bo phn thu®c vào tham so chưa biet θ , vỏi mắt đ f (x, ), Gia su ∈ rang ∫ df (x,θ) f (x, θ) kha vi theo θ dλ < ∞ Khi lưang thơng tin Fisher ve tham X d θ so θ chúa X IX(θ) = Eθ dlnf (X, [ De dàng chi rang Eθ[ dlnf(X,θ) d θ θ) ]2 dθ ] = Do IX(θ) = V ar[ dlnf (X, θ) ] d Vúi mđt ieu kiắn khụng quỏ chắt lên f (x, θ) ngưòi ta chúng minh đưoc d2 lnf (X, θ) ] IX(θ) = −E[ dθ2 Chú ý: Neu X1, X2 hai bien ngau nhiên đ®c lắp cựng phu thuđc vo tham so thỡ mắt đ® đong thịi cna X1, X2 là: f (x1, x2, θ) = fX1 (θ).fX2 (θ) Nên: dlnf (X1 , X2 , θ) dlnfX1 (X1 , θ) dlnfX (X2 , θ) (θ) = V ar[ ] = V ar[ ] + V ar[ dθ ] dθ dθ I(X1,X2) = IX1 (θ) + IX2 (θ) Do neu X1, X2, , Xn m®t mau ngau nhiên ve X, lưong thơng tin Fisher ve tham so θ chúa mau là: Chương Kien thúc I(θ) = I(X1,X2, ,Xn)(θ) = nIX1 (θ) Ví dn 1.1.1 Tính lưong thông tin mau đơn gian (X1 , X2 , , Xn ) lay tù HQ phân bo chuan vói tham so (µ, σ ) đoi vói tham so σ Ta có hàm mắt đ ong thũi cna X1, X2, , Xn p(X, Σ µ, σ ) = 1 exp[− − µ) ] n (X n i 2σ (2πσ2) 2 i=1 n n n 2 ln p(X, µ, σ ) = − ln 2π − ln σ − Σ (X 2 i=1 2σ2 − µ)2 i n ∂lnp(X, µ, σ ) n + = − ∂σ 2σ Σ2σ (X i − µ)2 i= )= ⇒ = =V ar( ∂lnp(X, µ, σ2) IX(σ 2E( n 4σ8 ∂lnp(X, µ, σ2) ) ∂σ ) ∂σ n V ar[(X1 − µ) ] = 2σ4 □ Trưàng hap nhieu chieu: Khi phân bo cna X phu thu®c N tham so θ = (θ1, θ2, , θN )T ma tr¾n thơng tin Fisher có dang [I(θ)]i,j = Eθ[ ∂lnf (X, ∂lnf (X, θ) θ) ] ∂θj ∂θi Đây ma tr¾n đoi xúng, xác đ%nh khơng õm Vúi mđt so ieu kiắn chớnh quy ngũi ta chi đưoc rang [I(θ)]i,j = −Eθ[ ∂ lnf (X, θ) ] ∂θ ∂θ i j Q { ... danh sách mơ hình úng cu viên, lna cHQN mơ hình tot nhat? Đe lna cHQN mơ hình tot nhat ngưịi ta đưa tiêu chuan thông tin Trong chương se trình bày hai tiêu chuan thơng tin quan TRQNG tiêu chuan... qua tương tn Tóm lai, cho m®t lóp mơ hình Dùng tiêu chuan AIC đe lna cHQN mơ hình tot nhat ta làm sau: Bưóc 1: Tính giá tr% AIC cho moi mơ hình Bưóc 2: CHQN mơ hình có giá tr% AIC lón nhat Ví dn... cHQN bien đe su dung m®t mơ hình hoi quy m®t nhung ví du quan TRQNG Lu¾n văn cna tơi trình bày hai tiêu chuan thơng tin quan TRQNG tiêu chuan thông tin cna Akaike tiêu chuan thông tin cna Bayesian