Chương Mơ hình hồi qui hai biến Ước lượng kiểm định giả thiết Phương pháp bình phương bé Giả sử : Yi = β + β 2Xi + Ui (PRF) có mẫu n quan sát (Yi, Xi) Cần ước lượng (PRF) ˆ Ta có : Yi = Yi + ei (SRF) với ˆ ˆ ˆ Yi = β1 + β X i ˆ Theo phương pháp OLS, đểYi gần với Yi ˆ ˆ phải thỏa mãn điều kiện : β2 β n n i =1 i =1 ˆ ˆ ei2 = ∑ ( Yi − β1 − β X i )2 → ∑ ˆ ˆ β1 β phải thỏa mãn điều kiện : Suy  n n  ∂ ∑ ei ˆ ˆ  i =1 = ∑ 2(Yi − β1 − β X i )(−1) = ˆ  ∂β1 i =1  n  ∂ e2 n  ∑ i i =1 ˆ ˆ = ∑ 2(Yi − β1 − β X i )(− X i ) =  ˆ i =1  ∂β (1) ( 2) giải hệ, ta có : n ˆ β2 = ∑ X Y − nX Y i =1 n i i ˆ ˆ β1 = Y − β X X i2 − n( X )2 ∑ i =1 Có thể chứng minh : n n ∑ x y = ∑ X Y − nX Y i =1 n i i i i i =1 n ∑ x = ∑ X − n(X) i =1 i i =1 i xi = Xi − X với y i = Yi − Y Nên biểu diễn : ˆ β2 = ∑x y ∑x i i i Ví dụ 1: Giả sử cần nghiên cứu chi tiêu tiêu dùng hộ gia đình phụ thuộc vào thu nhập họ, người ta tiến hành điều tra, thu mẫu gồm 10 hộ gia đình với số liệu sau : Y 70 65 90 95 110 115 120 140 155 150 X 80 100 120 140 160 180 200 220 240 260 Trong : Y – chi tiêu hộ gia đình (USD/tuần) X – thu nhập hộ gia đình (USD/tuần) Giả sử Y X có quan hệ tuyến tính Hãy ước lượng mơ hình hồI qui Y theo X 2 Các giả thiết cổ điển mơ hình hồi qui tuyến tính • Giả thiết : Biến độc lập Xi phi ngẫu nhiên, giá trị chúng phải xác định trước • Giả thiết : Kỳ vọng có điều kiện sai số ngẫu nhiên : E (Ui / Xi) = ∀i • Giả thiết : (Phương sai ) Các sai số ngẫu nhiên có phương sai : Var (Ui / Xi) = σ ∀i • Giả thiết : Khơng có tượng tương quan sai số ngẫu nhiên : Cov (Ui , Uj ) = ∀ i≠ j • Giả thiết : Khơng có tượng tương quan biến độc lập Xi sai số ngẫu nhiên Ui Cov (Xi , Ui ) = ∀ i • Định lý Gauss – Markov : Với giả thiết từ đến mơ hình hồi qui tuyến tính cổ điển, ước lượng OLS ước lượng tuyến tính, khơng chệch có phương sai bé lớp ước lượng tuyến tính, khơng chệch 3.Phương sai sai số chuẩn ước lượng Phương sai ˆ Var( β1 ) = σ βˆ = ˆ Var( β ) = σ βˆ = X i2 ∑ σ2 n∑ x i σ2 x i2 ∑ Trong : σ = var (Ui) Sai số chuẩn ˆ se( β1 ) = σ βˆ = σ βˆ 1 ˆ se( β ) = σ βˆ = σ βˆ σ2 = Do σ chưa biết nên dùng ước lượng làˆ ei2 ∑ n−2 Hệ số xác định hệ số tương quan a Hệ số xác định : Dùng để đo mức độ phù hợp hàm hồi qui ESS RSS R = =1− TSS TSS dn Trong : n Miền xác định R2 :n TSS = ∑ ( Yi − Y )2 = ∑ y i ≤ R2 ≤11 i= i =1 R2  1n: hàm hồi2qui phù hợp ˆ ESS = ∑ ( Yi − Y ) i R2  0=: hàm hồi qui phù hợp n n vàRSS == ESS + RSS = ∑ e2 TSS ∑ ( Y − Y )2 ˆ i i =1 i i i =1 b Hệ số tương quan : Là số đo mức độ chặt chẽ quan hệ tuyến tính X Y r= ∑ (X − X)( Y − Y ) ∑ (X − X) ∑ ( Y − Y ) i i i i = ∑x y ∑x ∑y i i i i Chứng minh : r = R ˆ Và dấu r trùng với dấu củaβ (hệ số X hàm hồi qui) Tính chất hệ số tương quan : Miền giá trị r : -1 ≤ r ≤ | r|  : qhệ tuyến tính X Y chặt chẽ r có tính đối xứng : rXY = rYX Nếu X, Y độc lập r = Điều ngược lại không 5 Phân phối xác suất ước lượng Giả thiết : Ui có phân phối N (0, σ2), Với giả thiết 6, ước lượng có thêm tính chất sau : Khi số quan sát đủ lớn ước lượng xấp xỉ với giá trị thực phân phối : n→ ∞ n→ ∞ ˆ ˆ β → β , β → β ˆ β1 − β1 ˆ β ~ N( β1 , σ β ) ⇒Z= ~ N(0,1) ˆ1 σβ ˆ ˆ β ~ N( β , σ ) ˆ β2 ˆ β2 − β2 ⇒Z= ~ N(0,1) σβ ˆ ˆ (n − 2)σ ~ χ (n − 2) σ2 Yi ~ N (β1+ β2Xi, σ2) 2 Khoảng tin cậy hệ số hồi qui • Sử dụng phân phối thống kê t : ˆ βj − βj t= ~ t (n − 2) ˆ se( β j ) j = 1,2 Ta có khoảng tin cậy β : ˆ ˆ ˆ ˆ β1 − se( β1 ).t α / (n − 2) ≤ β1 ≤ β1 + se( β1 ).t α / (n − 2) Ta có khoảng tin cậy β : ˆ ˆ ˆ ˆ β − se( β ).t α / (n − 2) ≤ β ≤ β + se( β ).t α / (n − 2) Kiểm định giả thiết hệ số hồi qui •Giả sử H0 : β2 = a ( a = const) H1 : β2 ≠ a Có cách kiểm định : Dùng khoảng tin cậy : Khoảng tin cậy β2 [α, β] - Nếu a ∉ [α, β] ⇒ bác bỏ H0 - Nếu a ∈ [α, β] ⇒ chấp nhận H0 Dùng kiểm định t : ˆ β2 − β2 ~ t (n − 2) Thống kê sử dụng :t = ˆ se( β ) Có hai cách đọc kết kiểm định t : Cách : ˆ β2 − a - Tính t = ˆ se( β ) - Tra bảng t tìm tα/2(n-2) - Nếu | t| > tα/2(n-2) ⇒ bác bỏ H0 - Nếu | t| ≤ tα/2(n-2) ⇒ chấp nhận H0 Cách : Dùng p-value (mức ý nghĩa xác) p = P(| T| > ta) ˆ β2 − a với ta = t= ˆ - Nếu p ≤ α ⇒ bác bỏ H0 se( β ) - Nếu p > α ⇒ chấp nhận H0 8 Kiểm định phù hợp hàm hồi qui Phân tích hồi qui phân tích phương sai •Giả thiết H0 : β2 = ( hàm hồi qui không phù hợp) H1 : β2 ≠ (hàm hồi qui phù hợp) Sử dụng phân phối thống kê F : ((βˆ − β ) ∑ x ) / ~ F(1, n − 2) F= Qui tắc kiểm định : - Tính ∑e ( 2 i 2 i /(n − 2) ) ˆ ∑ x2 /1 β2 i ˆ ∑ x2 β2 i F= = ˆ ei2 /(n − 2) σ2 ∑ - Nếu F > Fα(1, n-2) ⇒ bác bỏ H0 ⇒ hàm hồi qui phù hợp • Mặt khác, F viết : ˆ22 ∑ x i2 β ESS / R2 /1 F= = = ˆ σ RSS /(n − 2) (1 − R ) /(n − 2) Do : Phân tích phương sai cho phép đưa phán đốn thống kê độ thích hợp hồi qui ( xem bảng phân tích phương sai) Có thể đơn giản sử dụng R2 để tính F * Một số ý kiểm định giả thiết : - Khi nói “chấp nhận giả thiết H0”, khơng có nghĩa H0 - Lựa chọn mức ý nghĩa α : α tùy chọn, thường người ta chọn mức 1%, 5%, nhiều 10% 9 Dự báo a Dự báo giá trị trung bình : Cho X =X0 , tìm E(Y/X0) - Dự báo điểm E(Y/X0) : Y = β + β X ˆ0 ˆ1 ˆ2 - Dự báo khoảng E(Y/X0) : ˆ ˆ ( ˆ ˆ ( Y0 − se( Y0 ).tαn/−22) ≤ E( Y / X ) ≤ Y0 + se( Y0 ).tαn/−22) Trong :  ( X − X )2  ˆ var( Y0 ) =  + ×σ  n ∑ x=X  , tìm Y i   b Dự báo giá trị cá biệt : Cho X 0 ˆ ˆ ( ˆ ˆ ( Y0 − se( Y0 − Y0 ).tαn/−22) ≤ Y0 ≤ Y0 + se( Y0 − Y0 ).tαn/−22) Trong : ˆ ˆ var( Y0 − Y0 ) = var( Y0 ) + σ Y dải tin cậy giá trị cá biệt dải tin cậy giá trị trung bình X * Đặc điểm khoảng tin cậy X 10 Trình bày kết hồi qui ˆ ˆ ˆ R2 = Yi = β + β X i se = se( ) se( )β n = β ˆ ˆ t = t1 t2 F = p = p(>t1) p(>t2) p(> F) = Trong : ˆ ˆ β1 − β2 − t1 = t2 = ˆ ˆ se( β1 ) se( β ) = 24,4545 + 0,5091 Xi R2 = 0,9621 ˆ Yi se = (6,4138) (0,0357) n = 10 t = (3,813) (14,243) F = 202,87 p = (0,005) (0,000) p = (0,000) 11 Đánh giá kết phân tích hồi qui • Dấu hệ số hồi qui ước lượng phù hợp với lý thuyết hay tiên nghiệm khơng • Các hệ số hồi qui ước lượng có ý nghĩa mặt thống kê hay khơng • Mức độ phù hợp mơ hình (R2) • Kiểm tra xem mơ hình có thỏa mãn giả thiết mơ hình hồI qui tuyến tính cổ điển hay không