Giới thiệu số vấn đề liên quan đến mô hình hồi quy Giới thiệu số vấn đề liên quan đến mơ hình hồi quy Bởi: Phạm Trí Cao Giới thiệu Đa cộng tuyến Bản chất đa cộng tuyến Đa cộng tuyến hoàn hảo: Các biến X1, X2,…,Xk gọi đa cộng tuyến hoàn hảo tồn β1, β2, …, βk không đồng thời không cho βX1 + β2X2 + … + βkXk =0(5.1) Hiện tượng đa cộng tuyến hoàn hảo thường xảy nhầm lẫn nhà kinh tế lượng trường hợp bẩy biến giả mà xem xét mục 4.7.3 chương Hiện tượng đa cộng tuyến mà xét kinh tế lượng hiểu với nghĩa rộng đa cộng tuyến hoàn hảo điều kiện (5.1) Các biến X1, X2,…,Xk gọi đa cộng tuyến khơng hồn hảo tồn β1, β2, …, βk cho βX1 + β2X2 + … + βkXk + β =0(5.2) với β sai số ngẫu nhiên Chúng ta biểu diễn biến Xi theo biến lại sau với βi ≠ 0.(5.3) Vậy tượng đa cộng tuyến xảy biến kết hợp tuyến tính biến lại nhiễu ngẫu nhiên 1/14 Giới thiệu số vấn đề liên quan đến mô hình hồi quy Một số nguyên nhân gây tượng đa cộng tuyến Khi chọn biến độc lập mối quan có quan hệ nhân hay có tương quan cao đồng phụ thuộc vào điều kiện khác Ví dụ số giường bệnh số bác sĩ đồng thời biến độc lập hồi quy gây tượng đa cộng tuyến gần hoàn hảo Khi số quan sát nhỏ số biến độc lập Một ví dụ điển hình nghiên cứu y khoa số lượng nhỏ bệnh nhân lại khảo sát nhiều nhân tố tác động lên hiệu điều trị Cách thu thập mẫu Ví dụ thu thập mẫu số lớp giới hạn tổng thể Chọn biến Xi có độ biến thiên nhỏ Hệ đa cộng tuyến Ví dụ 5.1 Ví dụ lấy từ William E.Griffiths et al, Learning and Practicing Econometrics, John Wiley&Sons Inc, 1998, trang 433 Nghiên cứu Klein Golberger(1995) quan hệ tiêu dùng nội địa C, thu nhập từ lương W, thu nhập khác phi nông nghiệp P thu nhập từ nông nghiệp A kinh tế Hoa Kỳ từ năm 1928 đến 1950, với số liệu năm 1942 đến 1944 bị loại khỏi liệu Klein Golberger thực hồi quy tiêu dùng nội địa theo ba loại thu nhập sau Ct = β1 + β2Wt + β3Pt + β4A + βt(5.4) Hồi quy gặp phải tượng đa cộng tuyến loại thu nhập có xu hướng tăng theo phát triển kinh tế 2/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy Bảng 5.1 Số liệu thu nhập tiêu dùng kinh tế Hoa Kỳ Kết hồi quy sau ˆ C =8,133 +1,059W +0,452P +0,121A(5.5) t-Stat(0,91)(6,10)(0,69)(0,11) Khoảng 95%(-10,78;27,04)(0,69;1,73)(-0,94;1,84)(-2,18;2,43) R2 = 0,95F = 107,07 > F(3,16,99%) = 5,29 Mơ hình có tính giải thích cao thể qua R2 cao thống kê F cao Tuy nhiên số hệ số lại không khác không với ý nghĩa thống kê thể qua t-stat thấp, nghĩa 3/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy ước lượng khoảng cho hệ số chứa W với hệ số có t-stat lớn ý nghĩa kinh tế lại lạ: thu nhập từ lương tăng USD tiêu dùng tăng 1,059 USD Để tìm hiểu lý gây tượng phải dùng lý thuyết đại số ma trận, minh hoạ mơ hình hồi quy ba biến Phương sai ước lượng hệ số β2 Khi X2 X3 có tượng cộng tuyến cao làm cho phương sai ước lượng β2 cao Ước lượng b2 theo phương pháp bình phương tối thiểu trở nên không hiệu Hệ đa cộng tuyến Ước lượng hệ số không hiệu phương sai ước lượng lớn Mơ hình có đa cộng tuyến có t-stat nhỏ số hệ số thể có dấu trái với lý thuyết hay có giá trị không phù hợp R2 thể độ phù hợp liệu F thể ý nghĩa chung hệ số cao Giá trị ước lượng hệ số nhạy cảm việc tăng bớt quan sát loại bỏ biến có mức ý nghĩa thấp Mặc dù việc phân tích tác động riêng phần biến khó khăn tính xác dự báo cao chất đa cộng tuyến không đổi quan sát Biện pháp khắc phục Nếu mục tiêu phân tích hồi quy dự báo số trường hợp không cần khắc phục tượng đa cộng tuyến Nếu mục tiêu phân tích xét tác động riêng phần biến số lên biến phụ thuộc để định sách đa cộng tuyến trở thành vấn đề nghiêm trọng Sau số biện pháp khắc phục Dùng thông tin tiên nghiệm Ví dụ hồi quy hàm sản xuất Cobb-Douglas Ln(Yi)= β1 + β2ln(Ki)+ β3ln(Li) + βi (5.6) 4/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy Chúng ta gặp tượng đa cộng tuyến K L tăng theo quy mô sản xuất Nếu ta biết hiệu suất không đổi theo quy mơ ta có thêm thơng tin β2+ β3=1 Với thông tin tiên nghiệm chuyển mơ hình hồi quy (5.6) thành Ln(Yi)= β1 + β2ln(Ki)+ (1- β2)ln(Li) + βi (5.7) Bỏ biến có đa cộng tuyến Đây cách làm đơn giản Ví dụ mơ hình có biến giải thích số bác sĩ số giường bệnh ta bỏ biến số giường bệnh Nếu biến bị bỏ thực cần phải có mơ hình lại gặp phải vấn đề khác, ước lượng chệch hệ số lại Vấn đề tiếp tục xem xét cuối chương Chuyển dạng liệu Giả sử hồi quy liệu chuỗi thời gian Yt = β1 + β2X2t + β3X3t + βt(5.8) Và gặp phải tượng đa cộng tuyến X1t X3t tăng giảm theo năm Ta tối thiểu tác động đa cộng tuyến kỹ thuật hồi quy sai phân bậc sau: Ta có Yt-1 = β1 + β2X2,t-1 + β3X3,t-1 + βt-1(5.9) Từ (5.8) (5.9) ta xây dựng mơ hình hồi quy (Yt -Yt-1 )= β2(X2t-X2,t-1) + β3(X3t- 3X3,t-1 )+ βt(5.10) Với βt= βt- βt-1 Một vấn đề nảy sinh βt có tính tương quan chuỗi, khơng tn theo giả định mơ hình hồi quy tuyến tính cổ điển Nếu tượng tương quan chuỗi nghiêm trọng mơ hình (5.10) cịn mơ hình (5.8) Tăng thêm quan sát Giải pháp thích hợp cho tượng đa cộng tuyến cỡ mẫu nhỏ Đôi cần tăng thêm số quan sát ta khắc phục tượng đa cộng tuyến Một lần lại có đánh đổi Tăng liệu đồng nghĩa với việc tăng chi phí, liệu sơ cấp Mặt khác liệu khơng có kiểm soát, phải biết điều kiện khác tương tự với ta thu thập liệu gốc Khắc phục tượng đa cộng tuyến đòi hỏi kỹ thuật phức tạp không mang lại hiệu ta mong muốn Mặt khác, hầu hết mơ hình hồi quy bội 5/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy có tính cộng tuyến định nên phải cẩn thận việc xây dựng mơ hình giải thích kết Chúng ta nghiên cứu ngun tắc xây dựng mơ hình cuối chương Phương sai sai số thay đổi - HETEROSKEDASTICITY Bản chất phương sai sai số thay đổi Giả định mơ hình hồi quy tuyến tính cổ điển phương sai sai số hồi quy không đổi qua quan sát Trong thực tế sai số hồi quy tăng lên giảm giá trị biến độc lập X tăng lên Tổng quát, thay cho giả định giả định (5.11) Thường gặp phương sai không đồng liệu chéo liệu bảng Nguyên nhân phương sai không đồng đa dạng, sau số trường hợp điển hình: Gọi Y số phế phẩm 100 sản phẩm thợ học việc, X số thực hành Khi số thực hành lớn số phế phẩm nhỏ biến động Chúng ta có trường hợp phương sai giảm dần X tăng dần Khi thu nhập(X) tăng chi tiêu cho mặt hàng xa xỉ tăng mức biến động lớn Chúng ta có trường hợp phương sai tăng dần X tăng dần Khi cải thiện phương pháp thu thập số liệu phương sai giảm Phương sai sai số tăng xuất điểm nằm ngồi, trường hợp bất thường với liệu khác biệt(rất lớn nhỏ so với quan sát khác) Phương sai thay đổi khơng xác dạng mơ hình, biến quan trọng bị bỏ sót phương sai sai số lớn thay đổi Tình trạng giảm hẳn đưa biến bị bỏ sót vào mơ hình Hệ phương sai thay đổi sử dụng ước lượng OLS Xét hồi quy Yi = β1 + β2X i+ βi(5.12) 6/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy với Sử dụng phương pháp bình phương tối thiểu thơng thường (OLS) có ước lượng theo OLS khơng chệch Chúng ta khơng chưa rõ OLS có cho ước lượng hiệu hay khơng Ước lượng bình phương tối thiểu có trọng số (WLS) Đặt , chia hai vế (5,12) cho wi có mơ hình hồi quy Ta viết lại mơ hình (5.13) sau Mơ hình (5.14) khơng có tung độ gốc phương sai đồng 7/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy Vậy ước lượng hệ số (5.15) theo OLS ước lượng hiệu quả(BLUE) Kết ước lượng β2 (5.15) theo OLS sau (5.16) Ước lượng (5.16) hoàn toàn khác với (5.13) Chúng ta biết ước lượng theo WLS (5.16) ước lượng hiệu ước lượng theo OLS (5.13) không hiệu Phương sai hệ số ước lượng β2 phần mềm máy tính báo cáo phương sai Từ phương sai sai số bị tính sai trị thống kê t-stat sai số chuẩn hệ số ước lượng phần mềm cung cấp vơ dụng Tóm lại, với diện phương sai sai số thay đổi ước lượng hệ số theo OLS không chệch ước lượng không hiệu trị thống kê t-stat khơng xác Phát khắc phục Phát phương sai sai số thay đổi Phương pháp đồ thị Xét đồ thị phần dư theo giá trị Y X 8/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy ˆ Hình 5.1 Đồ thị phân tán phần dư ei theo Y i Hình 5.2 Đồ thị phân tán phần dư ei theo Xi Theo đồ thị giá trị dự báo Y tăng (hoặc X tăng) phần dư có xu hướng tăng, hay mơ hình có phương sai sai số thay đổi Các phép thử thức Xét hồi quy bội 9/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy (5.17) Trong (k-1) biến độc lập ta trích (p-1) biến làm biến độc lập cho hồi quy phụ Trong hồi quy phụ phần dư từ hồi quy mơ hình(5.17) làm hồi quy biến phụ thuộc Các dạng hồi quy phụ thường sử dụng Kiểm định Breusch-Pagan vào hồi quy phụ (5.18), kiểm định Glejser vào (5.19) kiểm định Harvey-Godfrey vào (5.20) Giả thiết không khơng có phương sai khơng đồng H0 : β = β = … = β p = H1 : Không phải tất hệ số R2 xác định từ hồi quy phụ, n cỡ mẫu dùng để xây dựng hồi quy phụ, với cỡ mẫu lớn nR2 tuân theo phân phối Chi bình phương với (p-1) bậc tự Quy tắc định Nếu χ2 − 1,1 − α) ≤ nR2 bác bỏ H0 (p Nếu bác bỏ H0 chấp nhận mơ hình có phương sai sai số thay đổi thực kỹ thuật ước lượng mơ sau: Đối với kiểm định Breusch-Pagan Đối với kiểm định Glejser Đối với kiểm định Harvey-Godfrey 10/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy ˆ √ˆ Ta có w i = w i Đến chuyển dạng hồi quy theo OLS thơng thường sang hồi quy theo bình phương tối thiểu có trọng số WLS Tự tương quan (tương quan chuỗi) Trong mơ hình hồi quy tuyến tính cổ điển giả định khơng có tương quan phần dư hay E( εiεj) = với i, j Trong thực tế liệu chuỗi thời gian, giả định hay bị vi phạm Một lý nơm na biến số kinh tế có quán tính(sức ỳ) định Ví dụ tăng cầu loại hàng hóa năm làm tăng lượng cung nội địa hàng hố vào năm sau, tác động trễ biến độc lập hay biến phụ thuộc thời kỳ t chịu tác động biến độc lập thời kỳ t-1 Đôi kinh tế lại phản ứng nhạy với thay đổi Ví dụ giá mía cao năm làm cho nơng dân đổ xơ trồng mía, sản lượng mía năm sau tăng vọt làm giảm giá mía năm sau, tác động trễ biến phụ thuộc hay giá trị biến phụ thuộc thời kỳ t chịu ảnh hưởng giá trị biến phụ thuộc thời kỳ t-1 Hiện tượng tự tương quan làm cho E( εiεj) ≠ gây hậu sau Ước lượng theo OLS không chệch không hiệu Các trị thống kê tính theo OLS khơng hữu ích việc nhận định mơ hình Chúng ta phát hiện tượng tự tương quan cách quan sát đồ thị phần dư mơ hình liệu chuỗi thời gian 11/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy Hình 5.3 Tương quan chuỗi nghịch Hình 5.4 Tương quan chuỗi thuận Chúng ta tiếp tục làm việc với liệu chuỗi xử lý tượng tự tương quan phần sau giáo trình liên quan đến mơ hình dự báo Lựa chọn mơ hình Một yếu tố quan trọng để chọn mơ hình hồi quy chọn dạng hàm Để chọn dạng hàm phải hiểu ý nghĩa mối quan hệ kinh tế biến 12/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy số Ý nghĩa số loại hàm thông dụng trình bày mục 3.8.2 chương Ở phần xét hậu số dạng xây dựng mơ hình sai chiến lược xây dựng mơ hình kinh tế lượng Chúng ta không sâu vào chứng minh kết Thiếu biến có liên quan chứa biến khơng liên quan Xét hai hồi quy sau (5.21) (5.22) Mơ hình (5.21) có trị thơng kê tương ứng có ký hiệu R mơ hình (5.22) có trị thống kê tương ứng có ký hiệu U Có hai trường hợp xảy ra: Trường hợp 1: Nếu mơ hình (5.22) chọn mơ hình (5.21) nghĩa bỏ sót L biến quan trọng (XK+1, XK+L) Hậu ước lượng hệ số cho K-1 biến độc lập cịn lại bị chệch, mơ hình tính giải thích cho mục tiêu dự báo vào phân tích sách Trường hợp 2: Nếu mơ hình (5.21) chọn mơ hình (5.22), nghĩa đưa vào mơ hình biến không liên quan Hậu ước lượng hệ số cho biến quan trọng không chệch khơng hiệu Kiểm định so sánh mơ hình (5.21) (5.22) - Kiểm định Wald Chúng ta muốn kiểm định xem L biến (XK+1, XK+L) có đáng đưa vào mơ hình hay khơng H0: Trị thống kê 13/14 Giới thiệu số vấn đề liên quan đến mô hình hồi quy Quy tắc dịnh: Nếu ta bác bỏ H0 hay chấp nhận L biến (XK+1, XK+L) xứng đáng đưa vào mơ hình Hai chiến lược xây dựng mơ hình Có hai chiến lược xây dựng mơ hình kinh tế lượng là: Xây dựng mơ hình từ đơn giản đến tổng quát: chứa tất biến có liên quan mơ hình loại bỏ dần biến ý nghĩa thống kê nhận mơ hình “tốt nhất” Xây dựng mơ hình tổng qt đến đơn giản : Xuất phát từ biến độc lập có quan hệ kinh tế trực tiếp với biến phụ thuộc, tiếp tục bổ sung biến nhận mơ hình “tốt nhất” Mỗi cách làm có ưu nhược điểm Hiện với cơng cụ máy vi tính, người ta khơng cịn ngại tính tốn mơ hình lớn nhiều nhà kinh tế lượng cho xây dựng mơ hình từ tổng qt đến đơn giản hiệu từ đơn giản đến tổng quát Nét chung hai chiến lược bước phải thực kiểm định Wald 14/14 .. .Giới thiệu số vấn đề liên quan đến mô hình hồi quy Một số nguyên nhân gây tượng đa cộng tuyến Khi chọn biến độc lập mối quan có quan hệ nhân hay có tương quan cao đồng phụ thuộc... cách quan sát đồ thị phần dư mơ hình liệu chuỗi thời gian 11/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy Hình 5.3 Tương quan chuỗi nghịch Hình 5.4 Tương quan chuỗi thuận Chúng ta tiếp... 12/14 Giới thiệu số vấn đề liên quan đến mơ hình hồi quy số Ý nghĩa số loại hàm thông dụng trình bày mục 3.8.2 chương Ở phần xét hậu số dạng xây dựng mơ hình sai chiến lược xây dựng mơ hình kinh