A LÍ THUYẾT: I.GIỚI THIỆU VỀ ĐA CỘNG TUYẾN: Thông thường biến độc lập mối quan hệ tuyến tính, quy tắc bị vi phạm có tượng đa cộng tuyến Như vậy, đa cộng tuyến tượng biến độc lập mô hình phụ thuộc lẫn thể dạng hàm số II CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN: R cao tỉ số t thấp Trong trường hợp R cao (thường R > 0,8) mà tỉ số t thấp dấu hiệu tượng đa cộng tuyến Tương quan cặp biến giải thích cao Nếu hệ số tương quan cặp biến giải thích cao (vượt 0,8) có khả có tồn đa cộng tuyến Tuy nhiên tiêu chuẩn thường không xác Có trường hợp tương quan cặp không cao có đa cộng tuyến Thí dụ, ta có biến giải thích X , X , X sau X = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X = X + X nghĩa ta có đa cộng tuyến hoàn hảo, nhiên tương quan cặp là: r 12 = -1/3 ; r 13 = r 23 =0,59 Như đa cộng tuyến xảy mà bảo trước cuả tương quan cặp cung cấp cho ta kiểm tra tiên nghiệm có ích Xem xét tương quan riêng Vì vấn đề đề cập đến dựa vào tương quan bậc không Farrar Glauber đề nghị sử dụng hệ số tương quan riêng Trong hồi quy Y biến 2 2 X , X ,X Nếu ta nhận thấy r 1, 234 cao r 12,34 ; r 13, 24 ; r 14, 23 tương đối thấp điều gợi ý biến X , X X có tương quan cao biến thừa Dù tương quan riêng có ích không đảm bảo cung cấp cho ta hướng dẫn xác việc phát tượng đa cộng tuyến Hồi quy phụ Một cách tin cậy để đánh giá mức độ đa cộng tuyến hồi quy phụ Hồi quy phụ hồi quy biến giải thích X i theo biến giải thích lại R tính từ hồi quy ta ký R i2 Mối liên hệ F i R i2 : Ri2 /(k − 2) F= (1 − Ri2 ) /( n − k + 1) F i tuân theo phân phối F với k – n-k +1 bậc tự Trong n cỡ mẫu , k số biến giải thích kể hệ số chặn mô hình R i2 hệ số xác định hồi quy biến X i theo biến X khác Nếu F i tính vượt điểm tới hạn F i (k-2,n-k+1) mức ý nghĩa cho có nghĩa X i có liên hệ tuyến tính với biến X khác Nếu F i có ý nghĩa mặt thống kê phải quyến định liệu biến X i bị loại khỏi mô hình Một trở ngại kỹ thuật hồi quy phụ gánh nặng tính toán Nhưng ngày nhiều chương trình máy tính đảm đương công việc tính toán Nhân tử phóng đại phương sai Một thước đo khác tượng đa cộng tuyến nhân tử phóng đại phương sai gắn với biến X i , ký hiệu VIF(X i ) VIF(X i ) thiết lập sở hệ số xác định R i2 hồi quy biến X i với biến khác sau: VIF(X i ) = − R i (5.15) Nhìn vào công thức (5.15) giải thích VIF(X i ) tỷ số chung phương sai thực β hồi quy gốc Y biến X phương sai ước lượng β hồi quy mà X i trực giao với biến khác Ta coi tình lý tưởng tình mà biến độc lập không tương quan với nhau, VIF so sánh tình huông thực tình lý tưởng Sự so sánh ích nhiều không cung cấp cho ta biết phải làm với tình Nó cho biết tình không lý tưởng Đồ thị mối liên hệ R i2 VIF: là: VIF 100 50 R 10 0.9 1 Như hình vẽ R i2 tăng từ 0,9 đến VIF tăng mạnh Khi R i2 =1 VIF vô hạn Có nhiều chương trình máy tính cho biết VIF biến độc lập hồi quy Độ đo Theil Khía cạnh chủ yếu VIF xem xét đến tương quan qua lại biến giải thích Một độ đo mà xem xét tương quan biến giải thích với biến giải thích độ đo Theil Độ đo Theil định nghĩa sau: k m = R - ∑ ( R - R 2−i ) i=2 Trong đó: R hệ số xác định bội hồi quy Y biến X , X … X k mô hình hồi quy: Y = β + β X 2i + β X 3i + …… + β k X ki + U i R 2−i hệ số xác định bội mô hình hồi quy biến Y biên X , X , … ,X i −1 , X i +1 , … ,X k Đại lượng R - R 2−i gọi “đóng góp tăng thêm vào” vào hệ số xác định bội Nếu X , X … X k không tương quan với m = đóng góp tăng thêm cộng lại R Trong trường hợp khác m nhận giá trị âm dương lớn Để thấy độ đo có ý nghĩa, xét trường hợp mô hình có biến giải thích X X Theo ký hiệu sử dụng chương trước ta có: m = R - ( R - r 122 ) – (R – r 132 ) 2 Tỷ số t liên hệ với tương quan riêng r 12,3 , r 13, Trong phần hồi quy bội ta biết: R = r 122 + (1- r 122 ) r 13, 2 R = r 132 + (1- r 132 ) r 12,3 Thay công thức vào biểu thức xác định m ta được: 2 m = R - (r 122 + (1- r 122 ) r 13, - r 122 ) - ( r 132 + (1- r 132 ) r 12,3 - r 132 ) 2 = R - ((1- r 122 ) r 13, + (1- r 132 ) r 12,3 ) Đặt 1- r 122 = w ; 1- r 132 = w gọi trọng số Công thức (5.16) viết lại dạng: 2 m = R - (w r 13, + w r 12,3 ) Như vây độ đo Theil hiệu hệ số xác định bội tổng có trọng số hệ số tương quan riêng III BIỆN PHÁP KHẮC PHỤC: Sử dụng thông tin tiên nghiệm Một các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phải tận dụng thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượng các hệ số riêng Thí dụ : ta muốn ước lượng hàm sản xuất của quá trình sản xuất nào đó có dạng : Qt =AL (5.17) Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t ; Lt lao động thời kỳ t ; Kt vốn thời kỳ t ; Ut là nhiễu ; A , α, β là các tham số mà chúng ta cần ước lượng Lấy ln cả vế (5.17) ta được : LnQt = LnA + αlnLt + βKt Ut Đặt LnQt = Q*t ; Ta được Q*t LnA = A* ; LnLt = L*t = A* + αL*t + βK*t + Ut (5.18) Giả sử K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đến phương sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn Giả sử từ nguồn thông tin khác nào đó mà ta biết được rằng ngành công nghiệp này thuộc ngành có lợi tức theo quy mô không đổi nghĩa là α + β =1 Với thông tin này ,cách xử lý của chúng ta sẽ là thay β = - α vào (5.18) và thu được : Q*t Từ đó ta được: Đặt = A* + αL*t + ( - α )K*t + Ut (5.19) Q*t – K*t = A* + α(L*t – K*t ) + Ut Q*t – K*t = Y*t và L*t – K*t = Z*t ta được: Y*t = A* + α Z*t + Ut Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập mô hình xuống còn biến Z*t Sau thu được ước lượng αˆ của α thì βˆ tính được từ điều kiện βˆ = – αˆ Thu thập số liệu hoặc lấy thêm mẫu mới Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan đến cùng các biến mẫu ban đầu mà đa cộng tuyến có thể không nghiêm trọng nữa Điều này có thể làm được chi phí cho việc lấy mẫu khác có thể chấp nhận được thực tế Đôi chỉ cần thu thập thêm số liệu, tăng cỡ mẫu có thể làm giảm tính nghiêm trọng của đa cộng tuyến Bỏ biến Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “ đơn giản nhất “là bỏ biến cộng tuyến khỏi phương trình Khi phải sử dụng biện pháp này thì cách thức tiến hành sau : Giả sử mô hình hồi quy của ta có Y là biến được giải thích còn X 2, X3 … Xk là các biến giải thích Chúng ta thấy rằng X tương quan chặt chẽ với X3 Khi đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3 Vậy nếu ta bỏ biến X2 hoặc X3 khỏi mô hình hồi quy, ta sẽ giải quyết được vấn đề đa cộng tuyến sẽ mất phần thông tin về Y Bằng phép so sánh R và R các phép hồi quy khác mà có và không có biến chúng ta có thể quyết định nên bỏ biến nào biến X và X3 khỏi mô hình Thí dụ R2 đối với hồi quy của Y đối với tất cả các biến X 1, X2, X3 …Xk là 0.94; R2 loại biến X2 là 0.87 và R2 loại biến X3 là 0.92 ; vậy trường hợp này ta loại X3 Chúng ta lưu ý hạn chế của biện pháp này là các mô hình kinh tế có những trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở mô hình Trong trường hợp vậy việc loại bỏ biến phải được cân nhắc cẩn thận giữa sai lệch bỏ biến cộng tuyến với việc tăng phương sai của các ước lượng hệ số biến đó ở mô hình Sử dụng sai phân cấp Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y và các biến phụ thuộc X2 và X3 theo mô hình sau : Yt = β + β2 X 2t + β X 3t+ U t (5.20) Trong đó t là thời gian Phương trình đúng với t thì cũng đúng với t-1 nghĩa là : Yt-1 = β + β X 2t-1 + β 3X 3t-1 + U t-1 (5.21) Từ (5.20) và (5.21) ta được : Yt – Yt-1 = β (X 2t - X 2t-1 ) + β (X 3t - X 3t-1) + U t - U t-1 (5.22) Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1 Ta : yt = β x2t + β x3t + Vt (5.23) Mô hình hồi quy dạng (5.23) thường làm giảm tính nghiêm trọng của đa cộng tuyến vì dù X2 và X3 có thể tương quan cao không có lý tiên nghiệm nào chắc chắn rằng sai phân của chúng cũng tương quan cao Tuy nhiên biến đổi sai phân bậc nhất sinh số bấn đề chẳng hạn số hạng sai số Vt (5.23) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến tính cổ điển là các nhiễu không tương quan Vậy thì biện pháp sửa chữa này có thể lại còn tồi tệ bệnh 5.Giảm tương quan hồi quy đa thức Nét đặc biệt của hồi quy đa thức là các biến giải thích xuất hiện với lũy thừa khác mô hình hồi quy Trong thực hành để giảm tương quan hồi quy đa thức người ta thường sử dụng dạng độ lệch Nếu việc sử dụng dạng độ lệch mà vẫn không giảm đa cộng tuyến thù người ta có thể phải xem xét đến kỹ thuật “ đa thức trực giao “ Một số biện pháp khác Ngoài các biện pháp đã kể người ta còn sử dụng số biện pháp khác - Hồi quy thành phần chính - Sử dụng các ước lượng từ bên ngoài  Nhưng tất cả các biên pháp đã trình bày ở có thể làm giải pháp cho vấn đề đa cộng tuyến thế nào còn phụ thuộc vào bản chất của tập số liệu và tính nghiêm trọng của vấn đề đa cộng tuyến B VÍ DỤ MINH HỌA Bảng cho số liệu dân số nước giới Y ( người), diện tích nước X1 ( km2), trình độ phát triển dân số X2 ( GDP- USD/ người/ năm), mật độ dân số X3 ( người/ km2), tỷ lệ dân thành thị X4 ( %) bảng sau Yêu cầu: Hãy phát hiện tượng đa cộng tuyến tìm biện pháp khắc phục Cho α = 5% Y X1 X2 X3 X4 1335700000 9598086 7240 139 46 300066281 9629091 47702 32 79 127417244 33783 33487 338 86 241973879 1904569 4380 128 43 162419946 769095 2713 227 35 186112794 8514877 11066 22 84 85789573 336836 3104 226 30 27676547 147181 1238 187 17 21029853 238533 1591 100 48 16380005 475442 2163 40 57 6217141 236800 2401 27 27 1080264388 3287263 3176 356 29 58103033 301318 29347 200 68 15185844 2724900 12044 53 Tiến hành ước lượng hàm hồi quy mẫu ta được: 10 I- Phát hiện tượng đa cộng tuyến: Ta có hàm hồi quy mẫu: Yˆ = −79833393 +108.4344 X1 − 7253.113 X + 2199837 X − 3773129 X Tαn−k = T0.025 = 2.262 1.Cách 1: Hệ số xác định bội R2 cao t thấp  Nhận xét: R2= 0.8.2128 > 0.8 Thống kê t hệ số ứng với biến : T = -1.081213 < 2.262 Thống kê t hệ số ứng với biến : T = -0.845124 < 2.262 Vậy R2 cao t thấp Suy có tượng đa cộng tuyến 11 2.Cách 2: Hệ số tương quan cặp biến giải thích cao Ta có: X1 X2 X3 X4 X1 1.00000 0.356119 -0.338161 0.405645 X2 0.356119 1.00000 0.007764 0.756450 X3 -0.338161 0.007764 1.00000 -0.190955 X4 0.405645 0.756450 -0.190955 1.00000 => Như ta có sở kết luận có tượng đa cộng tuyến mô hình 3.Cách 3: Hồi quy phụ Ta hồi quy biến theo biến kết sau: 12 Ta có α = 0.05 ta kiểm định giả thiết: H0: X2 tượng đa cộng tuyến với X4 H1: X2 có tượng đa cộng tuyến với X4  Nhận xét: Ta thấy giá trị P-value thống kê F 0.001741 < α =0.05 => bác bỏ giả thiết H0 chấp nhận giả thiết H1 Vậy có sở khẳng định mô hình có tượng đa cộng tuyến 4.Cách 4: Độ đo Theil Ta có hệ số tương quan biến Y v X1 , X2 , X3 , X4 sau: Y X1 X2 X3 X4 Y 1.00000 0.582417 -0.060994 0.325911 -0.122551 X1 0.582417 1.00000 0.356119 -0.338161 0.405645 X2 -0.060994 0.356119 1.00000 0.007764 0.756450 X3 0.325911 -0.338161 0.007764 1.00000 -0.190955 X4 -0.122551 0.405645 0.756450 -0.190955 1.00000 2 Để tính độ đo Theil ta phải tính R , r12,3và r13,2 Theo công thức biết chương hai ta có: ………………… …………………… 13 II/ Khắc phục tượng đa cộng tuyến: 1.Cách 1: Bỏ biến + Bước 1: hồi quy Y theo X1 , X2 , X3 => R12 , R12 + Bước 2: hồi quy Y theo X1 , X3 , X4 => R22 , R22 + Bước 3: so sánh R R hồi quy + Bước 4: kết luận * Bước : Hồi quy Y theo X1 , X2 , X3 14 * Bước 2: Hồi quy Y theo X1 , X3 , X4 * Bước : So sánh: Từ kết hồi quy ta có: R = 0.802128 R = 0.714185 R12 = 0.786425 R12 = 0.722353 R22 = 0.776427 R22 = 0.709355 * Bước 4: Ta tiến hành so sánh Và kết luận trường hợp loại biến X2 2.Cách 2: Sử dụng sai phân cấp Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ biến Y biến phụ thuộc X,Z theo mô hình sau Y =β X +β X t +β X +β X (*) 15 Với t thời gian Phương trình với t với t-1 nghĩa : Y t −1 =β X 1t −1 +β X t −1 +β X 3t −1 +β X (**) t −1 Trừ (* ) cho (** ) Và đặt: y = Y −Y t t x (1) t = X (1) t x t −1 − X x (1) t −1 x =X ( 4)t ( 4)t − X = X = X ( 2)t ( 3) t − X − X ( 2)t ( 3) t ( 2)t ( 3) t −1 ( ) t −1 Ta thu bảng số liệu mới: y x1 x2 x3 x4 -1035633719 31005 40462 -107 33 -172649037 -9595308 -14215 306 114556635 1870786 -29107 -210 -43 -79553933 -1135474 -1667 99 -8 23692848 7745782 8353 -205 49 -100323221 -8178041 -7962 204 -54 -58113026 -189655 -1866 -39 -13 -6646694 91352 353 -87 31 -4649848 236909 572 -60 -10162864 -238642 238 -13 -30 1074047247 3050463 775 329 -1022161355 -2985945 26171 -156 39 -42917189 2423582 -17303 -194 -15 -15185844 -2724900 -12044 -6 -53 16 Hồi quy sai phân cấp Ta có hệ số tương quan biến giải thích: X1 X2 X3 X4 X1 1.00000 -0.588904 0.440706 -0.299961 X2 -0.588904 1.00000 -0.133625 0.669454 X3 0.440706 -0.133625 1.00000 -0.160034 X4 -0.299961 0.669454 -0.160034 1.00000 17 Hồi quy phụ biến sai phân  Nhận xét: x (4)t theo x (2)t ta được: R = 0.448169< 0.8 r 24 = 0.669454[...]... R22 + Bước 3: so sánh R 2 và R 2 trong các hồi quy trên + Bước 4: kết luận * Bước 1 : Hồi quy Y theo X1 , X2 , X3 14 * Bước 2: Hồi quy Y theo X1 , X3 , X4 * Bước 3 : So sánh: Từ kết quả hồi quy ở trên ta có: R 2 = 0.802128 R = 0.714185 R12 = 0.786425 R12 = 0.722353 R22 = 0.776427 R22 = 0.709355 * Bước 4: Ta tiến hành so sánh Và kết luận trong trường hợp này loại biến X2 2.Cách 2: Sử dụng sai phân cấp... 7253.113 X 2 + 2199837 X 3 − 3773129 X 4 Mô hình này cũng cũng có thể làm giảm đa cộng tuyến của các biến dộc lập Kết luận: Có nhiều cách phát hiện và khắc phục hiện tượng đa cộng tuyến khác nhau Mỗi phương pháp có những hạn chế nhất định Vì vậy, khi áp dụng một phương pháp nào ta cần cân nhắc kĩ lượng để mang lại kết quả tin cậy nhất 21 22 ... X1 X2 X3 X4 X1 1.00000 0.356119 -0.338161 0.405645 X2 0.356119 1.00000 0.007764 0.756450 X3 -0.338161 0.007764 1.00000 -0.190955 X4 0.405645 0.756450 -0.190955 1.00000 => Như vậy ta càng có cơ sở kết luận có hiện tượng đa cộng tuyến trong mô hình trên 3.Cách 3: Hồi quy phụ Ta hồi quy biến theo biến được kết quả như sau: 12 Ta có α = 0.05 ta đi kiểm định giả thiết: H0: X2 không có hiện tượng đa cộng ... trường hợp này ta loại X3 Chúng ta lưu ý hạn chế của biện pháp này là các mô hình kinh tế có những trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở