1 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Chương 5 Hồi quy bội  Mô hình hồi quy bội  Phương pháp bình phương bé nhất  Hệ số xác đònh bội  Các giả đònh của mô hình  Kiểm đònh ý nghóa  Sử dụng phương trình hồi quy ước lượng để ước lượng và dự báo  Biến độc lập đònh tính  Phân tích phần dư 2 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Mô hình hồi quy bội  Mô hình hồi quy bội y = β 0 + β 1 x 1 + β 2 x 2 + . . . + β p x p + ε  Phương trình hồi quy bội E(y) = β 0 + β 1 x 1 + β 2 x 2 + . . . + β p x p  Phương trình hồi quy bội ước lượng y = b 0 + b 1 x 1 + b 2 x 2 + . . . + b p x p ^ 3 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Quy trình ước lượng Mơ hình hồi quy bội E(y) = β 0 + β 1 x 1 + β 2 x 2 +. . .+ β p x p + ε Phương trình hồi quy bội E(y) = β 0 + β 1 x 1 + β 2 x 2 +. . .+ β p x p Các tham số khơng biết là β 0 , β 1 , β 2 , . . . , β p Dữ liệu mẫu: x 1 x 2 . . . x p y . . . . . . . . 01122 ˆ p p y bbxbx bx = ++++ 01122 ˆ p p y bbxbx bx = ++++ Phương trình hồi quy bội ước lượng Các số thống kê mẫu là b 0 , b 1 , b 2 , . . . , b p b 0 , b 1 , b 2 , . . . , b p đưa ra các ước lượng cho β 0 , β 1 , β 2 , . . . , β p 4 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Phương pháp bình phương bé nhất  Tiêu chuẩn bình phương bé nhất  Tính toán giá trò của các hệ số Các công thức tính các hệ số hồi quy b 0 , b 1 , b 2 , . . . b p liên quan đến việc sử dụng đại số ma trận. Chúng ta sẽ dựa vào các gói phần mềm máy tính để thực hiện các tính toán.  Lưu ý về việc giải thích các hệ số b i là ước lượng của sự thay đổi trong y tương ứng với một đơn vò thay đổi trong x i khi tất cả các biến độc lập khác được giữ không thay đổi. min ( i yy i − ∑ ) 2 min ( i yy i − ∑ ) 2 ^ 5 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Hệ số xác đònh bội  Mối liên hệ giữa SST, SSR, SSE SST = SSR + SSE  Hệ số xác đònh bội R 2 = SSR/SST  Hệ số xác đònh bội điều chỉnh ()()( )yy yy yy iiii − ∑ = − ∑ + − ∑ 22 2 ()()( )yy yy yy iiii − ∑ = − ∑ + − ∑ 22 2 ^^ RR n np a 22 11 1 1 =− − − −− () RR n np a 22 11 1 1 =− − − −− () 6 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Các giả đònh của mô hình  Các giả đònh về số hạng sai số ε y Sai số ε là một biến ngẫu nhiên có trung bình bằng 0. y Phương sai của ε , ký hiệu bằng σ 2 , là bằng nhau với mọi giá trò của các biến độc lập. y Các giá trò của ε độc lập với nhau. y Sai số ε là một biến ngẫu nhiên có phân phối chuẩn phản ánh độ lệch giữa giá trò y và giá trò kỳ vọng của y được cho bởi β 0 + β 1 x 1 + β 2 x 2 + . . . + β p x p 7 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Kiểm đònh ý nghóa: Kiểm đònh F  Các giả thuyết H 0 : β 1 = β 2 = . . . = β p = 0 H a : Không phải tất cả β j = 0 (có ít nhất một β j ≠ 0).  Thống kê kiểm đònh F = MSR/MSE  Quy tắc bác bỏ Sử dụng thống kê kiểm đònh: Bác bỏ H 0 nếu F > F α Sử dụng giá trò p: Bác bỏ H 0 nếu giá trò p < α trong đó F α dựa vào phân phối F với p bậc tự do ở tử số và n - p -1 bậc tự do ở mẫu số 8 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Kiểm đònh ý nghóa: Kiểm đònh F  Bảng ANOVA (giả sử có p biến độc lập) Source of Sum of Degrees of Mean Variation Squares Freedom Squares F Regression SSR p Error SSE n - p -1 Total SST n -1 SSR MSR p = SSR MSR p = SSE MSE 1np = − − SSE MSE 1np = − − MSR MSE F = MSR MSE F = 9 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Kiểm đònh ý nghóa: Kiểm đònh t  Các giả thuyết H 0 : β i = 0 H a : β i = 0  Thống kê kiểm đònh  Quy tắc bác bỏ Sử dụng thống kê kiểm đònh: Bác bỏ H 0 nếu ⎜t⎟ > t α/ 2 Sử dụng giá trò p: Bác bỏ H 0 nếu giá trò p < α trong đó t α/ 2 dựa vào phân phối t với n - p -1 bậc tự do t b s i b i = t b s i b i = 10 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Đa cộng tuyến  Thuật ngữ đa công tuyến (multicollinearity) nói đến sự tương quan giữa các biến độc lập.  Ví dụ như các biến x 1 và x 2 cộng tuyến hoàn hảo nếu x 1 = b 0 + b 1 x 2 với các số thực b 0 và b 1 nào đó.  Hai biến này nằm trên một đường thẳng, và một trong hai biến hoàn toàn xác đònh biến khác. Không có thông tin mới về y thu được bằng cách thêm x 2 vào phương trình hồi quy đã bao gồm x 1 (hay ngược lại). [...]... của Excel để xây dựng phương trình hồi quy bội ước lượng Thực hiện phân tích hồi quy bội Bước 1 Chọn menu kéo xuống Tools Bước 2 Chọn dùng Data Analysis Bước 3 Chọn dùng Regression từ danh sách Analysis Tools … còn nữa GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 24 Sử dụng công cụ Regression của Excel để xây dựng phương trình hồi quy bội ước lượng Thực hiện phân tích hồi quy bội Bước 4 Khi hộp... y trong hồi quy bội tương tự với các thủ tục trong hồi quy đơn Chúng ta thay các giá trò đã cho của x1, x2, , xp vào phương trình hồi quy ước lượng và sử dụng các giá trò tương ứng của y làm ước lượng điểm Các công thức cần thiết để xây dựng các ước lượng khoảng cho giá trò trung bình của y và cho một giá trò cá biệt của y vượt ngoài phạm vi của bài giảng này Các gói phần mềm cho hồi quy bội thường... nghệ Sài Gòn 29 Sử dụng công cụ Regression của Excel để xây dựng phương trình hồi quy bội ước lượng Phương trình hồi quy ước lượng SALARY = 3,174 + 1,404(EXPER) + 0,2509(SCORE) Lưu ý: Tiền lương dự báo sẽ tính theo ngàn đô la GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 30 Sử dụng công cụ Regression của Excel để xây dựng phương trình hồi quy bội ước lượng Bảng tính giá trò (Regression Equation Output)... Ví dụ: Khảo sát tiền lương của lập trình viên Mô hình hồi quy bội Giả sử ta tin là tiền lương (y) có liên quan với số năm kinh nghiệm (x1) và số điểm đạt được dựa trên trắc nghiệm năng khiếu lập trình viên (x2) theo mô hình hồi quy sau: y = β0 + β1x1 + β2x2 + ε trong đó y = tiền lương hàng năm (000$) x1 = số năm kinh nghiệm x2 = số điểm đạt được dựa trên trắc nghiệm năng khiếu lập trình viên GV: Th.S... 15 Đa cộng tuyến và dự báo Khi xảy ra đa cộng tuyến ta không thể xác đònh được tác động riêng biệt của bất cứ biến độc lập cụ thể nào lên biến phụ thuộc Tuy nhiên, nếu phương trình hồi quy ước lượng sẽ được sử dụng chỉ cho các mục đích dự báo, thì đa cộng tuyến thường không phải là một vấn đề quan trọng GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 16 Sử dụng phương trình hồi quy ước lượng để ước... xây dựng phương trình hồi quy bội ước lượng Bảng tính giá trò (Regression Statistics) A 23 24 25 26 27 28 29 30 31 32 B C SUMMARY OUTPUT Regression Statistics Multiple R 0.913334059 R Square 0.834179103 Adjusted R Square 0.814670762 Standard Error 2.418762076 Observations 20 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 26 Sử dụng công cụ Regression của Excel để xây dựng phương trình hồi quy bội. .. bình phương bé nhất Nhập liệu x1 x2 y 4 78 24 7 100 43 3 89 30 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn Gói phần mềm để giải các bài toán hồi quy bội b0 = b1 = b2 = R2 = v.v… 22 Sử dụng công cụ Regression của Excel để xây dựng phương trình hồi quy bội ước lượng Bảng tính công thức (trình bày dữ liệu được nhập vào) 1 2 3 4 5 6 7 8 9 A B C Programmer Experience (yrs) Test Score 1 4 78 2 7... Quy tắc kinh nghiệm là khi |r| > 0,7 Sử dụng hồi quy phụ Nhân tử phóng đại phương sai VIF Quy tắc kinh nghiệm là khi VIFj > 10 R 2 > 0,9 thì mức độ cộng tuyến j được xem là cao GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 13 Cách phát hiện đa cộng tuyến: Nhân tử phóng đại phương sai Nhân tử phóng đại phương sai liên hệ với xh: 1 VIF ( x h ) = 2 1 − Rh 2 vớiù Rh là giá trò R2 nhận được khi hồi. .. liệu cho một mẫu gồm 20 lập trình viên máy tính Một đề xuất được đưa ra là phân tích hồi quy có thể được sử dụng để xác đònh xem tiền lương (Salary) có liên hệ với số năm kinh nghiệm (Exper.) và số điểm đạt được dựa trên trắc nghiệm năng khiếu lập trình viên của công ty (Score) Số năm kinh nghiệm, số điểm đạt được dựa trên trắc nghiệm năng khiếu và tiền lương theo năm tương ứng (1.000$) cho một mẫu... này tương quan chặt bởi vì rx1x2* = 0,9959 GV: Th.S Trần Kim Ngọc Đại học Công nghệ Sài Gòn 11 Hậu quả của đa cộng tuyến Phương sai của các hệ số hồi quy bò phóng đại Độ lớn của các hệ số hồi quy có thể khác với những gì được kỳ vọng Dấu của các hệ số hồi quy có thể không như kỳ vọng Thêm vào hay bớt đi các biến cộng tuyến với các biến khác tạo ra những thay đổi lớn về các hệ số Bỏ một điểm dữ liệu . hai biến này tương quan chặt bởi vì . 75 75 15 52 50 10 X 2 * X 2 X 1 152 12997 150 12090 302418 = 12 1 xx r = 12 1 xx r = * 12 0,9 959 xx r = * 12 0,9 959 xx r 12 GV: Th.S Trần Kim Ngọc Đại học. Exper. Score Salary 4 78 24 9 88 38 7 100 43 2 73 26,6 1 86 23,7 10 75 36,2 5 82 34,3 5 81 31,6 8 86 35, 8 6 74 29 10 84 38 8 87 34 0 75 22,2 4 79 30,1 1 80 23,1 6 94 33,9 6 83 30 3 70 28,2 6 91 33. Sài Gòn Chương 5 Hồi quy bội  Mô hình hồi quy bội  Phương pháp bình phương bé nhất  Hệ số xác đònh bội  Các giả đònh của mô hình  Kiểm đònh ý nghóa  Sử dụng phương trình hồi quy ước lượng để