Khoa Công Nghệ Thông Tin Trường Đại Học Cần Thơ Phương pháp học Bayes Bayesian classification Đỗ Thanh Nghị dtnghi@cit.ctu.edu.vn Cần Thơ 12-02-2019 Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết luận hướng phát triển  Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết luận hướng phát triển     Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Bayesian classification  lớp giải thuật học      dựa định lý Bayes mạng Bayes naive Bayes kết sinh dịch giải vấn đề phân lớp, gom nhóm, etc ứng dụng thành cơng : phân tích liệu, phân loại text, spam, etc    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Top 10 DM algorithms (2015) Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết luận hướng phát triển     Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Giải thuật naive Bayes  ngây thơ    thuộc tính (biến) có độ quan trọng thuộc tính (biến) độc lập có điều kiện cho lớp/nhãn nhận xét   giả thiết thuộc tính độc lập không thực tế, naive Bayes cho kết tốt   Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu weather, dựa thuộc tính (Outlook, Temp, Humidity, Windy), định (play/no)   Outlook Temp Humidity Windy Play Sunny Hot High False No Sunny Hot High True No Overcast Hot High False Yes Rainy Mild High False Yes Rainy Cool Normal False Yes Rainy Cool Normal True No Overcast Cool Normal True Yes Sunny Mild High False No Sunny Cool Normal False Yes Rainy Mild Normal False Yes Sunny Mild Normal True Yes Overcast Mild High True Yes Overcast Hot Normal False Yes Rainy Mild High True No  Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu weather, dựa thuộc tính (Outlook, Temp, Humidity, Windy), định (play/no)   Outlook Temperature Yes Humidity Yes No No Sunny Hot 2 Overcast Mild Rainy Cool Sunny 2/9 3/5 Hot 2/9 2/5 Overcast 4/9 0/5 Mild 4/9 2/5 Rainy 3/9 2/5 Cool 3/9 1/5 Windy Yes No High Normal High Normal Play Yes No Yes No False True 3 3/9 4/5 False 6/9 2/5 9/14 5/14 6/9 1/5 True 3/9 3/5 Outlook Temp Humidity Windy Play Sunny Hot High False No Sunny Hot High True No Overcast Hot High False Yes Rainy Mild High False Yes Rainy Cool Normal False Yes Rainy Cool Normal True No Overcast Cool Normal True Yes Sunny Mild High False No Sunny Cool Normal False Yes Rainy Mild Normal False Yes Sunny Mild Normal True Yes Overcast Mild High True Yes Overcast Hot Normal False Yes Rainy Mild High True No  Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu weather, dựa thuộc tính (Outlook, Temp, Humidity, Windy), định (play/no)   Outlook Temperature Yes No Sunny Hot 2 Overcast Mild Rainy Cool Sunny 2/9 3/5 Hot 2/9 2/5 Overcast 4/9 0/5 Mild 4/9 2/5 Rainy 3/9 2/5 Cool 3/9 1/5  Yes Humidity No Windy Yes No High Normal High Normal định (play=yes/no) Play Yes No Yes No False True 3 3/9 4/5 False 6/9 2/5 9/14 5/14 6/9 1/5 True 3/9 3/5 Outlook Temp Humidity Windy Play Sunny Cool High True ? Likelihood(yes) = 2/9 x 3/9 x 3/9 x 3/9 x 9/14 = 0.0053 Likelihood(no) = 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = 0.0206 Xác suất : P(yes) = 0.0053 / (0.0053 + 0.0206) = 0.205 P(no) = 0.0206 / (0.0053 + 0.0206) = 0.795 10    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Định lý Bayes  Probability of event H given evidence E : Pr[ E | H ] Pr[ H ] Pr[ H | E ]  Pr[ E ]   A priori probability of H : Pr[H]  Probability of event before evidence is seen A posteriori probability of H : Pr[H | E]  Probability of event after evidence is seen 11    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Luật Bayes   học phân lớp có liệu đến  Evidence E = liệu  Event H = giá trị lớp liệu naïve : Pr[ E1 | H ] Pr[ E | H ] Pr[ E n | H ] Pr[ H ] Pr[ H | E ]  Pr[ E ] 12    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Luật Bayes Outlook Temp Humidity Windy Play Sunny Cool High True ? Evidence E Pr[ yes | E ]  Pr[Outlook  Sunny | yes]  Pr[Temperature  Cool | yes]  Pr[ Humidity  High | yes] xác suất  Pr[Windy  True | yes] lớp Pr[ yes] “yes”  Pr[ E ]  93  93  93  149  Pr[ E ] 13    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Xác suất =  giá trị thuộc tính khơng xuất tất lớp (“Humidity = high” lớp “yes”)  Probability will be zero! Pr[ Humidity  High | yes]   A posteriori probability will also be zero! Pr[ yes | E ]   sử dụng Laplace estimator xác suất giá trị  14    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Laplace estimator   ví dụ : thuộc tính outlook cho lớp yes 2  /3 9 4  /3 9  3  /3 9  Sunny Overcast Rainy trọng số không nhau, tổng phải  p1 9  p 9   p3 9  Sunny Overcast Rainy 15    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Giá trị thuộc tính nhiễu    học : bỏ qua liệu nhiễu phân lớp : bỏ qua thuộc tính nhiễu ví dụ : Outlook Temp Humidity Windy Play ? Cool High True ? Likelihood(yes) = 3/9  3/9  3/9  9/14 = 0.0238 Likelihood(no) = 1/5  4/5  3/5  5/14 = 0.0343 P(yes) = 0.0238 / (0.0238 + 0.0343) = 41 P(no) = 0.0343 / (0.0238 + 0.0343) = 59 16    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu liên tục 17    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu liên tục   giả sử thuộc tính có phân phối Gaussian hàm mật độ xác suất tính sau  mean  n    xi n i 1 standard deviation  n   ( x   )  i n  i 1  hàm mật độ xác suất f(x) f ( x)  e 2  ( x  )2  2 Karl Gauss, 1777-1855 great German mathematician 18    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu liên tục  ví dụ : f (temperature  66 | yes)  2 6.2 e ( 6673)  26.22  0.0340 19    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Dữ liệu liên tục  phân lớp Outlook Temp Humidity Windy Play Sunny 66 90 true ? Likelihood(yes) = 2/9  0.0340  0.0221  3/9  9/14 = 0.000036 Likelihood(no) = 3/5  0.0291  0.0380  3/5  5/14 = 0.000136 P(yes) = 0.000036 / (0.000036 + 000136) = 20.9 P(no) = 0.000136 / (0.000036 + 000136) = 79.1 20 Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết luận hướng phát triển  21    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Kết luận  naïve Bayes       cho kết tốt thực tế chịu giả thiết tính độc lập có điều kiện (khi cho nhãn/lớp) thc tính phân lớp khơng u cầu phải ước lượng cách xác xác suất dễ cài đặt, học nhanh, kết dễ hiểu sử dụng phân loại text, spam, etc nhiên liệu có nhiều thuộc tính dư thừa nạve Bayes khơng cịn hiệu liệu liên tục khơng tn theo phân phối chuẩn (=> kernel density estimators) 22    Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Hướng phát triển  naïve Bayes     chọn thuộc tính từ thuộc tính ban đầu sử dụng thuộc tính để học phân lớp mạng Bayes : mối liên quan thuộc tính tìm kiếm thơng tin (ranking) 23 ...  Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Bayesian classification  lớp giải thuật học      dựa định lý Bayes mạng Bayes naive Bayes kết sinh...Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết luận hướng phát triển  Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết luận hướng... Giới thiệu Bayesian classification Giải thuật học naive Bayes kết luận hướng phát triển Top 10 DM algorithms (2015) Nội dung Giới thiệu Bayesian classification  Giải thuật học naive Bayes  Kết