Đang tải... (xem toàn văn)
Đánh giá hiệu năng của các kỹ thuật phân loại, các phương pháp đánh giá ,các tiêu chí đánh giá các kĩ thuật phân lớp knn, decision tree, so sánh độ chính xác, ước lượng độ chính xác,đánh giá độ chính xác của mô hình
KHAI PHÁ DỮ LIỆU Tài liệu dành cho sinh viên ngành CNTT Học viện Nông nghiệp Việt Nam NỘI DUNG Chương 4: Học máy cho khai phá liệu Tham khảo: Chapter 8.5 [1] 4.3 Đánh giá hiệu kỹ thuật phân loại - Các phương pháp đánh giá - Các tiêu chí đánh giá 8/10/21 Đánh giá hiệu kỹ thuật phân loại Đã học kỹ thuật phân lớp: - K-NN - Decision Trees So sánh độ xác Ước lượng độ xác Đánh giá độ xác 8/10/21 Đánh giá hiệu kỹ thuật phân loại Data D 8/10/21 Làm để thu đánh giá đáng tin cậy hiệu hệ thống? – Tập huấn luyện lớn, hiệu hệ thống học tốt – Tập kiểm thử lớn việc đánh giá xác – Vấn đề: Rất khó (ít khi) có tập liệu (rất) lớn Hiệu hệ thống không phụ thuộc vào giải thuật học máy sử dụng, mà phụ thuộc vào: – – – – 8/10/21 Phân bố lớp (Class distribution) Chi phí việc phân lớp sai (Cost of misclassification) Kích thước tập huấn luyện (Size of the training set) Kích thước tập kiểm thử (Size of the test set) Các phương pháp đánh giá • Hold-out • Cross-validation – k-fold – Leave-one-out cross-validation • Bootstrap sampling 8/10/21 Hold-out (splitting) 8/10/21 Cross-validation 8/10/21 Leave-one-out cross-validation 8/10/21 Bootstrap sampling (1) 8/10/21 10 Bootstrap sampling (2) 8/10/21 11 Các tiêu chí đánh giá • Tính xác (Accuracy) → Mức độ dự đốn (phân lớp) xác hệ thống (đã huấn luyện) ví dụ kiểm chứng (test instances) • Tính hiệu (Efficiency) → Chi phí thời gian tài nguyên (bộ nhớ) cần thiết cho việc huấn luyện kiểm thử hệ thống • Khả xử lý nhiễu (Robustness) → Khả xử lý (chịu được) hệ thống ví dụ nhiễu (lỗi) thiếu giá trị 8/10/21 12 Các tiêu chí đánh giá • Khả mở rộng (Scalability) → Hiệu hệ thống (vd: tốc độ học/ phân loại) thay đổi kích thước tập liệu • Khả diễn giải (Interpretability) → Mức độ dễ hiểu (đối với người sử dụng) kết hoạt động hệ thống • Mức độ phức tạp (Complexity) → Mức độ phức tạp mơ hình hệ thống (hàm mục tiêu) học 8/10/21 13 Độ xác (Accuracy) 8/10/21 14 • Độ xác (Accuracy) có phải độ đo tốt cho hiệu giải thuật học máy? 8/10/21 15 Ma trận nhầm lẫn (Confusion matrix) • • • • 8/10/21 TP: True Positive TN: True Negative FN: False Negative FP: False Positive 16 Precision and Recall 8/10/21 17 Precision and Recall 8/10/21 18 F1 (F-score) 8/10/21 19 Ứng dụng • Tính độ xác độ truy hồi (Precision, Recall) • Độ xác độ truy hồi cịn gọi độ nhạy độ đặc hiệu (dữ liệu y tế) 8/10/21 20 Ứng dụng • Excercise: 8.1, 8.7, 8.12, 8.16 8/10/21 21 QUESTION? 8/10/21 22 ... cho khai phá liệu Tham khảo: Chapter 8.5 [1] 4.3 Đánh giá hiệu kỹ thuật phân loại - Các phương pháp đánh giá - Các tiêu chí đánh giá 8/10/21 Đánh giá hiệu kỹ thuật phân loại Đã học kỹ thuật phân. .. Đánh giá độ xác 8/10/21 Đánh giá hiệu kỹ thuật phân loại Data D 8/10/21 Làm để thu đánh giá đáng tin cậy hiệu hệ thống? – Tập huấn luyện lớn, hiệu hệ thống học tốt – Tập kiểm thử lớn việc đánh. .. thống ví dụ nhiễu (lỗi) thiếu giá trị 8/10/21 12 Các tiêu chí đánh giá • Khả mở rộng (Scalability) → Hiệu hệ thống (vd: tốc độ học/ phân loại) thay đổi kích thước tập liệu • Khả diễn giải (Interpretability)