... tranh Phát gian lận phát mẫu bất thường (ngoại lai) Ứng dụng khác Khaiphá Text (nhóm mới, email, tài liệu) khaiphá Web Khaipháliệu dòng Phân tích DNA liệu sinh học March 18, 2013 35 ... xu Mỹ /1 GB vào năm 2020 Dung lượng tổng thể tăng Độ dốc tăng cao Đạt 35 ZB vào năm 2020 13 Nhu cầu nắm bắt liệu Bùng nổ liệu với tăng trưởng nhận lực CNTT Dung lượng thông tin tăng ... 2013 Mô hình CRISP-DM 2000 Quy trình chuẩn tham chiếu công nghiệp KPDL Các pha mô hình quy trình CRISP-DM (Cross-Industry Standard Process for Data Mining) “Hiểu kinh doanh”: hiểu toán đánh giá...
... CHƢƠNG – KHÁI QUÁT VỀ KHAIPHÁDỮLIỆU Nội dung chƣơng gồm : Phần 1: Khái niệm khaipháliệu Phần 2: Quá trình khaipháliệu Phần 3: Các toán thông dụng khaipháliệu Tìm hiểu toán khaipháliệu văn ... tiết kiệm thời gian Nội dung đề tài gồm phần sau: Chƣơng – Khái quát khaipháliệu Tìm hiểu khái niệm, trình toán khaipháliệu Chƣơng - Khaipháliệu lấy tin tự động Nội dung chƣơng tìm hiểu lấy ... Tìm hiểu toán khaipháliệu văn MỤC LỤC LỜI NÓI ĐẦU CHƢƠNG – KHÁI QUÁT VỀ KHAIPHÁDỮLIỆU 1.1 Khái niệm khaipháliệu 1.2 Quá trình khaipháliệu ...
... dung Giới thiệu khaiphá text Giới thiệu khaiphá web Giới thiệu khaiphá text Khái niệm Sự cần thiết khaiphá text Đặc trưng khaiphá text Các toán khaiphá text Một ví dụ toán khai ... cho khaiphá text Mối quan hệ Khaiphá Text XLNNTN XLNNTN cung cấp tài nguyên, công cụ sở cho khaiphá Text Khaiphá Text mở rộng toán XLNNTN Đan xen Khaiphá Text với XLNNTN Quy trình khai ... dạng phát biểu khái niệm khaipháliệu Nội dung Khaiphá text = Khaipháliệu + Xử lý ngôn ngữ tự nhiên - XLNNTN (Natural Language Processing: NLP) Các toán chung khaipháliệu cho liệu đặc...
... Nội dung Khaiphá sử dụng Web Khaiphá cấu trúc web Khaiphá sử dụng Web Giới thiệu chung Phân tích mẫu truy nhập Web Mang tính thói quen có tính cộng đồng Khaiphá mẫu truy ... 50% {A, C} 50% confidence = support({A}∪{C})/support({A}) = 66.6% 15 Khai niệm khaiphá kết hợp 16 Khaiphá luật kết hợp Khaiphá luật kết hợp: Tìm tất mẫu phổ biến, kết hợp, tương quan, ... 750 (2006 – nay) Ở nơi: 1.760.000 (khoảng) 37 Khaiphá cấu trúc Web Hai toán điển hình Khaiphá liên kết Web Khaiphá cấu trúc trang Web Khaiphá liên kết Web Mỗi trang Web...
... Rick Durrett http://www.math.duke.edu/~rtd/ Andrew Tomkins http://www.tomkinshome.com/andrew/paperlist DBLP: 88 báo Một số biên tập viên lưu ý Ronald L Graham (http://www.math.ucsd.edu/~ronspubs/) ... Biểu diễn nội dung, cấu trúc Tính hạng đối tượng đồ thị Web: tính hạng trang, tính hạng cung Nghiên cứu đồ thị Web (xem trang sau) Đồ thị ngẫu nhiên Tính ngẫu nhiên khaiphá Web ... (2/2011 - xem trang sau) Đồng Trưởng ban biên tập: Fan Chung Graham (http://www.math.ucsd.edu/~fan/) DBLP: 137 báo Anthony Bonato (http://www.math.ryerson.ca/~abonato/) DBLP: 35 báo Công...
... Nội dung Giới thiệu Phân tích văn Biểu diễn Text Lựa chọn đặc trưng Thu gọn đặc trưng Biểu diễn Web Giới thiệu Biểu diễn văn Phù hợp đầu vào thuật toán khaipháliệu Tác ... không gian vector Nội dung Ánh xạ tập tài liệu vào không gian vector n =|V| chiều Mỗi tài liệu ánh xạ thành vector di (wi1, wi2, …, win) Độ đo tương tự nội dung văn Chuẩn hóa vector: ... nội dung văn Chuẩn hóa vector: đưa độ dài Độ “tương tự nội dung” hai văn độ tương tự hai vector Một số phương án sơ khai “các thành phần giống nhau”, “nghịch đảo khoảng cách”, Phổ biến...
... phần – Module phần mềm • • • • • – module crawling (crawler) – dò theo liên kết Web • • thu thập nội dung trang Web lưu vào kho chứa module indexing (indexer - đánh mục) – duyệt nội dung trang ... dùng gủi cho module tìm kiếm nhận kết trả hiển thị • phân tích, tính hạng cho trang module ranking module searching (Tìm kiếm) • trả danh sách tài liệu thỏa mãn yêu cầu người dùng module interface ... thông tin trạng thái file (kiểu file, dung lượng, ) • định có tải hay không ? - Trường hợp định • Tải thực • Đưa nội dung file vào nhớ • Parser phân tích đưa nội dung file lên đĩa - Tiếp tục chu trình...
... Nội dung Giới thiệu phân lớp Web Phân lớp học giám sát Phân lớp học bán giám sát Giới thiệu: Sơ đồ khaiphá Web Thuật toán KPDL: phân lớp, phân ... lớp/phân cụm tập trang Web trả “chủ đề/lớp Phân lớp: Quá trình hai pha Xây dựng mô hình: Tìm mô tả cho tập lớp có Pha 1: Dạy phân lớp Cho trước tập lớp C = {C1, C2, …, Ck} ... 80K Yes 14 No Single 40K No 15 B Refund No Married 80K Yes Phân lớp: Quá trình hai pha Phân lớp: Quá trình hai pha Các loại phân lớp Phân lớp nhị phân/ đa lớp: |C|=2: phân lớp nhị phân...
... CHƢƠNG – KHÁI QUÁT VỀ KHAIPHÁDỮLIỆU Nội dung chƣơng gồm : Phần 1: Khái niệm khaipháliệu Phần 2: Quá trình khaipháliệu Phần 3: Các toán thông dụng khaipháliệu Tìm hiểu toán khaipháliệu văn ... tiết kiệm thời gian Nội dung đề tài gồm phần sau: Chƣơng – Khái quát khaipháliệu Tìm hiểu khái niệm, trình toán khaipháliệu Chƣơng - Khaipháliệu lấy tin tự động Nội dung chƣơng tìm hiểu lấy ... tháng năm Tìm hiểu toán khaipháliệu văn MỤC LỤC LỜI NÓI ĐẦU CHƢƠNG – KHÁI QUÁT VỀ KHAIPHÁDỮLIỆU 1.1 Khái niệm khaipháliệu 1.2 Quá trình khaipháliệu ...
... nghệ, ứng dụng khaipháliệu Giải thích tác vụ khaipháliệu phổ biến hồi qui, phân loại, gom cụm, khaiphá luật kết hợp Nhận dạng vấn đề liệu giai đoạn tiền xử lý cho tác vụ khaipháliệu ... Hiểu cách sử dụng khaipháliệu để có định tốt Sử dụng giải thuật công cụ khaipháliệu để phát triển ứng dụng khaipháliệu Được chuẩn bị kiến thức để nghiên cứu lĩnh vực khaipháliệu Đánh ... 2 Nội dung Chương 1: Tổng quan khaipháliệu Chương 2: Các vấn đề tiền xử lý liệu Chương 3: Hồi qui liệu Chương 4: Phân loại liệu Chương 5: Gom cụm liệu Chương 6: Khaiphá luật...
... Edition), Pearson Education Inc, 2004 Hà Quang Thụy, Phan Xuân Hiếu, Đoàn Sơn, Nguyễn Trí Thành, Nguyễn Thu Trang, Nguyễn Cẩm Tú, Giáo trình Khaipháliệu Web, NXB Giáo dục, 2009 CHƯƠNG 2: KHAIPHÁ LUẬT ... 2.1.4 Bài toán khaiphá luật kết hợp Input: Cơ sở liệu giao dịch D Các giá trị ngưỡng minsup, minconf Output: Tất luật mạnh Để giải toán khaiphá luật kết hợp thường trải qua hai pha: Pha 1: Sinh ... hợp thường trải qua hai pha: Pha 1: Sinh tất tập phổ biến có Ở pha ta sử dụng giải thuật Apriori Pha 2: Ứng với tập phổ biến K tìm pha 1, tách K thành hai tập X, Y không giao (K = X ∪ Y X ∩ Y =...
... quan khaipháliệu 2.1 Khaipháliệu gì? 2.2 Phân loại hệ thống khaipháliệu 2.3 Những nhiệm vụ 2.4 Tích hợp hệ thống khaipháliệu với sở liệu kho 2.5 Các phương pháp khaipháliệu 2.6 Lợi khai ... quan khaipháliệu 2.1 Khaipháliệu gì? 2.2 Phân loại hệ thống khaipháliệu 2.3 Những nhiệm vụ 2.4 Tích hợp hệ thống khaipháliệu với sở liệu kho 2.5 Các phương pháp khaipháliệu 2.6 Lợi khai ... Cung cấp kiến thức kho liệu lớn kỹ thuật khaipháliệu Nội dung chủ yếu: Tổng quan kho liệukhaiphá liệu; Phương pháp tổ chức lưu trữ liệu lớn, kỹ thuật khaiphá liệu; Phân tích liệu sử dụng phương...
... (ngoại lai) Ứng dụng khác Khaiphá Text (nhóm mới, email, tài liệu) khaiphá Web Khaipháliệu dòng Phân tích DNA liệu sinh học 13 Phân tích kinh doanh: Khaiphá trình WMP Van der Aalst ... kết hợp tậpliệu toán quan trọng khaipháliệu Một mối quan hệ kết hợp điển hình quan hệ kết hợp biến liệu toán khaiphá luật kết hợp toán tiêu biểu Bài toán khaiphá luật kết hợp thực việc phát ... Giải pháp: Kho liệuKhaipháliệu (mining) Tạo lập kho liệu trình phân tích liệu trực tuyến OLAP Khaiphá tri thức hấp dẫn (luật, quy luật, mẫu, ràng buộc) từ liệu CSDL lớn KHAIPHÁDỮLIỆU LÀ...
... lý ỨNG DỤNG CỦA KHAIPHÁDỮLIỆUKhaipháliệu vận dụng nhiều lĩnh vực khác nhằm khai thác nguồn liệu phong phú lưu trữ hệ thống thông tin Tùy theo chất lĩnh vực, việc vận dụng khaipháliệu có ... thường (ngoại lai) Ứng dụng khác Khaiphá Text (nhóm mới, email, tài liệu) khaiphá Web Khaipháliệu dòng Phân tích DNA liệu sinh học Phân tích kinh doanh: Khaiphá trình WMP Van der Aalst ... kết hợp tậpliệu toán quan trọng khaipháliệu Một mối quan hệ kết hợp điển hình quan hệ kết hợp biến liệu toán khaiphá luật kết hợp toán tiêu biểu Bài toán khaiphá luật kết hợp thực việc...
... khaipháliệu 1.1.4.1 Các bước trình khaiphá 1.1.4.2 Các thành phần giải thuật khai p h 1.1.4.3 Hướng tiếp cận bàn kỹ thuật áp dụng trình khaiphá 10 1.1.4.4 ứng dụng khai ... ngành, Internet Nội dung luận văn gồm chương sau: Chương 1: Tổng quan khaipháliệu Chương trình bày khái quát khaiphá liệu, phương pháp khai phá, lĩnh vực ứng dụng Chương 2: Khaipháliệu luật ... .16 1.2.2 Phân loại hệ thống khaipháliệu 16 1.2.3 Những vấn đề quan tâm hệ thống khaipháliệu lựa chọn kỹ thuật khaiphá 17 Chương KHAIPHÁDỮLIỆU BẢNG LUẬT KẾT HỢP...
... http://www.youtube.com/watch?v=kMeRN9Qp7O4 [6] Websites: http://doc.edu.vn/tai -lieu/ khoa-luan-nghien-cuu-ky-thuat-khaipha -du- lieu- va-ung-dung-trong-he-thong-ban-sach-truc-tuyen-6095/ [7] Websites: http://bis.net.vn/forums ... PHẦN KHAIPHÁDỮLIỆU VÀ CÁC GIẢI THUẬT KHAIPHÁDỮLIỆU 2.1 ĐỊNH NGHĨA KHAIPHÁDỮLIỆU 2.2 Ý NGHĨA THỰC TẾ CỦA KHAIPHÁDỮLIỆU .9 2.3 KIẾN TRÚC ĐIỂN HÌNH CỦA KHAI ... Công nghệ tri thức ứng dụng GVPT: GS TSKH Hoàng Kiếm PHẦN KHAIPHÁDỮLIỆU VÀ CÁC GIẢI THUẬT KHAIPHÁDỮLIỆU 2.1 Định nghĩa khaipháliệu - Khaipháliệu (hay data mining) tiến trình khám phá tri...
... phá web Giới thiệu khaiphá text Khái niệm Sự cần thiết khaiphá text Đặc trưng khaiphá text Các toán khaiphá text Một ví dụ toán khaiphá text Xu hướng nghiên cứu khaiphá Text Khái ... niệm khaiphá text Khaiphá text khaipháliệu loại liệu text Quá trình phát tri thức mới, có giá trị, tiềm ẩn tập hợp văn Mang tính đa dạng phát biểu khái niệm khaipháliệu Nội dung Khai ... text Mối quan hệ Khaiphá Text XLNNTN XLNNTN cung cấp tài nguyên, công cụ sở cho khaiphá Text Khaiphá Text mở rộng toán XLNNTN Đan xen Khaiphá Text với XLNNTN Quy trình khaiphá text ...
... (60%): làm thi máy 7/12/2014 www.lhu.edu.vn Chương Tổng quan Nội dung Các khái niệm Các giai đoạn khaiphá tri thức Ứng dụng khaipháliệu Các kỹ thuật khaiphá Chương Tổng quan Các khái niệm ... Các phương pháp khaipháliệu • Nhà kho liệu 7/12/2014 www.lhu.edu.vn Thông tin môn học Tài liệu tham khảo Đỗ Phúc, Giáo trình Khai thác liệu, ĐHQG TPHCM, 2005 Hồ Tú Bảo, Introduction to knowledge ... Internet Theo báo cáo IBM, có 80% liệukhai thác, 20% lại ẩn Database tri thức quý giá 7/12/2014 www.lhu.edu.vn Chương Tổng quan Khaipháliệu gì? Khaipháliệu (Datamining) bước quy trình...
... tập luật Khaiphá luật dựa ràng buộc Khai thác giga-byte liệu theo cách thăm dò, có tương tác? Điều có khả thi không? - Bằng cách sử dụng tốt ràng buộc! Các loại ràng buộc dùng khai thác ... Đã có thuật toán khai thác hiệu Các ứng dụng: Phân tích bán hàng siêu thị, cross-marketing, thiết kế catalog, loss-leader analysis, gom cụm, phân lớp, 7/12/2014 www.lhu.edu.vn Các khái niệm ... support 50% and confidence 50%, then A C [50%, 66.6%], C A [50%, 100%] Khaiphá luật kết hợp Quá trình hai buớc để khaiphá luật kết hợp: BƯỚC 1: Tìm tập phổ biến: tập phần tử có độ support...