Đang tải... (xem toàn văn)
NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU MỜ VÀ ỨNG DỤNG Tìm hiểu các vấn đề trong khai phá luật kết hợp đối với thuộc tính số, ĐSGT Tìm hiểu thuật toán khai phá luật kết hợp mờ tổng quát Nghiên cứu thuật toán khai phá luật kết hợp mờ tổng quát theo hướng tiếp cận ĐSGT
BÁO CÁO LUẬN VĂN THẠC SỸ NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU MỜ VÀ ỨNG DỤNG Học viên: Hoàng Hà Người hướng dẫn: TS. Nguyễn Công Hào Nghiên cứu một số kỹ thuật khai phá luật kết hợp mờ Lý thuyết tập mờ Đại số gia tử 2 Tìm hiểu các vấn đề trong khai phá luật kết hợp đối với thuộc tính số, ĐSGT Tìm hiểu thuật toán khai phá luật kết hợp mờ tổng quát Nghiên cứu thuật toán khai phá luật kết hợp mờ tổng quát theo hướng tiếp cận ĐSGT 3 Tìm hiểu các kiến thức liên quan Thuật toán khai phá luật kết hợp mờ tổng quát theo hướng lý thuyết tập mờ Thuật toán khai phá luật kết hợp mờ tổng quát theo hướng ĐSGT Cài đặt thuật toán Đánh giá thuật toán Kết luận và hướng phát triển 4 Các vấn đề khi chuyển đổi thuộc tính số lượng sang thuộc tính nhị phân 5 A.v 1, A.v 2 ,…, A.v k : k đủ bé A.v i bằng true nếu giá trị bản ghi tại thuộc tính A ban đầu bằng v i Ví dụ 1 6 <A:start 1 end 1 >, <A:start p end p > : p lớn <A:start i end i > bằng true nếu bản ghi tại thuộc tính A ban đầu nằm trong khoảng <A:start i end i > Ví dụ 2 7 Khi rời rạc hóa theo khoảng đưa đến các vấn đề Suy luận Không đủ độ hỗ trợ, bỏ sót 1 số khoảng thú vị Nhấn mạnh tầm quan trọng của một khoảng nào đó Ngữ nghĩa Giá trị của thuộc tính chỉ cách nhau một giá trị đơn vị nhưng lại ở 2 khoảng khác nhau 8 9 Biến ngôn ngữ: Khái niệm về ĐSGT: Miền giá trị của biến ngôn ngữ có thể được biểu thị như một đại số gia tử (ĐSGT) X = (X, G, H, ≤ ), G là tập các từ nguyên thủy được xem là các phần tử sinh H là tập các từ nhấn gọi là các gia tử H được chia làm hai phần rời rạc H + , H - lần lượt là tập các gia tử dương và các gia tử âm ≤: là một quan hệ thứ tự có ngữ nghĩa trên X Trong ĐSGT, mỗi phần tử x ∈ X đều mang dấu âm hay dương (Sử dụng hàm Sign) 10 [...]... thực nghiệm phương pháp này cho ra sai số nhỏ 29 KẾT QUẢ ĐẠT ĐƯỢC Tìm hiểu và hệ thống về lý thuyết tập mờ, ĐSGT và khai phá dữ liệu Tìm hiểu về khai phá luật kết hợp mờ Nghiên cứu cách tiếp cận khai phá luật kết hợp mờ sử dụng ĐSGT Mô phỏng 2 thuật toán khai phá luật kết hợp mờ theo cách tiếp cận lý thuyết tập mờ và ĐSGT HƯỚNG PHÁT TRIỂN Tìm một phương pháp tối ưu các tham số cho hàm định... ngữ nghĩa của ĐSGT Xây dựng một ứng dụng thực tế để thực nghiệm thuật toán vừa đề xuất 30 Tiếng Việt 1 Bùi Công Cường, Nguyễn Doãn Phước (2001) Hệ mờ, mạng nơron và ứng dụng, Nhà xuất bản khoa học và kỹ thuật 2 Nguyễn Cát Hồ, Lê Xuân Vinh, Nguyễn Công Hào (2009), “Thống nhất dữ liệu và xây dựng quan hệ tương tự trong cơ sở dữ liệu ngôn ngữ bằng đại số gia tử”, Tạp chí Tin học và Điều khiển, trang 314-332... các thuật toán trên theo 3 cách đưa ra các tập mờ theo ◦ các chuyên gia ◦ kỹ thuật phân cụm ◦ đại số gia tử Kết quả cho thấy việc xác định các vùng mờ ban đầu ảnh hưởng rất lớn đến việc đưa ra luật sau cùng ◦ 28 Cho một ý tưởng về cách tính toán trực quan, rõ ràng Tập trung lựa chọn độ đo tính mờ của các gia tử, W, và chúng sẽ trở thành tham số của phương pháp Không cần phương pháp khử mờ Qua... các tập mờ ◦ Hướng tiếp cận theo ĐSGT Đầu vào: CSDL n giao tác số Phân cấp được định nghĩa trước, minsup và minconf Đầu ra: Tập các luật kết hợp tổng quát mờ 17 Phương pháp: Cách chuyển các giá trị số về đoạn [0,1] bằng công thức (3.1) như sau: Xác định các vùng mờ: Dựa trên độ đo mờ gia tử dương, âm, và các phần tử sinh, tính các độ đo mờ của các gia tử tác động lên giá trị ngôn ngữ và các phân... Xét xem các giá trị độ tin cậy tìm ra được của luật tương ứng với giá trị ngôn ngữ thuộc vùng mờ nào.Sau đó gán k=k+1, quay lại bước 2 Trường hợp 2: Ngược lại thì thoát khỏi thuật toán 20 Ví dụ 4: Với bảng các giao tác sau: 21 Xsố lượng = (Xsố lượng, Gsố lượng, Hsố lượng, ≤ ) Gsố lượng = {cao, thấp} H +số lượng = {rất, hơn} H -số lượng = {khả năng, ít} rất > hơn, ít > khả năng Đặt fm(thấp)... I(khá rất cao) = (0.914, 0.977] 13 Đầu vào: CSDL n giao tác số Tập mờ và các hàm thành viên Phân cấp được định nghĩa trước, minsup và minconf Đầu ra: Tập các luật kết hợp tổng quát mờ Phương pháp: ◦ Bước 1: Thêm các ance ◦ Bước 2: Chuyển các giá trị số vij về dạng fij1/Rj1 + fij2/Rj2 +…+ fijh/Rjh 14 ◦ Bước 3: Tính bản số vô hướng của mỗi vùng mờ Rjl countjl = ◦ Bước 4: Tìm max-countj = ◦... ngữ X chứa các giá trị ngôn ngữ mang một thông tin mờ nhất định gọi độ mờ của giá trị ngôn ngữ được xác định thông qua hàm fm: X [0,1] và ∀ x ∈ X đặt fm(x) = |I(x)| ⊆ [0,1] với Ik(x) được xem là khoảng mờ mức k của giá trị ngôn ngữ x, với k là độ dài của x Dựa vào các khoảng mờ mức k, ta đưa ra cách biểu diễn khoảng cho các giá trị ngôn ngữ như sau: Gọi Omin,k(x) là một lân cận tối thiểu mức k của x... L1 = {max-Rj │ max-countj ≥ α } ◦ Bước 6: Tạo ra tập ứng cử C2 từ L1 ◦ Bước 7: Đối với mỗi 2-itemset s với mục (s1, s2) Tính toán lấy giá trị vùng mờ fis = min(fis1, fis2) Tính toán bản số vô hướng s trong CSDL giao tác counts = Nếu counts ≥ α thì đưa s vào L2 15 Bước 8: Nếu L2≠ϴ thực hiện bước tiếp theo Bước 9: Đặt r = 2 Bước 10: Tạo ra tập ứng viên Cr+1 từ Lr Bước 11: Đối với mỗi (r+1)-itemset... ở các mức k khác nhau sẽ thu được các luật kết hợp mờ khác nhau bằng cách tính lân cận tối thiểu mức k của x theo công thức (1) (2) (3) ◦ k: hữu hạn (k = 3) ◦ k=1, xác định các H(hx) để tính các lân cận tối thiểu ◦ H(hx) là tập các giá trị ngôn ngữ có kích thước khác nhau chứa x 19 Các bước thực hiện như đối với thuật toán tương tự như đối với thuật toán đã trình bày ở trên Khác biệt: Bước 14 có... 1≤ k ≤ k* (3) 11 Suy ra, một biểu diễn khoảng cho x là: IRP(x) = {Omin,k(x)|1≤k≤k* } Ví dụ 3: Cho ĐSGT của biến ngôn ngữ chiều cao là AX = (X, G, H, ≤ ) G = {thấp,cao } H- = {gần, ít} H+ = {khá, rất,} với rất> khá và ít > gần; fm(thấp) = 0.42, fm(cao) = 0.58, µ (gần) = 0.27, µ (ít) = 0.25, µ (khá) = 0.28, µ (rất) = 0.20, Từ giả thiết trên ta có α = 0.52, β = 0.48 Xây dựng một biểu diễn khoảng cho giá . ngữ x = rất cao 12 13 Ta có I (cao) = fm (cao) = 0.58. Vì rất cao > cao nên sign(rất cao) = +1 {I(rất cao) , I(khá cao) , I(gần cao) , I(ít cao) } là một phân hoạch của I (cao) , I (cao) = [0.42,. fm(rất cao) = µ (rất)*fm (cao) = 0.2*.0.58 = 0.116 nên I(rất cao) = (0.884, 1]. Suy ra O min,1 (rất cao) = I(rất cao) = (0.884, 1]. Xét với k =2: Ta có fm(khá rất cao) = 0.032, fm(rất rất cao) =. fm(gần rất cao) = 0.031 nên I(khá rất cao) = (0.945, 0.977], I(rất rất cao) = ( 0.977, 1], I(gần rất cao) = (0.914, 0.945]. Suy ra O min,2 (rất cao) = I(gần rất cao) ∪ I(khá rất cao) = (0.914,