thuật toán phân cụm k means,hc

thuật toán kmeans, Phân cụm phân cấp, cách hoạt động, khái niệm một số công thức của thuật toán KMeans: Khái niệm: Phân cụm Kmeans một thuật toán học không giám sát, được sử dụng để phân chia một tập dữ liệu thành (K) cụm riêng biệt. Mục tiêu của thuật toán là phân chia n quan sát vào K cụm sao cho các quan sát trong cùng một cụm có tính chất tương tự nhau càng nhiều càng tốt, và các cụm khác nhau thì có tính chất khác biệt rõ rệt. Cách hoạt động của thuật toán Kmeans có thể được mô tả qua các bước sau: 1.Khởi tạo: Chọn (K) điểm ngẫu nhiên trong dữ liệu làm các tâm cụm(centroids) ban đầu. 2.Tính khoảng cách giữa các điểm dữ liệu và tâm cụm. 3.Phân công cụm: Gán mỗi điểm dữ liệu vào cụm có tâm cụm gần nó nhất dựa trên khoảng cách Euclidean 4.Cập nhật tâm cụm: Sau khi tất cả các điểm dữ liệu đã được gán vào cụm, tính toán lại tâm cụm của mỗi cụm bằng cách lấy trung bình cộng của tất cả các điểm trong cụm đó. 5.Lặp lại: Lặp lại bước 2, 3 và 4 cho đến khi việc gán cụm không thay đổi nữa hoặc đạt được một tiêu chí dừng nhất định.(ví dụ: số lần lặp tối đa hoặc sự thay đổi trong tâm cụm dưới một ngưỡng nhất định) Khoảng cách Euclidean, được tính bằng công thức:

a K-Means:

 Khái niệm: Phân cụm K-means một thuật toán học không giám sát, được sử dụng

để phân chia một tập dữ liệu thành (K) cụm riêng biệt Mục tiêu của thuật toán là phân chia n quan sát vào K cụm sao cho các quan sát trong cùng một cụm có tính chất tương tự nhau càng nhiều càng tốt, và các cụm khác nhau thì có tính chất khác biệt rõ rệt.

Cách hoạt động của thuật toán K-means có thể được mô tả qua các bước sau:

1 Khởi tạo: Chọn (K) điểm ngẫu nhiên trong dữ liệu làm các tâm cụm(centroids) ban

2 Tính khoảng cách giữa các điểm dữ liệu và tâm cụm.

3 Phân công cụm: Gán mỗi điểm dữ liệu vào cụm có tâm cụm gần nó nhất dựa

trên khoảng cách Euclidean

4 Cập nhật tâm cụm: Sau khi tất cả các điểm dữ liệu đã được gán vào cụm, tính

toán lại tâm cụm của mỗi cụm bằng cách lấy trung bình cộng của tất cả các điểm trong cụm đó.

5 Lặp lại: Lặp lại bước 2, 3 và 4 cho đến khi việc gán cụm không thay đổi nữa

hoặc đạt được một tiêu chí dừng nhất định.(ví dụ: số lần lặp tối đa hoặc sự thay đổi trong tâm cụm dưới một ngưỡng nhất định)

Khoảng cách Euclidean, được tính bằng công thức:

Trong đó p và q là 2 điểm dữ liệu trong không gian n chiều - Để xác định số lượng cụm ( K ) trong phân cụm K-means, có một số phương pháp phổ biến sau đây:

 Phương pháp Elbow: Tính tổng bình phương khoảng cách trong cụm (WSS) cho các giá trị khác nhau của K và chọn giá trị K tại điểm “elbow”

 Hệ số Silhouette: Tính hệ số Silhouette cho một loạt các giá trị ( K ) và chọn giá trị ( K ) có hệ số Silhouette cao nhất, điều này chỉ ra rằng cụm đó rõ ràng và tách biệt tốt.

d Hierarchical Clustering:

 Khái niệm: Phân cụm phân cấp là một kỹ thuật phân loại không giám sát,

được sử dụng trong máy học và khai thác dữ liệu để nhóm các đối tượng vào các cụm dựa trên độ tương đồng của chúng

 Có hai phương pháp chính: phương pháp tổng hợp(agglomerative) và phương pháp chia tách(divisive)

+ Phương pháp tổng hợp bắt đầu bằng cách xem mỗi điểm dữ liệu là một cụm riêng lẻ và sau đó kết hợp các cụm gần nhau nhất dựa trên một tiêu chí liên kết nhất định, như khoảng cách Euclidean Quá trình này tiếp tục cho đến khi tất cả dữ liệu được nhóm vào một cụm duy nhất hoặc đạt đến số lượng cụm mong muốn.

+ Trong khi đó, phương pháp chia tách làm ngược lại, bắt đầu với tất cả dữ liệu trong một cụm duy nhất và sau đó chia nhỏ cụm này thành các cụm nhỏ hơn dựa trên một tiêu chí tách biệt

=> Cả hai phương pháp này đều tạo ra một cấu trúc cây gọi là dendrogram, mô tả mối quan hệ phân cấp giữa các cụm Dendrogram có thể được cắt ở các mức độ khác nhau để xác định số lượng cụm tối ưu dựa trên khoảng cách giữa các nhánh.

 Có một số phương pháp để đo khoảng cách giữa các cụm, bao gồm: + Khoảng cách Euclidean: Đây là khoảng cách “thông thường” giữa hai điểm trong không gian Euclidean

Trong đó x và y là hai điểm trong không gian n chiều

+ Khoảng cách Manhattan: Còn được gọi là khoảng cách “taxi”, nó tính khoảng cách giữa hai điểm nếu chỉ di chuyển theo các trục tọa độ.

+ Khoảng cách Minkowski: Là tổng quát hóa của khoảng cách Euclidean và Manhattan, có thể điều chỉnh để trở thành một trong hai tùy thuộc vào giá trị của tham số ( p ).

Với p là tham số xác định (khi p=2, nó trở thành khoảng cách Euclidean; khi p=1, nó trở thành khoảng cách Manhattan).

 Các tiêu chí chọn cụm để kết hợp có thể bao gồm:

+ Centroid-linkage: Kết hợp hai cụm có tâm gần nhau nhất + Single-linkage: Kết hợp hai cụm có hai điểm gần nhau nhất.

+ Average-linkage: Kết hợp hai cụm có trung bình khoảng cách giữa các cặp điểm thuộc hai cụm là nhỏ nhất.

+ Complete-linkage: Kết hợp hai cụm có hai điểm xa nhau nhất là nhỏ nhất.